我拥有一台配备 RTX 4070 GPU 的 Windows 11 电脑，并希望将其强大功能用于本地 AI 应用程序。 虽然许多在线教程倾向于引导用户使用 Linux、Docker 和复杂的网络配置，但我也尝试过这种复杂的路线并成功在 Linux 系统上设置 AI。 然而，这种方法对于初学者来说并不是最容易使用的。 鉴于 Windows 仍然是非 IT 专业人员的主要操作系统，因此显然需要一种更简单的方法来利用人工智能技术，而无需深入研究技术细节或设置复杂的环境。
在本指南中，我将引导您完成基本步骤，只需 30 分钟即可在具有交互式 UI 的 Windows 计算机上启动并运行您的 AI 模型，无需高级专业知识。
在本地计算机上运行像 llama3 这样的大型语言模型 (LLM) AI，而不是通过互联网使用基于云的服务，可以带来多种好处，具体取决于具体的用例和要求。
隐私和安全：当您在本地运行 LLM 时，模型处理的数据永远不会离开您的计算机。 这对于涉及专有、机密或个人信息（其中数据安全至关重要）的敏感应用程序至关重要。 不依赖互联网：在本地运行模型无需持续的互联网连接。 这在互联网访问不可靠的环境中或在远程位置工作时非常有用。 延迟：本地执行可以减少延迟，因为无需通过互联网发送数据并等待远程服务器的响应。 这可以加快与人工智能的交互速度，这对于实时应用程序尤其重要。 成本控制：虽然购买必要的硬件和软件以在本地运行 LLM 的前期成本可能较高，但从长远来看，它可能更具成本效益，因为没有与 API 使用或云服务相关的持续费用。 合规性：一些行业对数据处理有严格的监管要求。 在本地开设法学硕士可以更轻松地遵守此类法规。然而，值得注意的是，在本地开设法学硕士也有其挑战和缺点：
硬件要求：法学硕士是资源密集型的，在本地运行它们需要大量的计算能力，这可能涉及昂贵的硬件和高能耗。 维护和更新：您负责维护软件和硬件，包括处理更新、安全补丁和潜在的技术问题。 可扩展性：扩展可能需要额外的硬件，而基于云的服务可以提供近乎即时的可扩展性。 技术专长：在本地部署和管理法学硕士需要一定水平的技术专长，而使用基于云的服务时可能不需要。是在本地运行法学硕士还是使用基于云的服务将取决于用户或组织的特定需求和能力背景下这些好处和挑战之间的平衡。
安装和配置 Ollama
Ollama 是一个轻量级、可扩展的框架，用于在本地计算机上构建和运行语言模型。
下载并安装
访问 https://ollama.com/ 并下载 ollama 的 Windows 版本。 目前处于预览状态。
安装完成后，先别急着尝试。 关闭为您打开的 PowerShell 窗口，然后从任务栏上的系统托盘中退出 Ollama。
设置环境变量
在开始菜单中搜索“环境变量”，打开系统属性设置，然后单击“环境变量”按钮。
必需：创建一个名为 OLLAMA_ORIGINS 且值为 * 的新用户变量
可选：如果您的 C 盘空间不足，您可以设置另一个名为 OLLAMA_MODELS 的系统或用户变量，并为其指定要下载 AI 模型的路径值。 这些模型的容量通常为 2-10 GB。
现在，重新启动 Ollama。 您将看到它再次弹出在系统托盘中。
下载模型
我使用 3 个模型：phi3、llama3 和 codellama。 如果您是非 IT 行业的初学者，通常只需要 llama3。
打开 PowerShell 窗口（在开始菜单中搜索 PowerShell），然后运行 ollama pull <model name> 下载模型。
例如：
ollama pull phi3
ollama pull llama3
你可以使用 ollama list 命令来验证下载
安装和配置 NextChat
下载
转到 https://github.com/ChatGPTNextWeb/ChatGPT-Next-Web/releases 并查找最新版本。
下载并安装 exe 格式的文件，通常命名为 _x64-setup.exe
设置
进入设置页面
使用以下设置：
模型提供者：Open AI OpenAI 端点：http://localhost:11434/ 自定义模型：phi3、llama3、codellama，设置为您在上一步中下载的内容。 如果你只下载 llama3，这里也只是 llama3。 模型： llama3，用于聊天的默认模型，设置为您喜欢的任何模型。
聊天
关闭设置页面。 您现在可以在本地计算机上与 AI 模型聊天了！
如果这不起作用，在写完这篇博文后可能会有所改变。 您可以在这里查看最新文档：https://docs.nextchat.dev/models/ollama
幕后花絮
对于对其工作原理感兴趣的读者。 这是幕后的魔力。
模型
模型是人工智能背后的智能。 在我们的领域，我们主要关注大型语言模型 (LLM)，其设计目的是先利用 GPU，然后再利用 CPU。 每个模型的应用都是独一无二的，并且由各种实体（从公司到个人贡献者）开发。 有关这些模型的全面介绍可以在 https://ollama.com/library 找到。
这是我在与 llama3 模型聊天时使用 GeForce RTX 4070 GPU 的示例：
Ollma
它是运行 AI 模型的程序，它将在本地计算机上打开一个 REST API 服务器 http://localhost:11434/ 。
REST API（表述性状态传输应用程序编程接口）是一组用于构建 Web 服务并与之交互的规则和约定。 它使不同的软件应用程序能够使用标准 HTTP 方法通过互联网相互通信。 REST API 被设计为可扩展、简单且无状态，它们广泛用于构建易于与各种客户端（包括浏览器、移动应用程序和其他 Web 服务）集成的 Web 服务。
NextChat
这是用户与 AI 聊天的用户界面 (UI)。 还有其他类型的 UI。 在本文中，NextChat 将调用 Ollama 在本地计算机上提供的 REST API。 基本上将您的聊天消息发送到 API，并在屏幕上显示响应。 NextChat 是 GitHub 上的一个开源项目：https://github.com/ChatGPTNextWeb/ChatGPT-Next-Web。 它通常运行在一台为来自互联网的用户提供服务的服务器上，而不是在本地运行以仅为本文中描述的一个用户提供服务。
Prompt
与AI聊天时的提示是指用户向AI系统发出的初始输入或指令。 这是对话或互动的起点。 提示可以是问题、陈述、命令，甚至是人工智能用来生成响应或执行任务的单个单词。
例如，如果您使用人工智能聊天机器人，您可能会用“今天的天气预报如何？”之类的问题来提示它。 然后，人工智能会处理该提示并做出相应响应，为您提供天气信息。
提示的复杂程度可能有很大差异，从简单的信息请求到需要人工智能执行多个步骤或生成创意内容的更复杂的指令。 提示的质量和清晰度可以显着影响人工智能响应的相关性和有用性。
转载自：https://edi.wang/post/2024/4/27/beginners-guide-to-run-ai-on-windows-pc-with-interactive-ui
为您推荐
