ODS (Osmantic Deployment System) 详细部署教程：一键搭建本地全能AI服务器

ODS 是一个能将你的个人电脑、Mac或Linux机器变成一个完整的、私有的AI服务器的项目。它集成并自动配置了本地推理、聊天界面、语音、代理、工作流、RAG（检索增强生成）和图像生成等全套功能，让你无需手动拼装Ollama、Open WebUI、n8n、ComfyUI等多个开源项目。

本教程将指导你在 Linux、macOS (Apple Silicon) 和 Windows 系统上，通过最简单的步骤完成ODS的安装与初始配置。

第一步：准备工作

ODS的核心运行依赖 Docker，因此在开始前，请确保你的系统满足以下要求。

1. 操作系统与硬件支持

平台	状态	关键要求与说明
Linux	完全支持	主流发行版 (Ubuntu 22.04/24.04, Debian 12, Fedora 41+, Arch等)。支持NVIDIA、AMD、Intel Arc显卡。
macOS	完全支持	必须使用 Apple Silicon (M1/M2/M3/M4) 芯片。需要安装Docker Desktop。
Windows	完全支持	需要安装 Docker Desktop 并启用 WSL2 后端。支持NVIDIA和AMD显卡。

2. 核心依赖：安装并运行 Docker

ODS的所有核心服务都以容器形式运行，因此 Docker 是必须预先安装并启动的。

macOS / Windows：下载并安装 Docker Desktop。安装后，确保Docker Desktop应用正在运行（状态栏或系统托盘可见鲸鱼图标）。
Linux：使用你的包管理器安装 Docker 和 Docker Compose 插件，并确保当前用户有权限运行 docker 命令。

3. 网络与硬件建议

网络：安装过程需要从GitHub和Hugging Face下载模型和容器镜像，请确保网络连接稳定。国内用户可能需要配置镜像加速器。
硬件：建议至少有8GB以上内存或显存。ODS会自动检测硬件并选择合适的模型。

第二步：一键安装 ODS

ODS提供了极其简单的安装方式。根据你的操作系统，选择对应的命令。

方式一：Linux 或 macOS (Apple Silicon) 安装

打开 终端 (Terminal)，直接执行以下命令：

1	curl -fsSL https://install.osmantic.com/ods.sh \| bash

方式二：Windows (PowerShell) 安装

重要：必须以普通用户身份打开 PowerShell（不要以管理员身份运行），然后执行以下完整脚本块。

# 设置执行策略（仅对当前会话生效）
Set-ExecutionPolicy -Scope Process -ExecutionPolicy Bypass

# 下载并运行安装程序
$ProgressPreference = "SilentlyContinue"
$odsSrc = Join-Path $env:TEMP ("ods-install-"+ [guid]::NewGuid().ToString("N"))
$odsZip = Join-Path $odsSrc "ods-main.zip"
New-Item -ItemType Directory -Path $odsSrc | Out-Null
Invoke-WebRequest "https://github.com/Osmantic/ODS/archive/refs/heads/main.zip" -OutFile $odsZip
Expand-Archive -LiteralPath $odsZip -DestinationPath $odsSrc -Force
cd (Get-ChildItem -LiteralPath $odsSrc -Directory | Select-Object -First 1).FullName
.\install.ps1

安装过程会发生什么？

硬件检测：安装脚本会自动检测你的GPU（NVIDIA、AMD、Intel Arc）和统一内存（Apple Silicon），并确定一个“硬件层级（Tier）”。
模型选择：根据你的硬件层级和可用内存，从 model-library.json 中自动选择一个最合适的开源大语言模型（如Qwen、Phi、DeepSeek等）。配置写入 .env 文件。
启动核心服务：
- llama-server：高性能推理引擎。
- Open WebUI：提供网页聊天界面。
- 以及嵌入、向量数据库、语音等服务。
启动模型：首先会下载一个小型“引导模型”（约1.5B），让你能在2分钟内开始聊天，同时后台下载选定的完整模型，下载完成后无缝切换。

安装完成

安装脚本会输出最终访问地址。通常，Web界面会运行在 http://localhost:3000。

第三步：首次启动与配置

打开浏览器，访问 http://localhost:3000。
注册账号：首次访问 Open WebUI，你需要创建一个本地管理员账号。这不是外部账号，只用于保护你的本地UI。
开始聊天：注册登录后，你会在聊天界面看到一个可用的模型（通常是引导模型）。你可以立即开始提问。
模型切换 (可选)：当后台的完整模型下载完成后，你可以通过以下方式切换：
- UI方式：点击聊天气泡旁的模型名称，选择新下载的模型。
- 命令行方式 (在 ~/ods 目录下运行)：
  1
  2
  ods model list # 查看所有可用模型层级
  ods model swap T3 # 切换到你希望使用的层级 (如 T3)

第四步：基本管理与使用

ODS 安装目录默认为 ~/ods (Linux/macOS) 或 $env:USERPROFILE\ods (Windows)。进入该目录，你可以使用强大的 ods CLI 管理整个堆栈。

常用命令

在终端中，进入 ODS 目录 (cd ~/ods) 后执行：

ods status                # 检查所有服务的健康状态和GPU使用率
ods list                  # 列出所有集成服务及其状态
ods logs llm              # 查看LLM推理服务的实时日志
ods start / stop          # 启动或停止整个AI服务器堆栈
ods restart [服务名]       # 重启特定服务，如 ods restart stt (语音转文字)

访问集成服务 (可选)

除了主聊天界面，ODS 还集成了其他强大工具，你通常可以直接访问它们对应的端口：

Open WebUI (主聊天)：http://localhost:3000
n8n (自动化工作流)：http://localhost:5678 (需要先在扩展中启用)
ComfyUI (图像生成)：http://localhost:8188 (需要先在扩展中启用)

第五步：进阶配置 (可选)

1. 使用云模型 (替代本地推理)

如果你不想完全依赖本地硬件，可以切换到云模式（会使用OpenAI/Anthropic等API）：

1	./install.sh --cloud

或在安装后使用命令行切换：

1
2
3

ods mode cloud            # 切换到云API模式
ods mode local            # 切换回本地推理模式
ods mode hybrid           # 本地优先，API作为备选

2. 自定义端口

如果遇到端口冲突，可以在安装时指定：

1	WEBUI_PORT=8080 ./install.sh # 将Web UI改为8080端口

3. 安装扩展

ODS 支持通过扩展轻松添加新功能。首先，将包含 manifest.yaml 和 compose.yaml 的扩展文件夹放入 extensions/services/ 目录，然后启用它：

1 2	ods enable n8n # 启用工作流自动化n8n ods list # 查看所有服务状态

卸载 ODS

如果需要完全清理，请在安装目录下执行对应的卸载命令。

Linux / macOS:
1
2
cd ~/ods
./ods-uninstall.sh --force

Windows (在PowerShell中):

1 2	cd $env:USERPROFILE\ods .\ods.ps1 uninstall --force

总结

通过本教程，你已经将你的个人电脑转变为一个功能全面、私有的AI服务器。ODS的核心优势在于：

极简部署：真正意义上的一键安装，自动处理了硬件检测、模型选择和所有服务的配置与互联。
功能完整：集成了聊天、推理、RAG、代理、工作流、语音、图像生成等全栈AI能力。
高度可扩展：通过扩展系统可以轻松添加或自定义服务。
硬件适配广：支持NVIDIA、AMD、Intel Arc及Apple Silicon，并为不同硬件层级自动优化模型选择。

现在，你可以开始探索和使用这个完全属于你自己的本地AI平台了。更多高级配置和故障排查，可参考其官方文档索引。