PromptForge (tuneprompt) 部署教程。这是一个本地优先的LLM提示词质量评分与优化工具。

本教程将引导你完成从环境准备到运行模型的全部过程。

1. 环境准备与安装

PromptForge 的核心是 Python 包 tuneprompt。部署的第一步是安装它并准备好 Python 环境。

  • 安装 Python 包：推荐使用 pip 直接从 PyPI 安装，这是最简单的方式。

    1
    pip install tuneprompt

    安装后，你可以在命令行中使用 tuneprompt 或 promptforge 命令。

  • 从源码安装（可选）：如果你想进行开发或获取最新代码，可以克隆仓库进行源码安装。

    1
    2
    3
    4
    5
    6
    git clone https://github.com/arjun988/promptModel.git
    cd promptModel
    python -m venv .venv
    # Windows: .venv\Scripts\activate
    # Unix:    source .venv/bin/activate
    pip install -e ".[demo,dev]"

2. 下载预训练模型

PromptForge 的功能依赖于两个核心模型：一个用于评分的 Quality Scorer 和一个用于优化的 Prompt Optimizer。这些模型文件托管在 Hugging Face 上，需要单独下载。

使用以下命令将模型下载到本地默认目录（~/.promptforge）：

1
2
3
python -m promptforge download \
  --quality-repo ArjunShukla/PromptForge-Quality \
  --optimizer-repo ArjunShukla/PromptForge-Optimizer

下载完成后，运行 python -m promptforge init 和 python -m promptforge doctor 来初始化配置并验证模型是否就绪。

3. GPU 支持（可选但推荐）

为了获得更好的性能，建议使用 GPU 进行推理。如果 pip install torch 默认安装的是 CPU 版本，对于 NVIDIA GPU（包括 RTX 50 系列），可以手动安装 CUDA 版本的 PyTorch：

1
2
pip uninstall -y torch torchvision torchaudio
pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu128

4. 运行与测试

一切准备就绪后，你可以通过命令行或 Python API 来使用 PromptForge。

  • 命令行快速测试：直接对一段提示词进行分析和优化。

    1
    2
    3
    4
    5
    # 分析提示词质量
    tuneprompt analyze "Make an app." --json

    # 运行完整流程：评分 -> 优化 -> 对比
    tuneprompt run "Build me a website for a startup"

  • Python API 调用：在你的 Python 脚本中集成。

    1
    2
    3
    4
    5
    6
    7
    8
    9
    10
    11
    12
    from promptforge import PromptForge

    # 初始化，可以传入Hugging Face仓库ID或本地路径
    pf = PromptForge(
        quality_model_path="ArjunShukla/PromptForge-Quality",
        optimizer_model_path="ArjunShukla/PromptForge-Optimizer",
    )

    # 运行优化
    result = pf.run("Make an app about social media like facebook and stuff")
    print(result["optimized_prompt"])  # 输出优化后的提示词
    print(result["delta"]["quality_score"])  # 输出质量分数的提升

5. 部署 Web 界面 (Gradio)

PromptForge 还提供了一个基于 Gradio 的 Web 演示界面，方便可视化操作。

1
python -m promptforge space

执行后，终端会显示一个本地地址（如 http://127.0.0.1:7860），在浏览器中打开即可使用图形化界面。

6. 高级部署场景（参考）

根据搜索到的信息，PromptForge 还存在其他部署形态，可作为扩展参考：

  • 全功能 Web 应用：有一个更完整的版本包含用户认证、后端 API 和数据库，部署在 Fly.io 和 Vercel 上，并依赖 Neon Postgres 数据库。
  • MCP 服务器：PromptForge 也可以作为 MCP (Model Context Protocol) 服务器运行，通过 HTTP 或 stdio 提供提示词增强和项目生成服务，支持 Ollama、llama.cpp 等本地模型。

总结与建议

  • 核心部署路径：对于大多数用户，通过 pip install tuneprompt 并下载模型即可完成核心部署。
  • 硬件建议：模型总参数量约 1.65B，在 CPU 上也能运行，但使用 GPU（显存 8GB 以上）会获得更快的处理速度。
  • 后续步骤：部署成功后，可以从简单的 tuneprompt run 命令开始测试，熟悉其评分和优化风格。如果遇到模型下载问题，可以检查网络或从 Hugging Face 仓库手动下载。