TGI 的定位：本地部署 vs 商用 API

┌─────────────────────────────────────────────────────────┐
│                                                         │
│  模式一：调用商用大模型 API                               │
│                                                         │
│  你的应用  →  HTTP 请求  →  OpenAI / Claude / 通义 服务器 │
│                                                         │
│  你只需要：API Key + 网络                                │
│  你不需要：GPU、模型文件、TGI                            │
│                                                         │
├─────────────────────────────────────────────────────────┤
│                                                         │
│  模式二：本地/私有化部署（TGI 的主场）                    │
│                                                         │
│  你的应用  →  HTTP 请求  →  TGI（你自己的服务器）         │
│                                 │                       │
│                            模型文件（你自己管理）         │
│                            GPU（你自己的硬件）           │
│                                                         │
└─────────────────────────────────────────────────────────┘

调用 OpenAI GPT-4：

你的代码                    OpenAI 服务器
  │                              │
  │  POST /v1/chat/completions   │
  │ ────────────────────────────▶│
  │                              │  ← OpenAI 自己有推理基础设施
  │        返回结果               │     他们内部可能用类似 TGI 的东西
  │ ◀────────────────────────────│     但那是他们的事，跟你无关
  │                              │

你只需要：
  pip install openai

  from openai import OpenAI
  client = OpenAI(api_key="sk-xxx")
  # 完事，根本不涉及 TGI

需要本地部署的典型原因：

  🔒 数据隐私          → 数据不能传到外部服务器（金融、医疗、政府）
  💰 成本控制          → 调用量大时，自建比按 token 付费便宜
  🌐 网络限制          → 内网环境无法访问外网 API
  🎛️  模型定制          → 需要用自己微调过的模型
  ⚡ 延迟要求           → 需要极低延迟，不能依赖外网
  📋 合规要求           → 法规要求数据本地化存储

# 就这么简单，没有 TGI 什么事
from openai import OpenAI

client = OpenAI(api_key="sk-xxx")
response = client.chat.completions.create(
    model="gpt-4o",
    messages=[{"role": "user", "content": "你好"}]
)

# 第一步：用 TGI 把模型跑起来
docker run --gpus all -p 8080:80 \
    ghcr.io/huggingface/text-generation-inference \
    --model-id meta-llama/Llama-3-8b-instruct

# 第二步：你的代码调用自己的服务（和调用 OpenAI 几乎一样）
from openai import OpenAI

client = OpenAI(base_url="http://localhost:8080/v1", api_key="none")
response = client.chat.completions.create(
    model="tgi",
    messages=[{"role": "user", "content": "你好"}]
)