雾中有塔

Temporal 简介

One API（也叫 one-api）是一个LLM API 管理和分发系统，开源项目。简单理解：它是一个中间层网关，把各种不同的大模型 API 统一成 OpenAI 格式对外提供服务。 🏗️ 核心架构用户/应用 ↓ (统一 OpenAI 格式) [ One API 网关 ]

TGI 是专门为本地/私有化部署服务的，调用商用大模型 API 用不到它。两种模式的根本区别 ┌─────────────────────────────────────

核心问题：为什么需要 TGI？用一句话概括：TGI 解决的是"如何把模型高效地服务给多个用户"的工程问题，而不是"模型能做什么"的算法问题。直接对比：用 vs 不用

什么是 Grafana？ Grafana 是一个开源的数据可视化与监控平台，由 Grafana Labs 开发。它能够将来自各种数据源的指标、日志、链路追踪数据统一展示在可交互的仪表盘（Dashboard）上，是现代可观测性（Observability）技术栈的核心组件之一。核心定位：可观测性三支

什么是 TGI？ TGI（Text Generation Inference）是由 HuggingFace 开发的一个生产级大语言模型推理服务框架，专为高性能文本生成场景设计。它是 HuggingFace 官方推出的推理解决方案，与 HuggingFace Hub 生态深度集成。核心架构 ┌───

什么是 vLLM？ vLLM（Virtual Large Language Model）是由加州大学伯克利分校开发的一个高效 LLM 推理和服务框架，于 2023 年发布。它的核心目标是解决大语言模型在生产环境中推理效率低、吞吐量不足的问题。核心技术：PagedAttention vLLM 最大的

什么是 Triton？ Triton 是由 OpenAI 开发的一种开源编程语言和编译器框架，专门用于编写高效的 GPU 内核（Kernel）程序。它的目标是让开发者能够以接近 CUDA 的性能，用更简洁、更 Pythonic 的方式编写 GPU 代码。官方仓库：https://github.co

PDF 解析是 RAG 质量的地基 —— 解析质量直接决定召回质量，是整个 RAG 链路中最容易被忽视但影响最大的环节为什么 PDF 解析很难？ PDF 的本质是"打印格式"，不是"语义格式" ┌──────────────────────────────────────────────────