Llama Stack 简介
Llama Stack 是一个专注于机器学习模型部署和优化的框架，是用于构建生成式人工智能(Generative AI)应用程序的标准化模块化API规范。它定义了从模型训练、微调，到产品评估，再到在生产环境中运行AI代理所需的各种构建模块。这些API涵盖了推理(Inference)、安全(Safety)、记忆(Memory)、智能体系统(Agentic System)、评估(Evaluation)、训练后处理(Post Training)、合成数据生成(Synthetic Data Generation)和奖励评分(Reward Scoring)等关键组件。
Llama Stack不仅提供了API规范，还在构建开源的API提供程序(Provider)，并与各种供应商合作，确保开发者能够使用一致且可互操作的组件在不同平台上构建AI解决方案。例如，对于推理API，可以选择 PyTorch、vLLM或TensorRT等开源库作为后端实现。
除了API提供程序，Llama Stack还提供了分发版(Distribution)，将API和提供程序组装在一起，为应用程序开发者提供一致的整体解决方案。开发者可以混合搭配不同的提供程序，例如在本地使用小型模型，但为大型模型选择云提供商。无论选择何种组合，高层应用程序接口保持不变。
