MCP server

maximhq/bifrost

Open-source, high-performance AI gateway that works as your LLM gateway, MCP gateway and agent gateway. One OpenAI-compatible API for 10,000+ models, with failover, load balancing, semantic caching, virtual keys, budgets and MCP Code Mode. Works with any SDK or agent and adds under 200µs of overhead at 5k RPS.

Sao
9.944
+7 ngày
—
Fork
1.647
Ngôn ngữ
Go
Giấy phép
Apache-2.0
Cập nhật code
22/11/2026

Tóm tắt

Tóm tắt do AI viết từ README, có thể chưa chính xác.

Repo này cung cấp một AI gateway mã nguồn mở kết nối hơn 23 nhà cung cấp mô hình qua một API tương thích OpenAI duy nhất. Hệ thống hỗ trợ tự động failover, cân bằng tải, semantic caching, quản lý ngân sách và tích hợp Model Context Protocol (MCP). Lập trình viên có thể triển khai qua Docker, NPX hoặc nhúng trực tiếp bằng Go SDK.

Dùng khi

  • Khi cần định tuyến request qua nhiều nhà cung cấp LLM bằng một API tương thích chuẩn OpenAI
  • Cần tự động failover, cân bằng tải giữa các API key và dùng semantic caching để giảm chi phí
  • Muốn kết nối các công cụ bên ngoài vào agent thông qua Model Context Protocol (MCP)

Cài đặt

npm
npx -y @maximhq/bifrost

Lệnh trích nguyên văn từ README của repo. Đọc README trước khi chạy.

Số sao 90 ngày

Đang thu thập: có 2/90 ngày. Biểu đồ hiện khi có từ 7 ngày.

Gõ để tìm trong tra cứu, mẫu cấu hình và bài học. Không dấu cũng được.