AI & Local LLM
AI Gateway 2.0 & Ollama Apple Metal
Cổng định tuyến chuẩn OpenAI & Anthropic tích hợp chuyển mạch dự phòng tự động và chạy LLM GPU cục bộ.
Tương thích cả OpenAI SDK & Anthropic SDK
Trỏ bất kỳ ứng dụng AI, Claude Code, Cursor hay LangChain nào về https://gateway.macka.test (http://127.0.0.1:11435):
GET /v1/modelsPOST /v1/chat/completions(chuẩn OpenAI)POST /v1/messages(chuẩn Anthropic / Claude Code)POST /v1/embeddings(nối trực tiếp Ollamabge-m3/all-minilm)
Tự động Chuyển mạch Dự phòng (Failover)
Nếu kênh Cloud API chính bị lỗi hoặc hết hạn mức, AI Gateway 2.0 tự động chuyển tiếp sang kênh dự phòng tiếp theo (ví dụ Ollama Apple Metal cục bộ) mà không làm gián đoạn ứng dụng.