🚧LLMs

Support for the following providers through the platform and SDK coming soon!

• 📄️ OpenAI-Compatible Endpoints

• 📄️ Azure OpenAI API

• 📄️ Azure AI Studio

• 📄️ VertexAI [Anthropic, Gemini, Model Garden]

• 📄️ PaLM API

• 📄️ Gemini

• 📄️ Mistral AI API

• 📄️ Anthropic

• 📄️ AWS Sagemaker

• 📄️ AWS Bedrock

• 📄️ Cohere

• 📄️ Anyscale

• 📄️ Huggingface

• 📄️ Ollama

• 📄️ Perplexity AI

• 📄️ Groq

• 📄️ Fireworks AI

• 📄️ VLLM

• 📄️ Xinference

• 📄️ Cloudflare Workers AI

• 📄️ DeepInfra

• 📄️ AI21

• 📄️ NLP Cloud

• 📄️ Replicate

• 📄️ Together AI

• 📄️ Voyage AI

• 📄️ Aleph Alpha

• 📄️ Baseten

• 📄️ OpenRouter

• 📄️ Custom API Server

• 📄️ Petals

• 📄️ IBM watsonx.ai