Modelos compatibles

Todos los modelos cuantizados de mlx-community en HuggingFace son compatibles.

Explora miles de modelos preoptimizados en: https://huggingface.co/mlx-community/models

Modelos de lenguaje (vía mlx-lm)

Familia de modelos	Tamaños	Cuantización
Llama 3.x, 4.x	1B, 3B, 8B, 70B	4-bit
Mistral / Devstral	7B, Mixtral 8x7B	4-bit, 8-bit
Qwen2/Qwen3	0.5B a 72B	Varios
DeepSeek V3, R1	7B, 33B, 67B	4-bit
Gemma 2, 3, 4	2B, 9B, 27B	4-bit
GLM-4.7	Flash, Base	4-bit, 8-bit
Kimi K2	Varios	4-bit
Phi-3	3.8B, 14B	4-bit
Granite 3.x, 4.x	Varios	4-bit
Nemotron	3 Nano 30B	6-bit

Modelos recomendados

Caso de uso	Modelo	Memoria
Rápido / Liviano	mlx-community/Qwen3-0.6B-8bit	~0.7 GB
Equilibrado	mlx-community/Llama-3.2-3B-Instruct-4bit	~1.8 GB
Calidad	mlx-community/Llama-3.1-8B-Instruct-4bit	~4.5 GB
Grande	mlx-community/Qwen3-30B-A3B-4bit	~16 GB

Modelos multimodales (vía mlx-vlm)

Familia de modelos	Modelos de ejemplo
Qwen-VL	Qwen3-VL-4B-Instruct-3bit, Qwen3-VL-8B-Instruct-4bit, Qwen2-VL-2B/7B-Instruct-4bit
LLaVA	llava-1.5-7b-4bit, llava-v1.6-mistral-7b-4bit, llava-llama-3-8b-v1_1-4bit
Idefics	Idefics3-8B-Llama3-4bit, idefics2-8b-4bit
Gemma 4	gemma-4-e2b-it-mxfp4 (visión + audio)
PaliGemma	paligemma2-3b-mix-224-4bit, paligemma-3b-mix-224-8bit
Pixtral	pixtral-12b-4bit, pixtral-12b-8bit
Molmo	Molmo-7B-D-0924-4bit, Molmo-7B-D-0924-8bit
Phi-3 Vision	Phi-3-vision-128k-instruct-4bit
DeepSeek-VL	deepseek-vl-7b-chat-4bit, deepseek-vl2-small-4bit

Modelos VLM recomendados

Caso de uso	Modelo	Memoria
Rápido / Liviano	mlx-community/Qwen3-VL-4B-Instruct-3bit	~3 GB
Equilibrado	mlx-community/Qwen3-VL-8B-Instruct-4bit	~6 GB
Calidad	mlx-community/Qwen3-VL-30B-A3B-Instruct-6bit	~20 GB

Modelos de embeddings (vía mlx-embeddings)

Familia de modelos	Modelos de ejemplo
BERT	mlx-community/bert-base-uncased-mlx
XLM-RoBERTa	mlx-community/multilingual-e5-small-mlx, mlx-community/multilingual-e5-large-mlx
ModernBERT	mlx-community/ModernBERT-base-mlx

Modelos de audio (vía mlx-audio)

Tipo	Familia de modelos	Modelos de ejemplo
STT	Whisper	mlx-community/whisper-large-v3-turbo
STT	Parakeet	mlx-community/parakeet-tdt-0.6b-v2
TTS	Kokoro	prince-canuma/Kokoro-82M
TTS	Chatterbox	chatterbox/chatterbox-tts-0.1

Detección de modelos

vllm-mlx detecta automáticamente los modelos multimodales por patrones en el nombre: - Contiene "VL", "Vision", "vision" - Contiene "llava", "idefics", "paligemma" - Contiene "pixtral", "molmo", "deepseek-vl" - Contiene "MedGemma", "Gemma-3", "Gemma-4" (variantes multimodales)

Usar modelos

Desde HuggingFace

vllm-mlx serve mlx-community/Llama-3.2-3B-Instruct-4bit

Ruta local

vllm-mlx serve /path/to/local/model

Buscar modelos

Filtra los modelos de mlx-community por: - LLM: Llama, Qwen, Mistral, Phi, Gemma, DeepSeek, GLM, Kimi, Granite, Nemotron - VLM: -VL-, llava, paligemma, pixtral, molmo, idefics, deepseek-vl, MedGemma - Embedding: e5, bert, ModernBERT - Tamaño: 1B, 3B, 7B, 8B, 70B - Cuantización: 4bit, 8bit, bf16