基准测试

vllm-mlx 在 Apple Silicon 上的性能基准测试。

基准测试类型

• LLM 基准测试 - 文本生成性能
• 图像基准测试 - 图像理解性能
• 视频基准测试 - 视频理解性能

常用命令

# LLM benchmark
vllm-mlx-bench --model mlx-community/Qwen3-0.6B-8bit

# Image benchmark
vllm-mlx-bench --model mlx-community/Qwen3-VL-8B-Instruct-4bit

# Video benchmark
vllm-mlx-bench --model mlx-community/Qwen3-VL-8B-Instruct-4bit --video

独立测试默认值

独立基准测试脚本内置了默认模型，可以直接运行：

python tests/test_continuous_batching.py
python tests/test_prefix_cache.py

默认模型： - tests/test_continuous_batching.py 对应 mlx-community/Qwen3-8B-6bit - tests/test_prefix_cache.py 对应 mlx-community/Qwen3-0.6B-8bit

如需测试其他模型，使用可选的 --model 参数：

python tests/test_continuous_batching.py --model mlx-community/Qwen3-0.6B-8bit
python tests/test_prefix_cache.py --model mlx-community/Qwen3-8B-6bit

硬件配置

以下 Apple Silicon 配置已收录基准测试结果：

芯片	内存	Python
Apple M4 Max	128 GB unified	3.13
Apple M1 Max	64 GB unified	3.12

不同 Apple Silicon 芯片的测试结果会有所差异。

贡献基准测试

如果您使用的是其他 Apple Silicon 芯片，欢迎分享您的测试结果：

vllm-mlx-bench --model mlx-community/Qwen3-0.6B-8bit --output results.json

请在 GitHub Issues 中提交您的结果。