多模态模型能力提升很快，但真正落地到生产环境还有不少坎要过。\n\n落地难点：\n\n1. 推理成本高，特别是视频理解场景。一段 1 分钟视频的多模态理解 API 调用成本往往是纯文本对话的几十倍，海量视频场景基本只能走自建方案，但自建又面临 GPU 资源压力。\n\n2. 响应延迟不稳定，难以满足实时性要求。图像理解、文档解析等场景的端到端延迟波动较大，在客服、审核等对响应时间敏感的场景仍然不够理想。\n\n3. 输出可控性差，幻觉问题在多模态场景更突出。模型对图像细节的描述经常出错，关键参数识别、表格数据提取等场景需要额外校验逻辑，可靠性难以保证。\n\n4. 数据安全，本地化部署方案还在完善中。多模态模型对显存要求高，量化、蒸馏、剪枝等优化手段在效果和性能间的平衡还需要更多工程实践。\n\n你在多模态项目里遇到哪些坑？怎么平衡效果和成本？