摩尔线程开源vLLM-MUSA，通过MUSA软件栈对CUDA接口兼容

来源：YPS数据挖掘大师 2024-11-06 浏览：171 字号：T|T

摘要：感谢YPS行业门户系统网友菜鸟N号、Csinot的线索投递！YPS行业门户系统11月5日消息，摩尔线程官方今日发文，称已上线了大语言模型高速推理框架开源项目vLLM的MUSA移植版本，为开发者提供一个基于摩尔线程全功能GPU进行开源项目MUSA移植的范例。vLLM是一个高效且易用的大模型推理和服务框架，已在各种大语言模型中得到广泛应用，并成为业界常用的开源大模型推理框架。摩尔线程团队基于vLLMv……

　　感谢YPS行业门户系统网友菜鸟N号、C si not 的线索投递！

　　YPS行业门户系统 11 月 5 日消息，摩尔线程官方今日发文，称已上线了大语言模型高速推理框架开源项目 vLLM 的 MUSA 移植版本，为开发者提供一个基于摩尔线程全功能 GPU 进行开源项目 MUSA 移植的范例。

　　vLLM 是一个高效且易用的大模型推理和服务框架，已在各种大语言模型中得到广泛应用，并成为业界常用的开源大模型推理框架。

　　摩尔线程团队基于 vLLM v0.4.2 版本进行了移植适配，为 vLLM 框架添加了摩尔线程 GPU 后端 Device 支持，并将移植适配后的 vLLM-MUSA 版本开源。

　　开发者可以基于摩尔线程 GPU 及 vLLM-MUSA，进行二次开发、升级 vLLM 到社区更新版本等。

　　摩尔线程称通过 MUSA 软件栈对 CUDA 软件栈接口兼容，大幅提升了应用移植的效率，缩短了开发周期。并提供 MUSIFY 自动代码移植工具等一系列工具和脚本，降低开发者在 MUSA 平台进行大语言模型训练和推理应用适配的难度。

　　YPS行业门户系统附 vLLM-MUSA 开源地址：https://yuhou.cn/MooreThreads/vLLM_musa

关于