在生成式人工智能迅猛发展的背景下，多模态大模型已成为推动产业智能化升级的核心技术。然而，模型训练与推理的高成本、多模态数据对齐的复杂性，仍是制约其深入应用的瓶颈。北京大学人工智能研究院助理教授杨耀东团队研发出一套覆盖全模态、兼顾高效率、赋能强推理的大模型对齐框架——Align-Anything，并依托鲲鹏昇腾科教创新卓越中心（以下简称“卓越中心”）的算力支持成功迁移至昇腾平台，目前，已在智慧医疗、网络安全等多个关键领域实现规模化落地，展现了广阔的应用前景，并在人才培养方面取得显著成效。
Align-Anything以“语言反馈”（RLHF）为核心，构建了一套覆盖文本、图像、音频、视频乃至动作的全模态对齐算法，解决了传统二元反馈信息量有限和一致性的问题。基于成熟的技术架构，团队在Align-Anything中集成专用评估工具Eval-Anything，可追踪并评估各类大参数模型在复杂任务中的真实能力，目前已实现开源；团队还拓展出基于DeepSeek-671B的多模态强推理模型Align-DS-V，以模态穿透赋能智能边界拓展。
在产学研协同方面，北大团队与昇腾的合作从技术研发延伸至行业落地与人才培养的全链条。
在行业的安全治理方面，Align-Anything 深度融入智源大模型安全中心的整体安全治理框架，作为统一的安全对齐与风险干预基础模块。依托智源在安全评测、红队攻防与合规审查上的体系化能力，Align-Anything 将安全偏好建模、风险内容识别与无害化改写串联为闭环流程，被部署在大模型从训练前审核、训练中约束到推理后校验的多级安全环节中。通过与通用模型、安全评测平台及在线监控系统的模块化集成，该对齐器能够自动对潜在风险回复进行识别、拦截与规范化重写，在显著提升整体安全水位、降低有害内容输出的同时，有效保持模型的通用能力与业务可用性，为智源牵头的大模型安全治理体系持续贡献底层技术力量。
在行业应用侧，基于昇腾平台的Align-Anything深度赋能智慧医疗场景。Align-Anything充分发挥了昇腾软硬件平台的技术实力，构筑了全模态医学知识体系。在基础设施层面，多家医院完成了昇腾服务器的机房部署，其强大的异构计算能力与高内存带宽，可支撑大规模参数模型的高效并行训练，同步自研大模型推理一体机，支持科室本地化部署，快速调取算力；在算法层面Align-Anything支持图文、文表、图结构等多模态交互，赋能涵盖临床指征、心电图、超声心动图等全模态数据的高效训练。
在人才培养层面，团队联合昇腾在北大推出《大语言模型基础与对齐技术》课程，并开展基于昇腾 + Torch NPU的实操体验，同时开发兼容昇腾系列计算设备的课程作业代码，在课程作业中让学生在自主创新的GPU架构上进行模型的训练和微调。
基于昇腾平台的Align-Anything框架的发布和广泛落地应用，标志着北大团队与卓越中心协同攻关取得重要阶段性成果。自合作以来，卓越中心在算力和技术等方面为团队提供了全方位支持，是项目成功的重要保障。该成果不仅为学术界提供了可复用的基础工具，也通过昇腾算力实现了高性能与高效率的统一。未来，双方将继续深化全模态对齐探索，携手推进大模型技术体系建设。
下一篇：没有了