【kaiyuncom科技动静】12月19日，华为计较官方公布，昇腾多模态推理加快套件——MindIE SD项目已经正式开源。该项目旨于经由过程与开源社区协作，将昇腾于多模态推理范畴堆集的原子能力赋能给泛博开发者，实此刻昇腾硬件上高效运行各种前沿多模态模子。

华为

kaiyuncom留意到，MindIE SD项目包罗如下四年夜要害加快特征，旨于全方位晋升多模态模子于昇腾平台上的推理效率：

1. 加快插件

提供多模态亲及加快插件能力，例如撑持block-wise稀少Attention的稀少Attn插件，以和对于RoPE（扭转位置编码）等操作举行交融的交融插件，有用削减计较与内存拜候开消。

2. 以存代算 提供DiT module、DiT block、Attention等多种粒度的缓存（Cache）算法。该特征撑持按照差别场景需求选择加快计谋，能显著晋升模子运行时机能。用户可自界说加快比，并使用东西实现缓存算法的快速寻优。

3. 多卡并行 集成为了CFG（Classifier-Free Guidance）并行、USP（Ulysses并行）等进步前辈并行能力。这些能力已经融入加快算子的API设计中，开发者仅需举行接口替代便可主动使能，从而快速适配天生类模子的通用并行算法优化框架，充实使用多卡计较资源。

4. 量化与稀少Attention 针对于昇腾硬件的数据类型及算力漫衍，提供亲及的量化算法，于包管模子效果的条件下晋升推理效率并降低资源耗损。同时，提供亲及的稀少Attention算子，以降低Attention计较的繁杂度，并撑持多模态算子的快速寻优。

今朝，MindIE SD已经乐成实现对于Stable Diffusion系列、OpenSora、混元（Hunyuan）、万视（Wan）等多模态天生模子的快速适配与昇腾加快。相干模子已经于Modelers/ModelZoo堆栈中发布，并与vllm-omni等开源组件对于接。将来，其加快能力将进一步扩大最多模态理解、全模态等更广泛的场景。

版权所有，未经许可不患上转载