腾讯公关总监张军宣布混元AI模型将于12月3日上线影片生成
12 月3 日，腾讯公关总监张军发布了一项开创性的公告，宣布即将推出混元AI 模型的视讯生成功能 [1]。领先科技公司腾讯的这一最新发展预计将对视讯生成行业产生重大影响。
混元AI模型，即混元-Large版本，是业界最大的基于Transformer的开源混合专家（MoE）模型，拥有3890亿个海量参数和520亿个活跃参数 [1]。 MoE架构可以在保持高效能的同时实现高效的资源消耗，使其成为产生高品质视讯的理想解决方案。
Hunyuan-Large 的主要优势之一是其在训练期间处理大量合成资料的能力 [1]。这种增强的训练可以带来更丰富的表示，改进对长上下文输入的处理，以及更好地概括未见过的资料。此外，Hunyuan-Large还采用了KV快取压缩技术，例如分组查询注意（GQA）和跨层注意（CLA），以减少记忆体使用和计算开销，从而提高推理吞吐量 [1]。
此外，Hunyuan-Large 利用专家特定的学习率缩放，允许每个子模型有效地从数据中学习并为整体表现做出贡献 [1]。这种自适应学习方法确保模型在处理不同的任务和输入时保持有效。
凭借跨多种语言和任务的广泛基准测试，Hunyuan-Large 预计在影片生成方面树立新标准，提供更高的品质、效率和适应性 [1]。随着腾讯不断完善和优化这种创新的人工智慧模型，我们预计将在视讯生成及其他领域看到重大进展。
参考：
[1] 腾讯. （2022 年12 月3 日）。浑源-大。 2022 年12 月15 日取自https://github.com/Tencent/Tencent-Hunyuan-Large
[ad_1]
[ad_2]
