NVIDIA NeMo 通过 AutoModel 功能增强 Hugging Face 模型集成

NVIDIA 推出了 NeMo 框架的重大增强,推出了 AutoModel 功能,旨在简化 Hugging Face 模型的集成和微调。根据 NVIDIA 官方博客 的说法,该开发旨在支持最先进模型的 Day-0 支持,使组织能够高效利用生成式 AI 的最新进展。 AutoModel:模型集成的新纪元 AutoModel 功能作为 NeMo 框架内的高级接口,允许用户轻松微调来自 Hugging Face 的预训练模型。起初涵盖文本生成和视觉语言模型,AutoModel 计划扩展到视频生成和其他分类。该功能简化了模型并行的过程,通过 JIT 编译增强 PyTorch 性能,并确保无缝过渡到由 NVIDIA Megatron-Core 提供支持的最佳训练和后训练方案。 AutoModel 的引入解决了将新模型架构集成到 NeMo 框架中的挑战,提供了利用 Hugging Face 庞大模型库的简单途径。该功能通过完全分片的数据并行 2 (FSDP2) 和分布式数据并行 (DDP) 支持模型并行,未来扩展包括张量并行 (TP) 和上下文并行 (CP)。 高效训练和可扩展性 AutoModel 接口启用开箱即用的模型并行和增强的 PyTorch 性能,允许组织高效扩展它们的 AI 解决方案。集成使导出至 vLLM 进行优化推理变得轻而易举,计划很快引入 NVIDIA TensorRT-LLM 导出。这确保了组织能够维持高吞吐量和可扩展性,这对于竞争激烈的 AI 领域至关重要。 AutoModel 还提供了无缝的“选择加入”高性能 Megatron-core 路径,允许用户通过最小化代码修改切换到优化训练。一致的 API 确保了对 Megatron-Core 支持路径的最大吞吐量过渡是简单的。 扩展 NeMo 的能力 AutoModel 的引入是 NVIDIA 增强 NeMo 框架能力的更广泛战略的一部分。该功能不仅支持文本生成的 AutoModelForCausalLM 类,还允许开发人员通过创建子类来扩展对其他任务的支持,从而拓宽 AI 应用的范围。 随着 NeMo 框架 25.02 的发布,鼓励开发人员通过 NVIDIA 的 GitHub 仓库提供的教程笔记本探索 AutoModel。社区也被邀请提供反馈并为 AutoModel 功能的持续开发做出贡献,以确保其持续演变以满足尖端 AI 研究和开发的需求。 随着 AI 领域的快速发展,NVIDIA 的 NeMo 框架及其 AutoModel 功能,将自身定位为组织寻求最大化生成 AI 模型潜力的关键工具。通过实现无缝集成和优化性能,NeMo 框架使团队能够始终站在 AI 创新的前沿。 nvidia ai 模型 hugging face nemo 框架