谷歌升级Gemma AI模型系列 推出CodeGemma和RecurrentGemma

最新，谷歌对其Gemma AI模型系列进行了扩展，推出两款全新模型CodeGemma和RecurrentGemma，分别侧重代码生成和高效推理。这个系列首次推出于2月，包括一些使用与谷歌更大的Gemini模型相同技术的轻量级模型，标志着谷歌进军开源市场的一个突破。

CodeGemma模型

谷歌推出了三种新版本的CodeGemma模型：

1. 一个7亿参数的预训练模型，用于代码补全和生成新代码。

2. 另一个7亿参数模型，针对代码交互和遵循指令进行了优化训练。

3. 一个2亿参数的预训练模型，可在本地设备上实现快速代码补全。

这些CodeGemma模型在5000亿网络文档、数学与代码数据标记上接受了训练，能够使用Python、JavaScript、Java等流行编程语言生成正确且合理的代码。谷歌表示，CodeGemma的目标是减轻开发人员的重复性编码工作，让他们专注于更具挑战性的任务。

RecurrentGemma高效推理新模型

谷歌还发布了RecurrentGemma模型，一种采用循环神经网络和局部注意力机制的独立模型，具有更高的推理效率。虽然类似于2亿参数的Gemma模型，但它有以下优势:

1. 在内存有限的设备(如单GPU或CPU)上进行长文本生成时，内存使用更小。

2. 通过使用更大的批量大小，每秒可生成更多词汇,处理文本的速度更快。

3. 展示了非转换器模型也可取得出色表现，推动了AI研究的进步。

除此之外，谷歌还将原始Gemma模型升级至1.1版本，带来性能提升、bug修复和更灵活的使用条款。

这些新模型现已在Kaggle、Nvidia NIM API、Hugging Face和Vertex AI Model Garden上线。它们可与JAX、PyTorch、Hugging Face Transformers、Gemma.cpp、Keras、NVIDIA NeMo、TensorRT-LLM、Optimum-NVIDIA和MediaPipe等工具互操作。