論文の概要: Gemma 3 Technical Report

• arxiv url: http://arxiv.org/abs/2503.19786v1
• Date: Tue, 25 Mar 2025 15:52:34 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-26 19:42:58.861019
• Title: Gemma 3 Technical Report
• Title（参考訳）: Gemma 3テクニカルレポート
• Abstract要約: Gemma 3は、軽量オープンモデルのGemmaファミリに対するマルチモーダルな追加である。 このバージョンでは、視覚理解能力、より広範な言語カバレッジ、より長いコンテキストが導入されている。 また、長いコンテキストで爆発しがちなKVキャッシュメモリを減らすために、モデルのアーキテクチャを変更します。
• 参考スコア（独自算出の注目度）: 198.3299202423321
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We introduce Gemma 3, a multimodal addition to the Gemma family of lightweight open models, ranging in scale from 1 to 27 billion parameters. This version introduces vision understanding abilities, a wider coverage of languages and longer context - at least 128K tokens. We also change the architecture of the model to reduce the KV-cache memory that tends to explode with long context. This is achieved by increasing the ratio of local to global attention layers, and keeping the span on local attention short. The Gemma 3 models are trained with distillation and achieve superior performance to Gemma 2 for both pre-trained and instruction finetuned versions. In particular, our novel post-training recipe significantly improves the math, chat, instruction-following and multilingual abilities, making Gemma3-4B-IT competitive with Gemma2-27B-IT and Gemma3-27B-IT comparable to Gemini-1.5-Pro across benchmarks. We release all our models to the community.
• Abstract（参考訳）: Gemma 3は、Gemmaファミリーの軽量オープンモデルのマルチモーダルな追加であり、スケールは1から27億のパラメータである。 このバージョンでは、視覚理解能力、言語の範囲の拡大、コンテキストの延長、少なくとも128Kトークンが導入されている。 また、長いコンテキストで爆発しがちなKVキャッシュメモリを減らすために、モデルのアーキテクチャを変更します。 これは、局所的な注意層とグローバルな注意層の比率を増大させ、局所的な注意層を短くすることで達成される。 Gemma 3モデルは蒸留で訓練され、事前訓練されたバージョンと命令の微調整されたバージョンの両方でGemma 2よりも優れた性能を発揮する。 特に、新しいポストトレーニングレシピは、数学、チャット、命令フォロー、多言語能力を大幅に向上させ、Gemma3-4B-ITとGemma2-27B-IT、Gemma3-27B-ITをベンチマークで比較したGemini-1.5-Proと競合させる。 すべてのモデルをコミュニティにリリースします。

関連論文リスト

• Gemma 4 Technical Report [199.38174392182012]
  我々はGemmaモデルファミリに、オープンソースのネイティブなマルチモーダル言語モデルの新世代のGemma 4を紹介する。 Gemma 4のモデルスイートは2.3Bから31Bまで、密集したMixture-of-Expertsアーキテクチャを備えている。 生音声や画像のパッチを取り込み,12Bモデルのための統一型エンコーダフリーアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2026-07-02T21:08:53Z)
• VaultGemma: A Differentially Private Gemma Model [80.35976343610584]
  Gemmaファミリー内の10億のパラメータモデルであるVaultGemma 1Bを導入し、差分プライバシーを十分に訓練した。 私たちはこのモデルをコミュニティに公開しています。
  論文  参考訳（メタデータ） (2025-10-15T21:59:53Z)
• 2 OLMo 2 Furious [154.15728448754854]
  我々は、私たちの完全にオープンな言語の次世代モデルであるOLMo 2を紹介します。 OLMo 2は、7B、13B、32Bスケールの高密度な自己回帰言語モデルを含む。 修正されたモデルアーキテクチャとトレーニングレシピについて説明する。
  論文  参考訳（メタデータ） (2024-12-31T21:55:10Z)
• BgGPT 1.0: Extending English-centric LLMs to other languages [12.867025651644692]
  本稿では,BgGPT-Gemma-2-27B-InstructとBgGPT-Gemma-2-9B-Instructについて述べる。 我々のモデルはブルガリア語のタスクにおいて強力なパフォーマンスを示し、言語固有のAIモデルの新しい標準を設定します。
  論文  参考訳（メタデータ） (2024-12-14T16:49:52Z)
• Gemma Scope: Open Sparse Autoencoders Everywhere All At Once on Gemma 2 [11.169778211035826]
  スパースオートエンコーダ(SAE)は、ニューラルネットワークの潜在表現を解釈可能な特徴に学習するための教師なしの方法である。 本研究では,JumpReLU SAEのオープンスイートであるGemma Scopeを紹介した。 各SAEの品質を標準メトリクスで評価し、その結果を公表する。
  論文  参考訳（メタデータ） (2024-08-09T16:06:42Z)
• Gemma 2: Improving Open Language Models at a Practical Size [118.04200128754249]
  Gemma 2は、軽量で最先端のオープンモデルであるGemmaファミリの新しい追加である。 我々はTransformerアーキテクチャにいくつかの技術的変更を適用し、例えば、ローカル・グローバル・アテンションをインターリーブする。 結果として得られたモデルは、そのサイズで最高のパフォーマンスを提供し、さらに2～3倍の大きさのモデルに対して、競争力のある代替手段を提供する。
  論文  参考訳（メタデータ） (2024-07-31T19:13:07Z)
• RecurrentGemma: Moving Past Transformers for Efficient Open Language Models [103.59785165735727]
  Googleの新しいGriffinアーキテクチャを使ったオープン言語モデルのファミリーであるRecurrentGemmaを紹介する。 Griffinは、言語における優れたパフォーマンスを達成するために、線形反復と局所的な注意を組み合わせる。 2Bパラメーターと9Bパラメーターを含むモデルのサイズを2つ提供し、両方のモデルに対して事前訓練および命令チューニングのバリエーションを提供する。
  論文  参考訳（メタデータ） (2024-04-11T15:27:22Z)
• LLaVA-Gemma: Accelerating Multimodal Foundation Models with a Compact Language Model [4.6373877301731]
  我々は、最近リリースされた大規模言語モデル(LLM)のGemmaファミリで、人気のあるLLaVAフレームワークを使用して、MMFM(Multimodal foundation model)のスイートをトレーニングする。 コネクタの事前訓練,より強力な画像バックボーンの利用,言語バックボーンのサイズ拡大という,3つの設計上の特徴を損なう効果を検証した。 LLaVA-Gemmaと呼ばれる結果のモデルは、評価の配列に対して適度な性能を示すが、現在の大容量SOTAモデルよりは改善されない。
  論文  参考訳（メタデータ） (2024-03-29T21:32:50Z)
• Gemma: Open Models Based on Gemini Research and Technology [128.57714343844074]
  Gemmaは、Geminiモデルを作成するために使用される研究と技術から構築された、軽量で最先端のオープンモデルのファミリーである。 Gemmaモデルは、言語理解、推論、安全性のための学術ベンチマークで強力なパフォーマンスを示している。
  論文  参考訳（メタデータ） (2024-03-13T06:59:16Z)
• Baichuan 2: Open Large-scale Language Models [51.34140526283222]
  我々は、70億と13億のパラメータを含む大規模な多言語言語モデルであるBaichuan 2を、2.6兆のトークン上でスクラッチからトレーニングする。 Baichuan 2は、MMLU、CMMLU、GSM8K、HumanEvalなどの公開ベンチマークで、同様のサイズの他のオープンソースモデルにマッチするか、より優れています。
  論文  参考訳（メタデータ） (2023-09-19T04:13:22Z)
• GLaM: Efficient Scaling of Language Models with Mixture-of-Experts [84.33607245023049]
  我々はGLaM(Generalist Language Model)という言語モデル群を提案し,開発する。 GLaMは、厳密な変種に比べてトレーニングコストを大幅に削減しつつ、モデルのキャパシティを拡大するために、わずかに活性化されたミックス・オブ・エキスパートアーキテクチャを使用する。 GPT-3の訓練に使用するエネルギーの1/3しか消費せず、推論にはフロップの半分しか必要とせず、29のNLPタスクにまたがる全体的なゼロショットとワンショットのパフォーマンスは向上している。
  論文  参考訳（メタデータ） (2021-12-13T18:58:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。