論文の概要: Gemma 4 Technical Report

• arxiv url: http://arxiv.org/abs/2607.02770v1
• Date: Thu, 02 Jul 2026 21:08:53 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-07 22:26:29.41829
• Title: Gemma 4 Technical Report
• Title（参考訳）: Gemma 4テクニカルレポート
• Abstract要約: 我々はGemmaモデルファミリに、オープンソースのネイティブなマルチモーダル言語モデルの新世代のGemma 4を紹介する。 Gemma 4のモデルスイートは2.3Bから31Bまで、密集したMixture-of-Expertsアーキテクチャを備えている。 生音声や画像のパッチを取り込み,12Bモデルのための統一型エンコーダフリーアーキテクチャを提案する。
• 参考スコア（独自算出の注目度）: 199.38174392182012
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We introduce Gemma 4, a new generation of open-weight, natively multimodal language models in the Gemma model family. Designed to advance compute efficiency and reasoning, the Gemma 4 model suite features dense and Mixture-of-Experts architectures, ranging from 2.3B to 31B parameters. Alongside improved vision and audio encoders for all model sizes, we propose a unified, encoder-free architecture for our 12B model, which ingests raw audio and image patches. Furthermore, we integrate a thinking mode, enabling Gemma models to generate reasoning traces prior to responding. We improve inference speed, memory, and compute efficiency, as well as long-context abilities through critical design choices. Gemma 4 establishes a leap in performance across STEM, multimodal, and long-context benchmarks, and rivals larger, frontier open models in human-rated tasks.
• Abstract（参考訳）: 我々はGemmaモデルファミリで、オープンソースのネイティブなマルチモーダル言語モデルの次世代であるGemma 4を紹介する。 計算効率と推論を向上するために設計されたGemma 4モデルスイートは、2.3Bから31Bのパラメータを含む密集したMixture-of-Expertsアーキテクチャを備えている。 すべてのモデルサイズに対する視覚とオーディオのエンコーダの改善に加えて,12Bモデルのための統一型エンコーダフリーアーキテクチャを提案し,生のオーディオと画像のパッチを取り込みます。 さらに、我々は思考モードを統合し、Gemmaモデルが応答する前に推論トレースを生成することを可能にする。 我々は、重要な設計選択によって、推論速度、メモリ、計算効率を向上し、長期コンテキスト能力も向上する。 Gemma 4は、STEM、マルチモーダル、長期コンテキストのベンチマークにまたがるパフォーマンスの飛躍を確立し、人間レベルのタスクにおいてより大規模でフロンティアなオープンモデルと競合する。

関連論文リスト

• M*: A Modular, Extensible, Serving System for Multimodal Models [62.77975969000349]
  本稿では,複合AIモデルの効率的な提供を目的とした汎用サービスシステムであるM*を提案する。 広範囲の家族から合成モデルを簡潔にキャプチャする方法を示す。 M*はまた、ロボット計画のためのV-JEPA 2-ACロールアウトベースラインを最大12.5倍上回っている。
  論文  参考訳（メタデータ） (2026-06-10T21:22:22Z)
• Gemma 3 Technical Report [198.3299202423321]
  Gemma 3は、軽量オープンモデルのGemmaファミリに対するマルチモーダルな追加である。 このバージョンでは、視覚理解能力、より広範な言語カバレッジ、より長いコンテキストが導入されている。 また、長いコンテキストで爆発しがちなKVキャッシュメモリを減らすために、モデルのアーキテクチャを変更します。
  論文  参考訳（メタデータ） (2025-03-25T15:52:34Z)
• Aria: An Open Multimodal Native Mixture-of-Experts Model [45.32344127542739]
  Ariaはオープンなマルチモーダルネイティブモデルであり、様々なマルチモーダル、言語、コーディングタスクで最高のパフォーマンスを発揮する。 Pixtral-12BとLlama3.2-11Bを上回り、様々なマルチモーダルタスクにおける最高のプロプライエタリモデルと競合する。 私たちは、Ariaの実際のアプリケーションへの導入と適応を容易にするパイプラインとともに、モデルの重みをオープンソースにしています。
  論文  参考訳（メタデータ） (2024-10-08T12:44:57Z)
• xGen-MM (BLIP-3): A Family of Open Large Multimodal Models [145.5926980973847]
  BLIP-3は大規模マルチモーダルモデルを開発するためのオープンフレームワークである。 事前訓練されたベースモデルと微調整された命令を含む4Bと14Bのモデルをリリースする。 我々のモデルは、類似のモデルサイズを持つオープンソースのLMM間での競合性能を示す。
  論文  参考訳（メタデータ） (2024-08-16T17:57:01Z)
• Gemma 2: Improving Open Language Models at a Practical Size [118.04200128754249]
  Gemma 2は、軽量で最先端のオープンモデルであるGemmaファミリの新しい追加である。 我々はTransformerアーキテクチャにいくつかの技術的変更を適用し、例えば、ローカル・グローバル・アテンションをインターリーブする。 結果として得られたモデルは、そのサイズで最高のパフォーマンスを提供し、さらに2～3倍の大きさのモデルに対して、競争力のある代替手段を提供する。
  論文  参考訳（メタデータ） (2024-07-31T19:13:07Z)
• LLaVA-Gemma: Accelerating Multimodal Foundation Models with a Compact Language Model [4.6373877301731]
  我々は、最近リリースされた大規模言語モデル(LLM)のGemmaファミリで、人気のあるLLaVAフレームワークを使用して、MMFM(Multimodal foundation model)のスイートをトレーニングする。 コネクタの事前訓練,より強力な画像バックボーンの利用,言語バックボーンのサイズ拡大という,3つの設計上の特徴を損なう効果を検証した。 LLaVA-Gemmaと呼ばれる結果のモデルは、評価の配列に対して適度な性能を示すが、現在の大容量SOTAモデルよりは改善されない。
  論文  参考訳（メタデータ） (2024-03-29T21:32:50Z)
• Gemma: Open Models Based on Gemini Research and Technology [128.57714343844074]
  Gemmaは、Geminiモデルを作成するために使用される研究と技術から構築された、軽量で最先端のオープンモデルのファミリーである。 Gemmaモデルは、言語理解、推論、安全性のための学術ベンチマークで強力なパフォーマンスを示している。
  論文  参考訳（メタデータ） (2024-03-13T06:59:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。