論文の概要: Encoder-Decoder Gemma: Improving the Quality-Efficiency Trade-Off via Adaptation

• arxiv url: http://arxiv.org/abs/2504.06225v1
• Date: Tue, 08 Apr 2025 17:13:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-16 15:44:21.105037
• Title: Encoder-Decoder Gemma: Improving the Quality-Efficiency Trade-Off via Adaptation
• Title（参考訳）: Encoder-Decoder Gemma:適応による品質効率トレードオフの改善
• Authors: Biao Zhang, Fedor Moiseev, Joshua Ainslie, Paul Suganthan, Min Ma, Surya Bhupatiraju, Fede Lebron, Orhan Firat, Armand Joulin, Zhe Dong,
• Abstract要約: 我々は,デコーダのみの大規模言語モデルをエンコーダ-デコーダモデルに適応させるという,新しい問題を研究する。 適応はデコーダのみのLLMの能力を継承するだけでなく、計算の需要を減らすことができると主張している。 同様の推論予算の下では、エンコーダ-デコーダ LLM は(しばしばより優れた)事前訓練性能を達成できるが、デコーダのみの性能よりもはるかに優れた微調整性能が得られる。
• 参考スコア（独自算出の注目度）: 52.19855651708349
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: While decoder-only large language models (LLMs) have shown impressive results, encoder-decoder models are still widely adopted in real-world applications for their inference efficiency and richer encoder representation. In this paper, we study a novel problem: adapting pretrained decoder-only LLMs to encoder-decoder, with the goal of leveraging the strengths of both approaches to achieve a more favorable quality-efficiency trade-off. We argue that adaptation not only enables inheriting the capability of decoder-only LLMs but also reduces the demand for computation compared to pretraining from scratch. We rigorously explore different pretraining objectives and parameter initialization/optimization techniques. Through extensive experiments based on Gemma 2 (2B and 9B) and a suite of newly pretrained mT5-sized models (up to 1.6B), we demonstrate the effectiveness of adaptation and the advantage of encoder-decoder LLMs. Under similar inference budget, encoder-decoder LLMs achieve comparable (often better) pretraining performance but substantially better finetuning performance than their decoder-only counterpart. For example, Gemma 2B-2B outperforms Gemma 2B by $\sim$7\% after instruction tuning. Encoder-decoder adaptation also allows for flexible combination of different-sized models, where Gemma 9B-2B significantly surpasses Gemma 2B-2B by $>$3\%. The adapted encoder representation also yields better results on SuperGLUE. We will release our checkpoints to facilitate future research.
• Abstract（参考訳）: デコーダのみの大規模言語モデル(LLM)は印象的な結果を示しているが、推論効率とよりリッチなエンコーダ表現のために、エンコーダ-デコーダモデルは現実世界のアプリケーションで広く採用されている。 本稿では、より良好な品質と効率のトレードオフを実現するために、両アプローチの強みを活用することを目的として、事前訓練されたデコーダのみのLLMをエンコーダ-デコーダに適応させるという新しい問題について検討する。 適応はデコーダのみのLLMの能力を継承するだけでなく、スクラッチから事前学習するよりも計算の需要を減らすことができると主張している。 我々は,様々な事前学習目標とパラメータの初期化/最適化手法を厳密に検討する。 Gemma 2 (2B, 9B) と、新たに事前訓練された mT5 サイズのモデル (1.6B まで) を基にした広範囲な実験を行い、適応の有効性とエンコーダ・デコーダ LLM の利点を実証した。 同様の推論予算の下では、エンコーダ-デコーダ LLM は(しばしばより優れた)事前訓練性能を達成できるが、デコーダのみの性能よりもはるかに優れた微調整性能が得られる。 例えば、Gemma 2B-2Bはインストラクションチューニング後に$\sim$7\%でGemma 2Bを上回ります。 エンコーダ-デコーダ適応は異なるサイズのモデルの柔軟な組み合わせを可能にし、Gemma 9B-2BはGemma 2B-2Bを$>$3\%以上上回る。 適応エンコーダ表現はSuperGLUEでより良い結果を得る。 今後の研究を促進するため、チェックポイントを公開します。

関連論文リスト

• Adapting Decoder-Based Language Models for Diverse Encoder Downstream Tasks [24.674661807982865]
  Gemmaを導入し、強力なデコーダモデルをエンコーダアーキテクチャに適用する。 復号器から復号器への適応を最適化するために,様々なプーリング戦略を解析する。 GLUEベンチマークとMS MARCOベンチマークの確立したアプローチに対してGemmaをベンチマークする。
  論文  参考訳（メタデータ） (2025-03-04T14:17:00Z)
• Return of the Encoder: Maximizing Parameter Efficiency for SLMs [4.246337121596753]
  encoder-decoderアーキテクチャは、エッジデバイスのデコーダのみのモデルと比較して、47%のレイテンシと4.7倍のスループットを実現している。 本稿では,エンコーダ・デコーダモデルを用いた,大規模でスケーラブルなデコーダのみの教師の能力を活用した新しい知識蒸留フレームワークを提案する。
  論文  参考訳（メタデータ） (2025-01-27T18:06:36Z)
• Are Decoder-Only Large Language Models the Silver Bullet for Code Search? [32.338318300589776]
  本研究では,コード検索のためのデコーダのみの大規模言語モデルについて,初めて体系的な検討を行った。 2つの微調整法、2つのデータセット、3つのモデルサイズを用いて、最先端デコーダのみの9つのモデルを評価する。 この結果,微調整のCodeGemmaはUniXcoderのようなエンコーダのみのモデルよりも大幅に優れていることがわかった。
  論文  参考訳（メタデータ） (2024-10-29T17:05:25Z)
• Efficient Encoder-Decoder Transformer Decoding for Decomposable Tasks [53.550782959908524]
  エンコーダ・デコーダモデルのための新しい構成を導入し、構造化された出力と分解可能なタスクの効率を改善する。 提案手法は,インプットを一度エンコードして並列にデコードすることで,トレーニングと推論の効率を向上する。
  論文  参考訳（メタデータ） (2024-03-19T19:27:23Z)
• Extreme Encoder Output Frame Rate Reduction: Improving Computational Latencies of Large End-to-End Models [59.57732929473519]
  エンコーダに複数のフレーム削減層を適用し,少数の出力フレームにエンコーダ出力を圧縮する。 入力音声の2.56秒毎に1つのエンコーダ出力フレームを生成できることを示す。
  論文  参考訳（メタデータ） (2024-02-27T03:40:44Z)
• Self-Distilled Masked Auto-Encoders are Efficient Video Anomaly Detectors [117.61449210940955]
  ビデオフレームレベルで適用された軽量マスク付きオートエンコーダ(AE)に基づく効率的な異常事象検出モデルを提案する。 動き勾配に基づく重みトークンへのアプローチを導入し、静的背景シーンから前景オブジェクトへ焦点を移す。 トレーニングビデオの強化のために合成異常事象を生成し,マスク付きAEモデルを用いてオリジナルのフレームを共同で再構築する。
  論文  参考訳（メタデータ） (2023-06-21T06:18:05Z)
• Recipes for Sequential Pre-training of Multilingual Encoder and Seq2Seq Models [16.49601740473416]
  1つのモデルを他のモデルから初期化することで、トレーニング効率を向上させるためのレシピを探索する。 エンコーダを用いてSeq2seqのトレーニングを温めることで、Scratch Seq2seqモデルのタスク性能にマッチできることを示す。
  論文  参考訳（メタデータ） (2023-06-14T21:41:52Z)
• Machine Learning-Aided Efficient Decoding of Reed-Muller Subcodes [59.55193427277134]
  Reed-Muller (RM) 符号は、一般的なバイナリインプットメモリレス対称チャネルの容量を達成する。 RM符号は制限されたレートのみを許容する。 効率的なデコーダは、RM符号に対して有限長で利用可能である。
  論文  参考訳（メタデータ） (2023-01-16T04:11:14Z)
• LegoNet: A Fast and Exact Unlearning Architecture [59.49058450583149]
  機械学習は、トレーニングされたモデルから削除された要求に対する特定のトレーニングサンプルの影響を削除することを目的としている。 固定エンコーダ+複数アダプタのフレームワークを採用した新しいネットワークである textitLegoNet を提案する。 我々は、LegoNetが許容できる性能を維持しつつ、高速かつ正確な未学習を実現し、未学習のベースラインを総合的に上回っていることを示す。
  論文  参考訳（メタデータ） (2022-10-28T09:53:05Z)
• Adversarial Neural Networks for Error Correcting Codes [76.70040964453638]
  機械学習(ML)モデルの性能と適用性を高めるための一般的なフレームワークを紹介する。 本稿では,MLデコーダと競合する識別器ネットワークを組み合わせることを提案する。 我々のフレームワークはゲーム理論であり、GAN(Generative Adversarial Network)によって動機付けられている。
  論文  参考訳（メタデータ） (2021-12-21T19:14:44Z)
• Efficient Decoding of Surface Code Syndromes for Error Correction in Quantum Computing [0.09236074230806578]
  本稿では,2レベル(低レベル,高レベル)のMLベースの復号法を提案し,第1レベルが物理量子ビット上の誤りを訂正し,第2レベルが既存の論理的誤りを訂正する。 その結果,提案手法は擬似閾値としきい値のそれぞれ$sim10倍,$sim2倍の値が得られることがわかった。 より高度な訓練/テスト時間を持つMLモデルの使用は、デコーダの性能に大きな改善をもたらすものではないことを示す。
  論文  参考訳（メタデータ） (2021-10-21T04:54:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。