論文の概要: RecurrentGPT: Expressive Depth through Recurrent Modulation in Transformers

• arxiv url: http://arxiv.org/abs/2608.15062v2
• Date: Tue, 18 Aug 2026 16:59:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-19 13:45:32.898969
• Title: RecurrentGPT: Expressive Depth through Recurrent Modulation in Transformers
• Title（参考訳）: リカレントGPT: 変圧器のリカレント変調による表現深さ
• Abstract要約: リカレントGPT(RecurrentGPT)は、固定深度前処理とコダブロックが1つの共有コア繰り返しR回ブラケットする再カレント深さ変換器である。 ゲート型リカレントニューラルネットワークにインスパイアされた私たちは、ライトウェイトプロジェクションとエレメントワイズ更新ゲートを使用して、リカレント更新を変調する。 この結果から,適応的深度再利用は品質の取引パラメータの原則的戦略であることが示唆された。
• 参考スコア（独自算出の注目度）: 8.085475675888045
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Scaling transformer language models creates an inherent tension between expressivity and memory efficiency. While unique weights across layers preserve functional specialization---from input-grounding to abstract refinement---they incur a substantial memory footprint. Conversely, standard depth-sharing enforces uniform transformations that collapse representational diversity and degrade modeling quality. We introduce RecurrentGPT, a recurrent depth transformer where fixed-depth prelude and coda blocks bracket a single shared core iterated R times. Inspired by gated recurrent neural networks, we employ a lightweight projection and an elementwise update gate---conditioned on the hidden state, the fixed prelude output, and noise resampled at every step---to modulate the recurrent update. This allows the model to specialize the input to the same few layers across recurrences, rather than requiring many unique layers to achieve functional diversity. Under an isoFLOPS constraint, a 3-layer RecurrentGPT matches the accuracy of a 12-layer GPT-2 Small baseline with similar training and inference FLOPs, and leads MoR and heavy-tail depth sampling in all nine scale-by-budget cells; at medium and large scale it approaches dense quality at the standard token budget and overtakes it at medium scale once that budget is doubled. Under an isoPARAMS constraint, deeper recurrence achieves a 2.76 validation loss versus 2.84 for a non-recurrent counterpart at matched parameter and data budget. Our results demonstrate that adaptive depth reuse is a principled strategy for trading parameters for quality: at large scale, 63% fewer parameters and 59% less peak decoding memory for a 10% increase in compiled generation latency.
• Abstract（参考訳）: トランスフォーマー言語モデルのスケーリングは、表現性とメモリ効率の間に固有の緊張関係を生み出す。 層間のユニークな重みは機能的な特殊化 - 入力グラウンドから抽象的な洗練 - を保ちながら、それらはかなりのメモリフットプリントを生み出す。 逆に、標準深度共有は、表現の多様性を崩壊させ、モデリング品質を低下させる一様変換を強制する。 リカレントGPT(RecurrentGPT)は、固定深度前処理とコダブロックを1つの共有コア繰り返しR回ブラケットする再カレント深度変換器である。 ゲート型リカレントニューラルネットワークにインスパイアされた我々は、隠れた状態、固定されたプリルード出力、各ステップでサンプリングされたノイズに基づいて、軽量なプロジェクションと要素的に更新されるゲートを用いる。 これによってモデルは、機能的な多様性を達成するために多くのユニークなレイヤを必要とするのではなく、繰り返しにわたって同じ少数のレイヤへの入力を専門化することができる。 アイソFLOPS制約の下では、3層リカレントGPTは12層 GPT-2 の精度に類似したトレーニングと推論 FLOP の小さなベースラインと一致し、MoR とヘビーテール深度サンプリングを9つのスケール・バイ・バッジで導く。 アイソPARAMS制約の下では、一致したパラメータとデータ予算で非リカレントで2.76のバリデーション損失が2.84に対して、より深いリカレンスを達成する。 この結果から,適応的深度再利用は,大規模では63%,ピーク復号メモリでは59%,コンパイル待ち時間では10%の高速化を実現した。

関連論文リスト

• Persistent Recurrent Memory Between Transformer Layers - Improves Language Model Generalization [0.0]
  本稿では,クロスアテンションによって隠された表現を観測し,自身をGRU経由で更新し,ゲート付加によりその後の処理を変調する永続的リカレント状態を導入する。 このモジュールには3.7%の追加パラメータが加わり、評価損失は2.438 pm 0.004$から1.743 pm 0.018$に削減された。
  論文  参考訳（メタデータ） (2026-09-15T14:31:43Z)
• DeepLoop: Depth Scaling for Looped Transformers [91.7922038545625]
  ループ変換器は、複数のラウンドにコンパクトな物理ブロックのスタックを適用することで、シーケンシャルな計算をスケールする。 我々は、この密着した深さ効果を、訪問配向係数によって制御された一階の摂動によって定式化する。 結果のメソッド textbfDeepLoop は Post-LN DeepNorm アーキテクチャを保持し、非ロール深度に対して $= (2N)1/2$ と $=(8N)-1/2$ をセットする。
  論文  参考訳（メタデータ） (2026-07-15T06:37:05Z)
• Scaling Adaptive Depth with Norm-Agnostic Residual Networks [9.219329760729629]
  NAGは標準に依存しない残差アーキテクチャであり、残差ストリームの方向情報から大きさを分離する。 NAGは無視できる数の追加パラメータしか導入せず、簡単にカーネルで実現可能な単純な操作に依存している。 このアーキテクチャはベースライントランスフォーマーよりも優れており,奥行きが大きくなるにつれて大幅に向上することを示す。
  論文  参考訳（メタデータ） (2026-06-15T02:05:37Z)
• Latent Recurrent Transformer: Architecture Exploration, Training Strategies, and Scaling Behavior [107.2098567818173]
  Latent Recurrent Transformer (LRT) は自己回帰変換器の軽量化である。 LRTは、次のトークンのリカレントメモリとして、前のトークンから高レベルなソース層隠れステートを再利用する。
  論文  参考訳（メタデータ） (2026-05-26T10:10:26Z)
• Replacement Learning: Training Neural Networks with Fewer Parameters [15.09968642484538]
  Replacement Learning (RepL) は、選択したブロックを置き換えることで、完全な冗長性を減らす訓練時間パラダイムである。 RepLは、不要なフルレイヤを避けながら、局所的なコンテキスト連続性を維持する。 RepLはトレーニング可能なパラメータ、GPUメモリ使用量、トレーニング時間を削減し、標準のエンドツーエンドトレーニングを適合または超過することを示す。
  論文  参考訳（メタデータ） (2026-05-19T08:34:31Z)
• MeSH: Memory-as-State-Highways for Recursive Transformers [23.995570647573484]
  パラメータが少ない再帰モデルは、マッチした計算の下では非再帰的モデルよりも遅れることが多い。 隠れた状態を探索することで、このパフォーマンスギャップを2つの主要なボトルネックにトレースします。 メモリ管理を明示的なメモリバッファに外部化するメモリ・アズ・ステート・ハイウェイ方式を導入する。
  論文  参考訳（メタデータ） (2025-10-09T03:23:38Z)
• Quantized Visual Geometry Grounded Transformer [67.15451442018258]
  本稿では,VGGTの最初の量子化フレームワーク,すなわちQuantVGGTを提案する。 球状前アダマール回転と局所流路平滑化を統合したDual-Smoothed Fine-Grained Quantizationを導入する。 また、重層統計量を用いて外周をフィルタするノイズフィルタディバースサンプリングを設計する。
  論文  参考訳（メタデータ） (2025-09-25T15:17:11Z)
• ALoRE: Efficient Visual Adaptation via Aggregating Low Rank Experts [71.91042186338163]
  ALoREは、Kroneckerによって構築された超複素パラメータ化空間をAggregate Low Rank Expertsに再利用する新しいPETL法である。 巧妙な設計のおかげで、ALoREは無視できる余分なパラメータを保持し、凍ったバックボーンに強制的にマージできる。
  論文  参考訳（メタデータ） (2024-12-11T12:31:30Z)
• SHERL: Synthesizing High Accuracy and Efficient Memory for Resource-Limited Transfer Learning [63.93193829913252]
  本稿では,リソース制限シナリオに対するSHERLと呼ばれる革新的なMETL戦略を提案する。 初期経路では、中間出力は反冗長動作によって統合される。 遅延ルートでは、最小限の遅延事前トレーニングされたレイヤを利用することで、メモリオーバーヘッドのピーク需要を軽減できる。
  論文  参考訳（メタデータ） (2024-07-10T10:22:35Z)
• Winner-Take-All Column Row Sampling for Memory Efficient Adaptation of Language Model [89.8764435351222]
  分散を低減した行列生成のために, WTA-CRS と呼ばれる新しい非バイアス推定系を提案する。 我々の研究は、チューニング変換器の文脈において、提案した推定器が既存のものよりも低い分散を示すという理論的および実験的証拠を提供する。
  論文  参考訳（メタデータ） (2023-05-24T15:52:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。