論文の概要: Persistent Recurrent Memory Between Transformer Layers - Improves Language Model Generalization

• arxiv url: http://arxiv.org/abs/2609.17251v1
• Date: Tue, 15 Sep 2026 14:31:43 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-16 14:56:08.5672
• Title: Persistent Recurrent Memory Between Transformer Layers - Improves Language Model Generalization
• Title（参考訳）: 変圧器層間の永続的リカレントメモリ - 言語モデル一般化の改善
• Abstract要約: 本稿では,クロスアテンションによって隠された表現を観測し,自身をGRU経由で更新し,ゲート付加によりその後の処理を変調する永続的リカレント状態を導入する。 このモジュールには3.7%の追加パラメータが加わり、評価損失は2.438 pm 0.004$から1.743 pm 0.018$に削減された。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We introduce a simple architectural modification to decoder-only transformers: a persistent recurrent state that observes hidden representations via cross-attention, updates itself through a GRU, and modulates subsequent processing via gated addition. Inserted between the lower and upper halves of a 6-layer transformer, this module adds only 3.7\% additional parameters while reducing evaluation loss from $2.438 \pm 0.004$ to $1.743 \pm 0.018$, corresponding to a 28.5\% reduction on held-out language modeling data. The improvement is statistically significant across 5 random seeds ($p < 0.01$) and corresponds to reduced overfitting (generalization gap 0.12 vs 0.26). Through controlled ablations, we demonstrate that the improvement stems entirely from the persistent memory topology, not from auxiliary self-prediction objectives. A model with identical topology but no auxiliary loss performs equivalently, while a random auxiliary loss provides no benefit. Representation probing reveals that the persistent state encodes narrative position (52\% vs 33\% chance level)---information that standard attention maintains less efficiently. Our results suggest that bridging transformer layers with a lightweight recurrent memory is a simple, effective approach to improving generalization in small-scale language models.
• Abstract（参考訳）: 本稿では,デコーダのみのトランスフォーマに簡単なアーキテクチャ変更を導入し,クロスアテンションによる隠蔽表現を観測し,GRUを通じて自身を更新し,ゲート付加によるその後の処理を変調する永続的リカレント状態を提案する。 6層トランスの下半身と上半身の間に挿入されたこのモジュールは、3.7 %のパラメータのみを追加し、評価損失を2.438 pm 0.004$から1.743 pm 0.018$に減らした。 この改良は5つのランダム種子(p < 0.01$)で統計的に有意であり、オーバーフィッティングの減少に対応する(一般化ギャップ0.12 vs 0.26)。 制御されたアブレーションを通して、改善は、補助的な自己予測目標からではなく、永続的な記憶トポロジーに由来することを実証する。 同じトポロジを持つが、補助損失のないモデルは等価に動作し、一方、ランダムな補助損失は利益を与えない。 Representation Probingは、持続状態が物語位置(52\%対33\%の確率レベル)を符号化していることを明らかにする。 提案手法は,小型言語モデルにおける一般化の容易かつ効果的な手法であることを示す。

関連論文リスト

• Low-Rank Ternary Adaptation for Fine-Tuning Transformers [54.3230438745856]
  3次変換器は、極端なメモリと計算効率を提供する。 既存のロービットのLoRAベースの手法では、3次重みを直接微調整することはできない。 3次重みの離散的な更新を表す3次乗法適応を提案する。
  論文  参考訳（メタデータ） (2026-08-25T12:15:56Z)
• RecurrentGPT: Expressive Depth through Recurrent Modulation in Transformers [8.085475675888045]
  リカレントGPT(RecurrentGPT)は、固定深度前処理とコダブロックが1つの共有コア繰り返しR回ブラケットする再カレント深さ変換器である。 ゲート型リカレントニューラルネットワークにインスパイアされた私たちは、ライトウェイトプロジェクションとエレメントワイズ更新ゲートを使用して、リカレント更新を変調する。 この結果から,適応的深度再利用は品質の取引パラメータの原則的戦略であることが示唆された。
  論文  参考訳（メタデータ） (2026-08-15T06:22:00Z)
• Bend the Basics: Degradation-Aware Deformable Tokenization for All-in-One Image Restoration [72.64498743287601]
  オールインワン画像復元は、多様で空間的に一様でない腐敗によって劣化した画像を復元できる単一のモデルを求める。 パイプライン全体にわたる劣化認識をモデル化するフレキシブル・イメージ・トランスフォーマー(FIT)を提案する。 FITは、30.72dBの平均PSNRを5次劣化設定で32.83dBを3次劣化設定で達成し、最近の統一修復法を+0.5$sim$1.1dBで上回った。
  論文  参考訳（メタデータ） (2026-08-07T05:44:31Z)
• Associative-State Universal Transformers: Sparse Retrieval Meets Structured Recurrence [0.7364191922317778]
  構造化されたリカレント状態が、言語モデリングのためのコンパクトな連想バックボーンとして機能するかを検討する。 我々はUniMatrixを紹介した。UniMatrixはUniversal Transformerスタイルのファミリーで、深さにわたって共有された再帰ブロックを再利用する。 我々はこれらのモデルを,バイトレベルのWikiText-2とApple MPSで評価する。
  論文  参考訳（メタデータ） (2026-04-01T22:30:25Z)
• Diversity-Guided MLP Reduction for Efficient Large Vision Transformers [62.33249256133204]
  トランスフォーマーモデルは優れたスケーリング特性を実現し、モデルキャパシティの増大により性能が向上する。 大規模モデルパラメータは、計算とメモリの大幅なコストにつながる。 そこで本稿では,大規模な視覚変換器のパラメータを著しく削減するDGMR法を提案する。
  論文  参考訳（メタデータ） (2025-06-10T08:59:27Z)
• Segmented Recurrent Transformer: An Efficient Sequence-to-Sequence Model [10.473819332984005]
  分割された(局所的な)注意と再帰的な注意を結合した分節再帰変圧器(SRformer)を提案する。 提案モデルでは,分割変圧器よりも高いROUGE1スコアを6-22%で達成し,他の再帰変圧器よりも優れている。
  論文  参考訳（メタデータ） (2023-05-24T03:47:22Z)
• Accelerating Attention through Gradient-Based Learned Runtime Pruning [9.109136535767478]
  自己認識は、トランスフォーマーベースの自然言語処理モデルにおいて、最先端の精度を実現する重要な手段である。 本稿では、学習の損失関数に組み込まれたソフトな微分可能正規化器による探索を定式化する。 我々は、ビットレベルの早期終了マイクロアーキテクチャ機構を持つトランスフォーマー言語モデルに対して、LeOPArdと呼ばれるビットシリアルアーキテクチャを考案した。
  論文  参考訳（メタデータ） (2022-04-07T05:31:13Z)
• Delta Keyword Transformer: Bringing Transformers to the Edge through Dynamically Pruned Multi-Head Self-Attention [4.925939498983408]
  マルチヘッド自己アテンションはトランスフォーマーネットワークのコアを形成する。 本稿では,トークン間のデータの時間的安定性を利用して推論コストを削減する動的プルーニング手法を提案する。 実験の結果,元の98.4%の精度を維持しながら80%の操作を削減できることがわかった。
  論文  参考訳（メタデータ） (2022-03-20T20:59:13Z)
• Funnel-Transformer: Filtering out Sequential Redundancy for Efficient Language Processing [112.2208052057002]
  本稿では,隠れ状態の列を短く圧縮するFunnel-Transformerを提案する。 Funnel-TransformerはFLOPに匹敵する数が少ないため、様々なシーケンスレベルの予測タスクにおいて標準のTransformerよりも優れている。
  論文  参考訳（メタデータ） (2020-06-05T05:16:23Z)
• The Cascade Transformer: an Application for Efficient Answer Sentence Selection [116.09532365093659]
  本稿では,変圧器をベースとしたモデルのカスケード化手法であるカスケード変換器について紹介する。 現状の変圧器モデルと比較すると,提案手法は精度にほとんど影響を与えずに計算量を37%削減する。
  論文  参考訳（メタデータ） (2020-05-05T23:32:01Z)
• End-to-End Multi-speaker Speech Recognition with Transformer [88.22355110349933]
  音声認識モデルにおけるRNNベースのエンコーダデコーダをトランスフォーマーアーキテクチャに置き換える。 また、計算量を削減するために、シーケンス全体ではなくセグメントに制限されるセルフアテンションコンポーネントを変更します。
  論文  参考訳（メタデータ） (2020-02-10T16:29:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。