論文の概要: Anchor: Augmented Cross-Layer Recurrent State for Long-Context Retrieval in Test-Time Training

• arxiv url: http://arxiv.org/abs/2611.04327v1
• Date: Tue, 03 Nov 2026 05:07:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-10 03:01:44.402453
• Title: Anchor: Augmented Cross-Layer Recurrent State for Long-Context Retrieval in Test-Time Training
• Title（参考訳）: Anchor: テスト時間トレーニングにおける長期検索のための拡張型クロスレイヤリカレントステート
• Abstract要約: SWAとTTT(Test-Time Training)のハイブリッドを調査した結果、検索は深さに分散しており、いくつかのアンカー層に集中していることがわかった。 アンカー層のみに配置されたTTTメモリと、複数の層が書き込んで読み込むクロスレイヤのリカレントステートである。 Llama-3.1-8BとMistral-7Bでは、Anchorは2.3-3.1倍のリコールと6.7-8.9ポイントのMMLU精度をLOLCATよりも10倍小さいリカレント状態で提供する。
• 参考スコア（独自算出の注目度）: 7.475241986990974
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Parameter-efficient linearization turns a pretrained autoregressive Transformer into an efficient model by hybridizing sliding-window attention (SWA) with a constant-size recurrent memory. But does every layer's recurrent state contribute to long-context retrieval? Investigating an SWA and Test-Time Training (TTT) hybrid, we find that retrieval is sparse across depth, concentrated in a few anchor layers, and that the remaining states hold similar information expressed through layer-specific transformations. We exploit both observations in Anchor: TTT memory placed only at the anchor layers, and a cross-layer recurrent state written once and read by many layers, each through its own learned read map that realizes a layer-specific stretch and rotation, along with demonstrated generalization to other hybrid attentions. On Llama-3.1-8B and Mistral-7B, Anchor delivers 2.3-3.1x higher recall and 6.7-8.9 points higher MMLU accuracy than LoLCATs with a 10x smaller recurrent state, retains 91-95% of the teacher's MMLU accuracy, and cuts end-to-end latency by up to 4.3x relative to softmax attention.
• Abstract（参考訳）: パラメータ効率のよい線形化は、一定サイズのリカレントメモリでスライディングウインドウアテンション(SWA)をハイブリダイズすることにより、事前訓練された自己回帰変換器を効率的なモデルに変換する。 しかし、すべてのレイヤのリカレント状態は、ロングコンテキスト検索に寄与するのか? SWAとTTT(Test-Time Training)のハイブリッドを調べたところ、検索は深さに分散しており、いくつかのアンカー層に集中しており、残りの状態は層固有の変換によって表現される同様の情報を持っていることがわかった。 アンカー層にのみ置かれるTTTメモリと、複数の層で1度書き込まれて読み込まれるクロスレイヤリカレントステートと、各層固有のストレッチとローテーションを実現する独自の学習読解マップと、他のハイブリッドアテンションへの一般化を示す。 Llama-3.1-8BとMistral-7Bでは、Anchorは2.3-3.1xのリコールと6.7-8.9ポイントのMMLUの精度をLOLCATよりも10倍の低いリカレント状態で提供し、教師のMMLUの精度の91-95%を維持し、ソフトマックスの注意に対するエンドツーエンドのレイテンシを最大4.3倍まで削減する。

関連論文リスト

• CoTA++: Understanding the Repeat Curse in dMLLMs from an Information Flow Perspective [30.227704061058095]
  CoTA++はトレーニング不要のプラグイン・アンド・プレイフレームワークで、発端とする各ディスラプションに対処する。 CoTA++は、ロングレスポンスのサンプル繰り返し率を99.6%から17.0%に下げる。
  論文  参考訳（メタデータ） (2026-10-16T10:58:03Z)
• Balancing Memory Pathways: Analyzing and Improving Memory Utilization in Hybrid LMs [130.1824289756772]
  両経路を単純にアクセスすることは、ハイブリッドLMが効果的に利用しているという意味ではない。 それらは、リカレントステートよりも注意に大きく依存している。 再帰状態が全シーケンスを通して伝播している間に、注意の事前のコンテキストへのアクセスを制限する補助的な損失を追加する。
  論文  参考訳（メタデータ） (2026-10-05T17:27:30Z)
• Universal Test-Time Training [17.844170610505795]
  メモリオーナシップは深度に結びついてはならないと我々は主張し、Universal Test-Time Training (uTTT)を導入している。 我々はこのアイデアを uTTT-MoE と uTTT-Dense としてインスタンス化する。 言語モデリングでは、uTTT-MoEは124Mと760Mの精度で15.5と27.9に達する。
  論文  参考訳（メタデータ） (2026-10-04T19:43:36Z)
• Time-Anchored Diffusion Language Models: Latent-Space Caching for Fast Generation [23.888445709104825]
  自己監督型アンカーは、そのようなターゲットを必要とせず、潜伏型アンカーを学習し再利用する。 我々は、このフレームワークを、事前訓練されたDLMをタイムアコライズするTADM:Post-trainと、事前訓練中に時間ベースのアンカーを学習するTADM:Pretrainingとしてインスタンス化する。
  論文  参考訳（メタデータ） (2026-09-29T16:16:26Z)
• Just Let Linear States Forget the Distant Past: Prefix Caching via Suffix Replay for Hybrid LLMs [43.43808797326695]
  ハイブリッドLLMは、長いコンテキスト推論コストを削減するために、リニアアテンション層とフルアテンション層をインターリーブする。 フルアテンションKVキャッシュはトークン対応可能であるが、リニアアテンションレイヤは任意の接頭辞境界にロールバックできないリカレントステートを保持する。 SuffixReplayは、LLMがキャッシュをサポートするすべてのページ境界でキャッシュされたプレフィックスを再利用できるようにする最初のプレフィックスキャッシュシステムである。
  論文  参考訳（メタデータ） (2026-09-27T11:43:56Z)
• On the Design of Qwen3.8-Next Architecture: Evaluation, Efficiency, and Training Stability [57.03393882933515]
  Qwen3.8-Flash-Nextは125Bパラメータ、トークンあたり6Bアクティベートされ、加速器から保持されるn-gram埋め込みテーブルの51Bパラメータを持つスパースミックス・オブ・エキスパートモデルである。 トレーニング前の14のベンチマークでは、このモデルは前モデルの397B-A17Bを8点、残りを少なくとも2.6ポイント、アクティベートされたパラメータが1/3、トレーニングトークンが1/3、トレーニング用FLOPが1/9であった。
  論文  参考訳（メタデータ） (2026-08-31T06:35:07Z)
• Raven: High-Recall Sequence Modeling with Sparse Memory Routing [88.47618436676748]
  メモリスロットの固定セットを維持する線形時間シーケンスモデルであるRavenを導入し、各ステップにおいて、学習された入力依存ルーティングによって選択されたサブセットのみを減衰・更新する。 リコール集約ベンチマーク全体では、Ravenは以前のリニアタイムベースラインと競合するか、より優れており、SWAとSSMの両方が大幅に低下する強いロングコンテキストリコールを実現している。
  論文  参考訳（メタデータ） (2026-07-28T07:04:32Z)
• Latent Recurrent Transformer: Architecture Exploration, Training Strategies, and Scaling Behavior [107.2098567818173]
  Latent Recurrent Transformer (LRT) は自己回帰変換器の軽量化である。 LRTは、次のトークンのリカレントメモリとして、前のトークンから高レベルなソース層隠れステートを再利用する。
  論文  参考訳（メタデータ） (2026-05-26T10:10:26Z)
• Attention Residuals [38.59138244826294]
  PreNorm との残余接続は現代の LLM では標準的なものであるが、固定単位重み付きで全ての層出力を蓄積する。 本稿では,アテンション残余(AttnRes)を提案する。
  論文  参考訳（メタデータ） (2026-03-16T09:32:21Z)
• LoGeR: Long-Context Geometric Reconstruction with Hybrid Memory [97.14005794889134]
  提案するLoGeRは,高密度な3次元再構成を,後最適化なしで極めて長いシーケンスに拡張する新しいアーキテクチャである。 LoGeRはビデオストリームをチャンクで処理し、高忠実度なチャンク内推論に強力な双方向の事前処理を活用する。 このメモリアーキテクチャにより、LoGeRは128フレームのシーケンスでトレーニングでき、推論中に数千フレームまで一般化できる。
  論文  参考訳（メタデータ） (2026-03-03T18:55:37Z)
• On-the-Fly Adaptive Distillation of Transformer to Dual-State Linear Attention [53.22963042513293]
  大規模言語モデル(LLM)は、自己アテンションを通じてグローバルトークンの依存関係をキャプチャするが、長い入力に対する計算とメモリコストに直面する。 まず,二状態線形注意(Dual-state linear attention, A)を提案する。これは2つの隠れ状態を保持する設計であり,その1つは,リニアアテンションアーキテクチャの典型的な短距離バイアスを緩和し,リニアアテンションを追尾するものである。 本稿では,DSLA層を段階的に置き換えるオンライン適応蒸留フレームワークであるDSLA-Serveを紹介する。
  論文  参考訳（メタデータ） (2025-06-11T01:25:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。