論文の概要: Gated Differentiable Working Memory for Long-Context Language Modeling

• arxiv url: http://arxiv.org/abs/2601.12906v1
• Date: Mon, 19 Jan 2026 10:00:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-21 22:47:22.849616
• Title: Gated Differentiable Working Memory for Long-Context Language Modeling
• Title（参考訳）: 長期言語モデリングのためのGated Differentiable Working Memory
• Authors: Lingrui Mei, Shenghua Liu, Yiwei Wang, Yuyao Ge, Baolong Bi, Jiayu Yao, Jun Wan, Ziling Yin, Jiafeng Guo, Xueqi Cheng,
• Abstract要約: 本稿では,Gdwm(Gated Differentiable Working Memory)を提案する。 ZeroSCROLLS と LongBench v2 の実験では、Gdwm は均一なベースラインよりも 4$times$ の勾配ステップで同等または優れたパフォーマンスを達成している。
• 参考スコア（独自算出の注目度）: 80.27483324685434
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Long contexts challenge transformers: attention scores dilute across thousands of tokens, critical information is often lost in the middle, and models struggle to adapt to novel patterns at inference time. Recent work on test-time adaptation addresses this by maintaining a form of working memory -- transient parameters updated on the current context -- but existing approaches rely on uniform write policies that waste computation on low-utility regions and suffer from high gradient variance across semantically heterogeneous contexts. In this work, we reframe test-time adaptation as a budget-constrained memory consolidation problem, focusing on which parts of the context should be consolidated into working memory under limited computation. We propose Gdwm (Gated Differentiable Working Memory), a framework that introduces a write controller to gate the consolidation process. The controller estimates Contextual Utility, an information-theoretic measure of long-range contextual dependence, and allocates gradient steps accordingly while maintaining global coverage. Experiments on ZeroSCROLLS and LongBench v2 demonstrate that Gdwm achieves comparable or superior performance with 4$\times$ fewer gradient steps than uniform baselines, establishing a new efficiency-performance Pareto frontier for test-time adaptation.
• Abstract（参考訳）: 注意スコアは何千ものトークンにまたがって希薄であり、重要な情報は中央でしばしば失われ、モデルは推論時に新しいパターンに適応するのに苦労する。 テスト時間適応に関する最近の研究は、作業メモリ(現在の状況に基づいて更新された過渡パラメータ)の形式を維持することでこの問題に対処しているが、既存のアプローチでは、低ユーティリティな領域での計算を無駄にし、意味的に不均一なコンテキストにまたがる高い勾配のばらつきに悩まされる、統一的な書き込みポリシーに依存している。 本研究では,テスト時間適応を予算制約付きメモリ統合問題として再設定し,計算量制限下での動作メモリへのコンテキストのどの部分を統合するべきかに着目した。 本稿では,Gdwm(Gated Differentiable Working Memory)を提案する。 コントローラは、長距離コンテキスト依存の情報理論尺度であるContextual Utilityを推定し、グローバルなカバレッジを維持しながら勾配のステップを割り当てる。 ZeroSCROLLS と LongBench v2 の実験では、Gdwm は 4$\times$ の勾配ステップを均一なベースラインよりも小さくし、テスト時間適応のための新しい効率性能パレートフロンティアを確立した。

関連論文リスト

• Gated KalmaNet: A Fading Memory Layer Through Test-Time Ridge Regression [53.48692193399171]
  Gated KalmaNet(GKA)は、次のトークンを予測する際に、すべての過去を説明することによってギャップを低減するレイヤである。 テスト時間におけるオンラインリッジ回帰問題を一定メモリと線形計算コストで解決する。 ロングコンテキストでは、GKAは現実世界のRAGタスクとLongQAタスクを最大128kトークンまで拡張し、他の薄型メモリベースラインよりも10ドル%以上の相対的な改善を実現している。
  論文  参考訳（メタデータ） (2025-11-26T03:26:37Z)
• PPMStereo: Pick-and-Play Memory Construction for Consistent Dynamic Stereo Matching [51.98089287914147]
  textbfPick-and-textbflay textbfMemory (PM) construction module for dynamic bfStereo matching, called bftextPPMStereo。 bftextPPMStereo と呼ばれる動的 bfStereo マッチングのための textbfPick-and-textbflay textbfMemory (PM) 構築モジュールを提案する。
  論文  参考訳（メタデータ） (2025-10-23T03:52:39Z)
• ResFormer: All-Time Reservoir Memory for Long Sequence Classification [4.298381633106637]
  シーケンス分類は、感情分析、意図検出、トピック分類といったタスクにおける言語パターンの理解と分類に欠かせない。 トランスフォーマーベースのモデルは、最先端のパフォーマンスを達成しているにもかかわらず、2次時間とメモリの複雑さのために固有の制限がある。 提案するResFormerは,カスケード手法を用いて,コンテキスト長を効率的にモデル化するニューラルネットワークアーキテクチャである。
  論文  参考訳（メタデータ） (2025-09-28T21:20:49Z)
• On-the-Fly Adaptive Distillation of Transformer to Dual-State Linear Attention [53.22963042513293]
  大規模言語モデル(LLM)は、自己アテンションを通じてグローバルトークンの依存関係をキャプチャするが、長い入力に対する計算とメモリコストに直面する。 まず,二状態線形注意(Dual-state linear attention, A)を提案する。これは2つの隠れ状態を保持する設計であり,その1つは,リニアアテンションアーキテクチャの典型的な短距離バイアスを緩和し,リニアアテンションを追尾するものである。 本稿では,DSLA層を段階的に置き換えるオンライン適応蒸留フレームワークであるDSLA-Serveを紹介する。
  論文  参考訳（メタデータ） (2025-06-11T01:25:06Z)
• Compress, Gather, and Recompute: REFORMing Long-Context Processing in Transformers [58.98923344096319]
  REFORMは、2フェーズアプローチによって、長いコンテキストを効率的に処理する新しい推論フレームワークである。 RULERとBABILongでそれぞれ1Mコンテキスト長で50%以上と27%のパフォーマンス向上を達成した。 また、Infinite-BenchとMM-NIAHのベースラインを上回り、さまざまなタスクやドメインの柔軟性を示す。
  論文  参考訳（メタデータ） (2025-06-01T23:49:14Z)
• ReservoirTTA: Prolonged Test-time Adaptation for Evolving and Recurring Domains [25.075869018443925]
  ReservoirTTAは、長期間のテスト時間適応のために設計された新しいプラグインフレームワークである。 中心となるReservoirTTAはドメイン特化モデルの貯水池を維持している。 理論的解析により,パラメータの分散を束縛し,モデル崩壊を防ぐ重要な要素が明らかになった。
  論文  参考訳（メタデータ） (2025-05-20T15:39:20Z)
• On the Convergence of Continual Federated Learning Using Incrementally Aggregated Gradients [7.226144684379189]
  機械学習の聖杯は、連続的フェデレーション学習(CFL)によって、ストリーミングデータから学習しながら、AIシステムの効率、プライバシ、スケーラビリティを高めることである。 本稿では、エッジベースのメモリ勾配更新と、現在のデータに対する集約勾配からなる新しいリプレイメモリベースのフェデレーション戦略を提案する。 我々は,C-FLAGが,タスクとクラスインクリメンタル設定の両方において,精度や忘れなどの指標に関して,最先端のベースラインを上回っていることを実証的に示す。
  論文  参考訳（メタデータ） (2024-11-12T17:36:20Z)
• SHERL: Synthesizing High Accuracy and Efficient Memory for Resource-Limited Transfer Learning [63.93193829913252]
  本稿では,リソース制限シナリオに対するSHERLと呼ばれる革新的なMETL戦略を提案する。 初期経路では、中間出力は反冗長動作によって統合される。 遅延ルートでは、最小限の遅延事前トレーニングされたレイヤを利用することで、メモリオーバーヘッドのピーク需要を軽減できる。
  論文  参考訳（メタデータ） (2024-07-10T10:22:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。