論文の概要: StateLinFormer: Stateful Training Enhancing Long-term Memory in Navigation

• arxiv url: http://arxiv.org/abs/2603.23571v1
• Date: Tue, 24 Mar 2026 11:04:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-26 21:06:10.946676
• Title: StateLinFormer: Stateful Training Enhancing Long-term Memory in Navigation
• Title（参考訳）: StateLinFormer: ナビゲーションにおける長期メモリ向上のためのステートフルトレーニング
• Authors: Zhiyuan Chen, Yuxuan Zhong, Fan Wang, Bo Yu, Pengtao Shao, Shaoshan Liu, Ning Ding,
• Abstract要約: 我々はステートフルメモリ機構でトレーニングされた線形アテンションナビゲーションモデルであるStateLinFormerを紹介する。 この訓練パラダイムは、無限に長いシーケンスでの学習を効果的に近似し、モデルが長期記憶保持を達成することを可能にする。
• 参考スコア（独自算出の注目度）: 14.66409147430344
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Effective navigation intelligence relies on long-term memory to support both immediate generalization and sustained adaptation. However, existing approaches face a dilemma: modular systems rely on explicit mapping but lack flexibility, while Transformer-based end-to-end models are constrained by fixed context windows, limiting persistent memory across extended interactions. We introduce StateLinFormer, a linear-attention navigation model trained with a stateful memory mechanism that preserves recurrent memory states across consecutive training segments instead of reinitializing them at each batch boundary. This training paradigm effectively approximates learning on infinitely long sequences, enabling the model to achieve long-horizon memory retention. Experiments across both MAZE and ProcTHOR environments demonstrate that StateLinFormer significantly outperforms its stateless linear-attention counterpart and standard Transformer baselines with fixed context windows. Notably, as interaction length increases, persistent stateful training substantially improves context-dependent adaptation, suggesting an enhancement in the model's In-Context Learning (ICL) capabilities for navigation tasks.
• Abstract（参考訳）: 効果的なナビゲーションインテリジェンスは、即時一般化と持続的適応の両方をサポートするために、長期記憶に依存している。 しかし、既存のアプローチはジレンマに直面している: モジュールシステムは明示的なマッピングに依存しているが柔軟性に欠ける。 我々は、ステートフルメモリ機構でトレーニングされたリニアアテンションナビゲーションモデルであるStateLinFormerを紹介した。 この訓練パラダイムは、無限に長いシーケンスでの学習を効果的に近似し、モデルが長期記憶保持を達成することを可能にする。 MAZEとProcTHOR環境をまたいだ実験では、StateLinFormerはステートレスなリニアアテンションと、固定されたコンテキストウィンドウを持つ標準のTransformerベースラインを著しく上回っている。 特に、相互作用の長さが増加するにつれて、永続的なステートフルトレーニングはコンテキスト依存の適応を大幅に改善し、ナビゲーションタスクに対するモデルのインコンテキスト学習(ICL)能力の強化を示唆している。

関連論文リスト

• Efficient Continual Learning in Language Models via Thalamically Routed Cortical Columns [0.16921396880325779]
  アーキテクチャレベルでの継続的な学習に対処するデコーダのみのバックボーンであるTRC$2(Thalamically Routed Cortical Columns)を導入します。 結果として得られるブロックはスパースでチャンク並列であり、各サブシステムのクリーンなアブレーションを維持しながら、効率的なトレーニングと推論を可能にする。
  論文  参考訳（メタデータ） (2026-02-25T23:38:16Z)
• Memo: Training Memory-Efficient Embodied Agents with Reinforcement Learning [53.72709564555407]
  Memoは、強化学習のためのトランスフォーマーベースのアーキテクチャとトレーニングのレシピである。 トレーニング中のモデルの入力と周期的な要約トークンをインターリーブすることで、メモリの生成と検索を組み込む。 グリッドワールドメタRLベンチマークとマルチオブジェクトナビゲーションタスクにおけるMemoの有効性を,フォトリアリスティック屋内環境で実証する。
  論文  参考訳（メタデータ） (2025-10-22T16:24:47Z)
• Lizard: An Efficient Linearization Framework for Large Language Models [113.87302474262798]
  プリトレーニングされたトランスフォーマーベース大規模言語モデル(LLM)をサブクワッドアーキテクチャに変換する線形化フレームワークであるLizardを提案する。 Lizardは、モデル品質を保ちながらソフトマックスアテンションを正確に近似するサブクワッドアテンションメカニズムを導入することで、これらの制限に対処する。 5 ショット MMLU ベンチマークにおいて,Lizard は教師モデルの性能のほぼ無作為な回復を実現し,従来の手法よりも 9.4 ～ 24.5 ポイント高い性能を示した。
  論文  参考訳（メタデータ） (2025-07-11T21:19:18Z)
• Bisecle: Binding and Separation in Continual Learning for Video Language Understanding [11.710573955384511]
  海馬における高速な結合とパターン分離機構に着想を得たビデオ言語連続学習のためのBisecleを提案する。 Bisecleは、いくつかのVideoQAベンチマークにおいて、忘れを緩和し、クロスタスクの一般化を強化する。
  論文  参考訳（メタデータ） (2025-07-01T06:28:57Z)
• Stable Hadamard Memory: Revitalizing Memory-Augmented Agents for Reinforcement Learning [64.93848182403116]
  現在のディープラーニングメモリモデルは、部分的に観察可能で長期にわたる強化学習環境で苦労している。 本稿では,強化学習エージェントのための新しい記憶モデルであるStable Hadamard Memoryを紹介する。 我々の手法は、部分的に観測可能なベンチマークに挑戦する上で、最先端のメモリベースの手法よりも大幅に優れています。
  論文  参考訳（メタデータ） (2024-10-14T03:50:17Z)
• SHERL: Synthesizing High Accuracy and Efficient Memory for Resource-Limited Transfer Learning [63.93193829913252]
  本稿では,リソース制限シナリオに対するSHERLと呼ばれる革新的なMETL戦略を提案する。 初期経路では、中間出力は反冗長動作によって統合される。 遅延ルートでは、最小限の遅延事前トレーニングされたレイヤを利用することで、メモリオーバーヘッドのピーク需要を軽減できる。
  論文  参考訳（メタデータ） (2024-07-10T10:22:35Z)
• Boosting Continual Learning of Vision-Language Models via Mixture-of-Experts Adapters [65.15700861265432]
  本稿では,視覚言語モデルを用いた漸進的学習における長期的忘れを緩和するパラメータ効率の連続学習フレームワークを提案する。 提案手法では,Mixture-of-Experts (MoE)アダプタの統合により,事前学習したCLIPモデルの動的拡張を行う。 視覚言語モデルのゼロショット認識能力を維持するために,分布判別オートセレクタを提案する。
  論文  参考訳（メタデータ） (2024-03-18T08:00:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。