論文の概要: Decision Titan: Test-Time Training for Long-Term Memory in Offline Reinforcement Learning
- arxiv url: http://arxiv.org/abs/2610.01513v1
- Date: Thu, 01 Oct 2026 11:48:32 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-03 01:19:24.097557
- Title: Decision Titan: Test-Time Training for Long-Term Memory in Offline Reinforcement Learning
- Title（参考訳）: Decision Titan: オフライン強化学習における長期記憶のためのテストタイムトレーニング
- Abstract要約: 長期的な依存関係は、AI分野におけるシーケンシャルな意思決定の大きな課題である。
最近の研究は、テスト時間トレーニング(TTT)フレームワークでこの問題に取り組むことを提案した。
我々は,TTT層を付加した決定変換器(Decision Transformer)により,オフラインRLのためのTTフレームワークの可能性を検討する。
- 参考スコア（独自算出の注目度）: 0.8594140167290095
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: Long-term dependencies remain a major challenge for sequential decision-making in the field of AI: RNNs suffer from vanishing gradients and the limited expressivity of vector-based hidden states, whilst Transformer-based models are limited by the quadratic scaling of attention. Recent work has proposed tackling this problem with the Test-Time Training (TTT) framework, which stores episodic memories in the parameters of a neural network through gradient descent at both train and test-time. This approach has seen success in the domain of Natural Language Processing, however, to the best of our knowledge it has not yet been applied to the domain of Reinforcement Learning (RL), nor has there been a study analysing how this memory practically functions. In this paper, we study the potential of the TTT framework for offline RL by augmenting a Decision Transformer with TTT layers, dubbed the Decision Titan. We analyse performance and properties of the model in the X-Maze environment, an extension of T-Maze designed to test sequential memory, and investigate how the memory mechanism learns by visualising gate values over time. Our key findings are that Decision Titan can learn long-term dependencies with ranges 20x longer than the context window, generalises to lengths 1.7x the training data, but crucially temporal generalisation depends on the time embeddings used, and the ability to learn long-term dependencies depends on how the relevant information is encoded.
- Abstract（参考訳）: 長期的な依存関係は、AI分野におけるシーケンシャルな意思決定の大きな課題である: RNNは、ベクトルベースの隠れ状態の減少と限定的な表現に苦しむ一方、Transformerベースのモデルは注意の2次スケーリングによって制限される。
最近の研究は、テスト時間トレーニング(TTT)フレームワークでこの問題に対処することを提案している。これは、列車とテスト時間の両方で勾配降下を通じて、ニューラルネットワークのパラメータにエピソード記憶を格納する。
このアプローチは自然言語処理の分野では成功したが、私たちの知る限り、強化学習の領域(RL)にはまだ適用されていない。
本稿では,TTT層にTTT層を増設し,TTTフレームワークをオフラインRLに適用する可能性について検討する。
逐次記憶のテストを目的としたT-Mazeの拡張であるX-Maze環境でのモデルの性能と特性を分析し,時間とともにゲート値の可視化によってメモリ機構がどのように学習するかを検討する。
我々の重要な発見は、Decision Titanは、コンテキストウィンドウよりも20倍長い範囲で長期的な依存関係を学習し、トレーニングデータの1.7倍の長さに一般化するが、重要な時間的一般化は、使用される時間埋め込みに依存し、長期的な依存関係を学習する能力は、関連する情報のエンコード方法に依存する。
関連論文リスト
- Learning What to Remember: Test-Time Training via Context Distillation [72.10421333095852]
テストタイムトレーニング(TTT)は、長期コンテキストモデリングのためのオンラインパラメータ更新を実行する魅力的なアプローチである。
textbfTest-textbfTime textbfContext textbfDistillation (TTCD)を提案する。
論文 参考訳（メタデータ） (2026-08-03T04:06:06Z) - Towards Remote Sensing Change Detection with Neural Memory [61.39582645714727]
ChangeTitansは、リモートセンシングによる変更検出のためのTitansベースのフレームワークである。
まず、ニューラルネットワークと局所的な注意をセグメント化して統合するVTitansを提案する。
次に,階層型VTitans-Adapterを提案する。
第3に、2ストリーム融合モジュールであるTS-CBAMを導入し、擬似変化を抑制し、検出精度を高める。
論文 参考訳（メタデータ） (2026-02-11T03:50:51Z) - Test-time Offline Reinforcement Learning on Goal-related Experience [50.94457794664909]
基礎モデルの研究では、テストタイムトレーニングによってパフォーマンスが大幅に改善できることが示されている。
本稿では、オフラインデータセットから現在の状態への関連性に応じて遷移を選択する、新しい自己教師型データ選択基準を提案する。
目標条件付きテストタイムトレーニング(GC-TTT)アルゴリズムは、評価中にこのルーチンを後退水平方式で適用し、現在の軌道にポリシーを適用する。
論文 参考訳（メタデータ） (2025-07-24T21:11:39Z) - T-GRAB: A Synthetic Diagnostic Benchmark for Learning on Temporal Graphs [6.199165061105655]
時間的グラフ推論ベンチマーク(T-GRAB)を導入し,TGNNの時間的推論能力を体系的に探究する。
T-GRABは、主要な時間的スキルを分離する制御された解釈可能なタスクを提供する。
これらの課題に対して,11の時間グラフ学習手法を評価し,時間パターンを一般化する能力の根本的な欠点を明らかにした。
論文 参考訳（メタデータ） (2025-07-14T11:47:43Z) - Efficient Hierarchical Contrastive Self-supervising Learning for Time Series Classification via Importance-aware Resolution Selection [0.7373617024876725]
本稿では,階層型コントラスト学習モデルの学習方法を提案する。
各解像度のデータ埋め込みが極めて依存しているという事実に着想を得て、重要対応の解像度選択に基づくトレーニングフレームワークを導入する。
論文 参考訳（メタデータ） (2025-02-14T21:32:50Z) - Decision Trees That Remember: Gradient-Based Learning of Recurrent Decision Trees with Memory [1.4487264853431878]
我々はReMeDe Treesを紹介した。ReMeDe Treesは、RNNに似た内部メモリ機構を統合して、シーケンシャルデータにおける長期依存を学習する新しいDTアーキテクチャである。
我々のモデルは、出力生成と状態更新の両方に対して、厳密な軸整列決定ルールを学習し、勾配降下により効率よく最適化する。
論文 参考訳（メタデータ） (2025-02-06T13:11:50Z) - Titans: Learning to Memorize at Test Time [20.12643072017223]
歴史的文脈を記憶するために学習するニューラルな長期記憶モジュールを提案する。
このニューラルメモリは高速な推論を維持しつつ、高速な並列化可能なトレーニングの利点があることが示される。
我々は、Titansと呼ばれる新しいアーキテクチャのファミリーを紹介し、このアーキテクチャにメモリを効果的に組み込む方法に対処する3つのバリエーションを提示します。
論文 参考訳（メタデータ） (2024-12-31T22:32:03Z) - Tractable Offline Learning of Regular Decision Processes [50.11277112628193]
この研究は、正則決定過程(RDP)と呼ばれる非マルコフ環境のクラスにおけるオフライン強化学習(RL)を研究する。
インスは、未来の観測と過去の相互作用からの報酬の未知の依存を実験的に捉えることができる。
多くのアルゴリズムは、まずこの未知の依存関係を自動学習技術を用いて再構築する。
論文 参考訳（メタデータ） (2024-09-04T14:26:58Z) - State-Space Modeling in Long Sequence Processing: A Survey on Recurrence in the Transformer Era [59.279784235147254]
このサーベイは、シーケンシャルなデータ処理の反復モデルに基づく最新のアプローチの詳細な概要を提供する。
新たな画像は、標準のバックプロパゲーション・オブ・タイムから外れた学習アルゴリズムによって構成される、新しいルートを探索する余地があることを示唆している。
論文 参考訳（メタデータ） (2024-06-13T12:51:22Z) - AdaS: Adaptive Scheduling of Stochastic Gradients [50.80697760166045]
我々は、textit "knowledge gain" と textit "mapping condition" の概念を導入し、Adaptive Scheduling (AdaS) と呼ばれる新しいアルゴリズムを提案する。
実験によると、AdaSは派生した指標を用いて、既存の適応学習手法よりも高速な収束と優れた一般化、そして(b)いつトレーニングを中止するかを決定するための検証セットへの依存の欠如を示す。
論文 参考訳（メタデータ） (2020-06-11T16:36:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。