論文の概要: Towards Monotonic Improvement in In-Context Reinforcement Learning
- arxiv url: http://arxiv.org/abs/2509.23209v1
- Date: Sat, 27 Sep 2025 09:42:19 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-09-30 22:32:19.105968
- Title: Towards Monotonic Improvement in In-Context Reinforcement Learning
- Title（参考訳）: インテクスト強化学習における単調な改善に向けて
- Authors: Wenhao Zhang, Shao Zhang, Xihuai Wang, Yang Li, Ying Wen,
- Abstract要約: In-Context Reinforcement Learning (ICRL)は、新しいタスクに迅速に適応できるエージェントを開発するための有望なパラダイムとして登場した。
最近のアプローチでは、オンラインRLからモノトニックポリシー改善データに関する大規模なシーケンスモデルをトレーニングしており、テスト時間のパフォーマンスを継続的に改善することを目指している。
学習時間とテスト時間の両方でコンテキスト値を推定する2つの手法を提案する。
- 参考スコア（独自算出の注目度）: 18.67894044930047
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In-Context Reinforcement Learning (ICRL) has emerged as a promising paradigm for developing agents that can rapidly adapt to new tasks by leveraging past experiences as context, without updating their parameters. Recent approaches train large sequence models on monotonic policy improvement data from online RL, aiming to a continue improved testing time performance. However, our experimental analysis reveals a critical flaw: these models cannot show a continue improvement like the training data during testing time. Theoretically, we identify this phenomenon as Contextual Ambiguity, where the model's own stochastic actions can generate an interaction history that misleadingly resembles that of a sub-optimal policy from the training data, initiating a vicious cycle of poor action selection. To resolve the Contextual Ambiguity, we introduce Context Value into training phase and propose Context Value Informed ICRL (CV-ICRL). CV-ICRL use Context Value as an explicit signal representing the ideal performance theoretically achievable by a policy given the current context. As the context expands, Context Value could include more task-relevant information, and therefore the ideal performance should be non-decreasing. We prove that the Context Value tightens the lower bound on the performance gap relative to an ideal, monotonically improving policy. We fruther propose two methods for estimating Context Value at both training and testing time. Experiments conducted on the Dark Room and Minigrid testbeds demonstrate that CV-ICRL effectively mitigates performance degradation and improves overall ICRL abilities across various tasks and environments. The source code and data of this paper are available at https://github.com/Bluixe/towards_monotonic_improvement .
- Abstract（参考訳）: In-Context Reinforcement Learning (ICRL)は、過去の経験をコンテキストとして活用することで、パラメータを更新することなく、新しいタスクに迅速に適応できるエージェントを開発するための、有望なパラダイムとして登場した。
最近のアプローチでは、オンラインRLからモノトニックポリシー改善データに関する大規模なシーケンスモデルをトレーニングしており、テスト時間のパフォーマンスを継続的に改善することを目指している。
これらのモデルは、テスト期間中のトレーニングデータのように、継続的な改善を示せません。
理論的には、この現象を文脈的曖昧性(Contextual Ambiguity)とみなし、モデル自身の確率的行動は、トレーニングデータから準最適ポリシーに誤って類似した相互作用履歴を発生させ、有害な行動選択のサイクルを開始する。
文脈の曖昧さを解決するため、トレーニングフェーズにコンテキスト値を導入し、CV-ICRL(Context Value Informed ICRL)を提案する。
CV-ICRLは、現在の文脈が与えられたポリシーによって理論的に達成可能な理想的な性能を表す明示的な信号としてコンテキスト値を使用する。
コンテキストが拡大するにつれて、Context Valueにはより多くのタスク関連情報が含まれる可能性があるため、理想的なパフォーマンスは非減少であるべきです。
我々は、コンテキスト値が、理想的な単調に改善されたポリシーに対して、パフォーマンスギャップの低い境界を締め付けることを証明した。
トレーニング時間とテスト時間の両方でコンテキスト値を推定する2つの方法を提案する。
ダークルームとミニグリッドの実験では、CV-ICRLは性能劣化を効果的に軽減し、様々なタスクや環境にまたがる全体的なICRL能力を改善することが示されている。
この論文のソースコードとデータはhttps://github.com/Bluixe/towards_monotonic_improvement で公開されている。
関連論文リスト
- Learning in Context, Guided by Choice: A Reward-Free Paradigm for Reinforcement Learning with Transformers [55.33468902405567]
本稿では、事前学習とデプロイの両方が好みのフィードバックにのみ依存する新しい学習パラダイム、In-Context Preference-based Reinforcement Learning (ICPRL)を提案する。
ICPRLは、厳密なコンテキスト内一般化を可能にし、完全な報酬管理で訓練されたICRLメソッドに匹敵するパフォーマンスを達成する。
論文 参考訳（メタデータ） (2026-02-09T03:42:16Z) - In-Context Reinforcement Learning From Suboptimal Historical Data [56.60512975858003]
トランスフォーマーモデルは、主にコンテキスト内学習能力によって、目覚ましい経験的成功を収めた。
本稿では,アクタ・クリティカルなアルゴリズムを文脈内でエミュレートする決定重要度変換フレームワークを提案する。
以上の結果から,特にオフラインデータセットが最適な履歴データを含む場合,DITは優れた性能を発揮することが示された。
論文 参考訳（メタデータ） (2026-01-27T23:13:06Z) - In-Context Reinforcement Learning through Bayesian Fusion of Context and Value Prior [53.21550098214227]
テキスト内強化学習は、パラメータを更新せずに、目に見えない環境への高速な適応を約束する。
本研究では,ベイズ ICRL 法である SPICE を導入し,その事前値を深層アンサンブルで学習し,テスト時に更新する。
本研究は,SPICEが準最適軌道のみに事前訓練した場合でも,帯域幅と有限水平MDPの両方において,後悔と最適動作を達成できることを証明した。
論文 参考訳（メタデータ） (2026-01-06T13:41:31Z) - Test-time Offline Reinforcement Learning on Goal-related Experience [50.94457794664909]
基礎モデルの研究では、テストタイムトレーニングによってパフォーマンスが大幅に改善できることが示されている。
本稿では、オフラインデータセットから現在の状態への関連性に応じて遷移を選択する、新しい自己教師型データ選択基準を提案する。
目標条件付きテストタイムトレーニング(GC-TTT)アルゴリズムは、評価中にこのルーチンを後退水平方式で適用し、現在の軌道にポリシーを適用する。
論文 参考訳（メタデータ） (2025-07-24T21:11:39Z) - Scalable In-Context Q-Learning [68.9917436397079]
textbfScalable textbfIn-textbfContext textbfQ-textbfLearning (textbfSICQL)を提案する。
textbfSICQLは動的プログラミングとワールドモデリングを利用して、ICRLを効率的な報酬とタスクの一般化に向けて制御する。
論文 参考訳（メタデータ） (2025-06-02T04:21:56Z) - A Snapshot of Influence: A Local Data Attribution Framework for Online Reinforcement Learning [37.62558445850573]
オンラインRLトレーニングのためのアルゴリズム,反復的影響に基づくフィルタリング(IIF)を提案する。
IIFはサンプルの複雑さを減らし、トレーニングをスピードアップし、より高いリターンを達成する。
これらの結果は、オンラインRLの解釈可能性、効率、有効性を向上させる。
論文 参考訳（メタデータ） (2025-05-25T19:25:57Z) - Dynamic Loss-Based Sample Reweighting for Improved Large Language Model Pretraining [55.262510814326035]
既存のリウェイト戦略は主にグループレベルのデータの重要性に焦点を当てている。
動的・インスタンスレベルのデータ再重み付けのための新しいアルゴリズムを提案する。
当社のフレームワークでは,冗長データや非形式データを優先的に再重み付けする戦略を考案することが可能です。
論文 参考訳（メタデータ） (2025-02-10T17:57:15Z) - Emergence of In-Context Reinforcement Learning from Noise Distillation [46.29510499540939]
雑音によるカリキュラムからコンテキスト内強化学習を可能にする新しいデータ取得手法を提案する。
本研究では,学習履歴の収集を支援する合成ノイズ注入カリキュラムの構築が可能であることを示す。
テキスト内RLは、学習データセットの最適部分ポリシーを2倍のマージンで上回り、最適ポリシーによる生成の必要性を軽減できることを実験的に実証した。
論文 参考訳（メタデータ） (2023-12-19T15:56:30Z) - Statistically Efficient Variance Reduction with Double Policy Estimation
for Off-Policy Evaluation in Sequence-Modeled Reinforcement Learning [53.97273491846883]
本稿では、オフラインシーケンスモデリングとオフライン強化学習をダブルポリシー推定と組み合わせたRLアルゴリズムDPEを提案する。
D4RLベンチマークを用いて,OpenAI Gymの複数のタスクで本手法を検証した。
論文 参考訳（メタデータ） (2023-08-28T20:46:07Z) - On Context Distribution Shift in Task Representation Learning for
Offline Meta RL [7.8317653074640186]
我々は、文脈に基づくOMRL、特にOMRLのタスク表現学習の課題に焦点を当てる。
この問題を解決するために、堅牢なタスクコンテキストエンコーダをトレーニングするためのハードサンプリングベースの戦略を提案する。
論文 参考訳（メタデータ） (2023-04-01T16:21:55Z) - Curriculum Offline Imitation Learning [72.1015201041391]
オフラインの強化学習タスクでは、エージェントは、環境とのさらなるインタラクションなしに、事前にコンパイルされたデータセットから学ぶ必要がある。
我々は,適応的な近隣政策を模倣する経験的選択戦略を,より高いリターンで活用するテキストカリキュラムオフライン学習(COIL)を提案する。
連続制御ベンチマークでは、COILを模倣ベースとRLベースの両方の手法と比較し、混合データセット上で平凡な振る舞いを学ぶことを避けるだけでなく、最先端のオフラインRL手法と競合することを示します。
論文 参考訳（メタデータ） (2021-11-03T08:02:48Z) - Off-Policy Meta-Reinforcement Learning Based on Feature Embedding Spaces [14.029933823101084]
学習と不確実性評価(ELUE)を埋め込んだ新しいオフポリシーメタRL法を提案する。
ELUEは、埋め込み空間と信念条件ポリシーとQ関数に関する信念モデルを学びます。
ELUEは,メタRLベンチマーク実験により,最先端のメタRL法よりも優れていることを示す。
論文 参考訳（メタデータ） (2021-01-06T05:51:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。