論文の概要: From Weak Data to Strong Policy: Q-Targets Enable Provable In-Context Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2609.30391v1
• Date: Thu, 24 Sep 2026 18:01:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-28 18:27:51.083315
• Title: From Weak Data to Strong Policy: Q-Targets Enable Provable In-Context Reinforcement Learning
• Title（参考訳）: 弱データから強硬な政策へ:Q-Targetsは予測可能なインテクスト強化学習を可能にする
• Abstract要約: 教師付き行動予測目標を持つ事前学習型トランスフォーマーを主体とする既存のコンテキスト強化学習手法 本稿では,Q-Target Pretrained Transformer (QTPT)を提案する。 QTPTは、単に振舞いポリシーを模倣するのではなく、文脈における報酬と遷移を使って行動価値を見積もることを学ぶ。
• 参考スコア（独自算出の注目度）: 7.063444145985727
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Existing in-context reinforcement learning methods mainly pretrain Transformers with supervised behavior-prediction objectives. This enables task inference from context, but makes the learned policy strongly depend on the quality of offline actions: when trajectories are weak or suboptimal, imitation itself becomes a biased learning signal. We propose Q-Target Pretrained Transformers (QTPT), which keeps the context-conditioned Transformer architecture but replaces behavior cloning with a Bellman-style Q-target objective. QTPT therefore learns to use rewards and transitions in the context to estimate action values, rather than simply imitating the behavior policy. We theoretically analyze QTPT in stochastic linear bandits and finite-horizon MDPs, showing stronger robustness to data quality than supervised pretraining. Empirically, QTPT improves over supervised behavior prediction on controlled RL benchmarks with random or suboptimal data, and we examine extensions to D4RL Kitchen and AntMaze. Supplementary experiments evaluate backbone robustness, meta-RL comparisons, task-coherent context, and unsupported-action value overestimation. These comparisons distinguish the benefits of Q-target pretraining from the remaining limitations of offline coverage.
• Abstract（参考訳）: 教師付き行動予測目標を持つ事前学習型トランスフォーマーを主体とする既存のコンテキスト強化学習手法 これにより、コンテキストからのタスク推論が可能になるが、学習ポリシーはオフライン動作の品質に強く依存する。 本稿では,Q-Target Pretrained Transformer (QTPT)を提案する。 したがって、QTPTは単に行動ポリシーを模倣するのではなく、文脈における報酬と遷移を使って行動価値を見積もることを学ぶ。 確率線形包帯と有限水平MDPのQTPTを理論的に解析し、教師付き事前学習よりもデータ品質に強い堅牢性を示す。 実験的に、QTPTはランダムまたは準最適データを用いた制御されたRLベンチマークの教師付き動作予測を改善し、D4RL KitchenとAntMazeの拡張について検討する。 補助実験は、バックボーンの堅牢性、メタ-RLの比較、タスクコヒーレントコンテキスト、サポートアクション値の過大評価を評価する。 これらの比較は、Q-target Pretrainingの利点と、オフラインカバレッジの残りの制限を区別する。

関連論文リスト

• Test-Time Gradient Guidance of Flow Policies in Reinforcement Learning [50.738952715864116]
  表現的連続制御ポリシは、シミュレーションされた実ロボット制御のための模倣学習のスケーリングにおける進歩のバックボーンを形成する。 テスト時に完全にポリシー最適化を行うRLアルゴリズムであるQGF(Q-Guided Flow)を提案する。 実証的には、QGFはシングルタスクおよびゴール条件のオフラインRLベンチマークにおいて、以前のテスト時間RLメソッドよりも優れている。
  論文  参考訳（メタデータ） (2026-06-09T16:45:57Z)
• In-Context Reinforcement Learning From Suboptimal Historical Data [56.60512975858003]
  トランスフォーマーモデルは、主にコンテキスト内学習能力によって、目覚ましい経験的成功を収めた。 本稿では,アクタ・クリティカルなアルゴリズムを文脈内でエミュレートする決定重要度変換フレームワークを提案する。 以上の結果から,特にオフラインデータセットが最適な履歴データを含む場合,DITは優れた性能を発揮することが示された。
  論文  参考訳（メタデータ） (2026-01-27T23:13:06Z)
• Enhancing Q-Value Updates in Deep Q-Learning via Successor-State Prediction [3.2883573376133555]
  ディープQ-Networks(DQN)は、リプレイバッファからサンプリングされた遷移から学習することで、将来のリターンを推定する。 SADQは後続状態分布をQ値推定プロセスに統合する。 我々は、SADQがトレーニングのばらつきを低減しつつ、不偏値の推定を維持できることを理論的に保証する。
  論文  参考訳（メタデータ） (2025-11-05T20:04:53Z)
• Relative Entropy Pathwise Policy Optimization [66.03329137921949]
  そこで本稿では,Q値モデルをオンライントラジェクトリから純粋に訓練するオンラインアルゴリズムを提案する。 安定トレーニングのための制約付き更新と探索のためのポリシを組み合わせる方法を示し、価値関数学習を安定化させる重要なアーキテクチャコンポーネントを評価する。
  論文  参考訳（メタデータ） (2025-07-15T06:24:07Z)
• Q-value Regularized Transformer for Offline Reinforcement Learning [70.13643741130899]
  オフライン強化学習(RL)における最先端化のためのQ値正規化変換器(QT)を提案する。 QTはアクション値関数を学習し、条件付きシーケンスモデリング(CSM)のトレーニング損失にアクション値を最大化する用語を統合する D4RLベンチマークデータセットの実証評価は、従来のDP法やCSM法よりもQTの方が優れていることを示す。
  論文  参考訳（メタデータ） (2024-05-27T12:12:39Z)
• Offline Reinforcement Learning with Implicit Q-Learning [85.62618088890787]
  現行のオフライン強化学習手法では、トレーニング中に見つからない行動の価値を問い合わせて、ポリシーを改善する必要がある。 本稿では,データセット外の動作を評価する必要のないオフラインRL手法を提案する。 この方法により、学習したポリシーは、一般化によってデータの最良の振る舞いを大幅に改善することができる。
  論文  参考訳（メタデータ） (2021-10-12T17:05:05Z)
• BRAC+: Improved Behavior Regularized Actor Critic for Offline Reinforcement Learning [14.432131909590824]
  オフライン強化学習は、以前に収集したデータセットを使用して効果的なポリシーをトレーニングすることを目的としている。 標準的なオフ・ポリティクスRLアルゴリズムは、アウト・オブ・ディストリビューション(探索されていない)アクションの値を過大評価する傾向がある。 動作の規則化によるオフライン強化学習を改善し,BRAC+を提案する。
  論文  参考訳（メタデータ） (2021-10-02T23:55:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。