論文の概要: Understanding Goal Generalisation in Sequential Reinforcement Learning
- arxiv url: http://arxiv.org/abs/2605.23565v1
- Date: Fri, 22 May 2026 12:31:18 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-25 17:29:20.344975
- Title: Understanding Goal Generalisation in Sequential Reinforcement Learning
- Title（参考訳）: 逐次強化学習におけるゴール一般化の理解
- Abstract要約: 強化学習エージェントは、トレーニングディストリビューションの外で意図しない目標指向の振る舞いを示すことが多い。
100以上のシーケンシャルなトレーニングパイプラインを調査し、250以上のアウト・オブ・ディストリビューション環境における振る舞いを評価します。
健全な特徴が一般化を促し、訓練の早い段階で学習した目標が、後から取得した目標を持続し、影響を及ぼすことがわかりました。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Reinforcement learning agents often exhibit unintended goal-directed behaviour outside their training distribution, but we currently lack a principled understanding of how such agents will generalise to novel environments based on their training history. We address this gap for agents trained sequentially on one or more tasks. We study over 100 sequential training pipelines, evaluating behaviour across over 250 out-of-distribution environments. We find that salient features drive generalisation, and that goals learnt early in training can persist and influence those acquired later. To explain these phenomena, we introduce latent policy gradients, a method that predicts what out-of-distribution behaviour a training pipeline will likely induce. Our method simulates the evolution of low-dimensional latent variables during training according to what would achieve high reward on the training objective with respect to a simple model of how the latent variables map to behaviour. It achieves strong predictive accuracy, generalises to unseen types of training pipeline, and is interpretable. Our findings demonstrate that while out-of-distribution RL agent behaviour is dependent on the whole training pipeline, this dependence has an underlying structure we can capture, laying groundwork for understanding goal generalisation from a developmental perspective.
- Abstract（参考訳）: 強化学習エージェントは、トレーニング分布外の意図しない目標指向行動を示すことが多いが、これらのエージェントがトレーニング履歴に基づいてどのようにして新しい環境に一般化されるかについての原則的な理解が欠けている。
1つ以上のタスクで逐次訓練されたエージェントに対して、このギャップに対処する。
100以上のシーケンシャルなトレーニングパイプラインを調査し、250以上のアウト・オブ・ディストリビューション環境における振る舞いを評価します。
健全な特徴が一般化を促し、訓練の早い段階で学習した目標が、後から取得した目標を持続し、影響を及ぼすことがわかりました。
これらの現象を説明するために、トレーニングパイプラインがどのようなアウト・オブ・ディストリビューション行動を引き起こすかを予測する方法である潜在ポリシー勾配を導入する。
本手法は,低次元潜伏変数の学習過程において,学習目標に対して高い報奨を得られるかに応じて,学習中の潜伏変数の進化をシミュレートする。
強い予測精度を実現し、目に見えないタイプのトレーニングパイプラインに一般化し、解釈可能である。
以上の結果から, アウト・オブ・ディストリビューション RL エージェントの動作はトレーニングパイプライン全体に依存するが, この依存は私たちが捉えることのできる基盤構造を持ち, 発達的視点からゴールの一般化を理解するための基盤となることが示唆された。
関連論文リスト
- Aspire: Can Models Self-Evolve from Vague Goals? [61.65007006747275]
我々はあいまいなゴール駆動型自己進化のベンチマークであるASPIREを紹介する。
ASPIREは、統一された対話環境におけるモデルウェイトとエージェントハーネスの進化をサポートする。
実験の結果,曖昧な目標が探索努力を目標解釈に向けることが示唆された。
論文 参考訳（メタデータ） (2026-08-31T17:14:59Z) - Introspective X Training: Feedback Conditioning Improves Scaling Across all LLM Training Stages [51.86479668480496]
私たちは、現在のLLMトレーニングパイプラインの、成長を続ける多くのステージに対して、どのようにより効率的にスケールするかという問題に取り組みます。
オフライン報酬条件強化学習に触発されたイントロスペクティブトレーニング(IXT)を提案する。
IXTは思考報酬モデルを使用して、自然言語の批判に基づくフィードバックでデータを注釈付けし、パイプラインの初期段階から品質に配慮したトレーニングを可能にする。
論文 参考訳（メタデータ） (2026-05-19T06:04:08Z) - Unsupervised Learning of Efficient Exploration: Pre-training Adaptive Policies via Self-Imposed Goals [0.0]
教師なし事前学習は、強化学習エージェントに事前知識を付与し、下流タスクでの学習を加速することができる。
本稿では,文脈内学習者と対向目標生成戦略を組み合わせた教師なしメタ学習手法ULEEを提案する。
論文 参考訳（メタデータ） (2026-01-27T17:10:29Z) - Representation-Based Exploration for Language Models: From Test-Time to Post-Training [50.144031964319424]
強化学習(RL)は、言語モデルの能力を拡張することを約束する。
現在のRL技術が新しい行動の発見を促進するのか、あるいは単にベースモデルにすでに存在するものを研ぎ澄ましているのかは不明だ。
我々は、意図的な探索の価値を調査し、新しい多様な行動を発見するためのモデルを明確にインセンティブ付けする。
論文 参考訳（メタデータ） (2025-10-13T17:49:05Z) - Shop-R1: Rewarding LLMs to Simulate Human Behavior in Online Shopping via Reinforcement Learning [27.226155951073064]
Shop-R1は大規模言語モデル(LLM)の推論能力向上を目的とした新しい強化学習フレームワークである
合理的な生成には、内部モデル信号(例えば、ロジット分布)を活用して、推論プロセスを自己管理的に導く。
行動予測のために,報酬ハッキングを防止するため,スケーリングの難しさを考慮した階層型報酬構造を提案する。
論文 参考訳（メタデータ） (2025-07-23T18:10:43Z) - Hierarchical Decomposition of Prompt-Based Continual Learning:
Rethinking Obscured Sub-optimality [55.88910947643436]
大量のラベルのないデータを実際に扱うためには、自己教師付き事前トレーニングが不可欠である。
HiDe-Promptは、タスク固有のプロンプトと統計のアンサンブルで階層的なコンポーネントを明示的に最適化する革新的なアプローチである。
実験では,HiDe-Promptの優れた性能と,継続学習における事前学習パラダイムへの頑健さを実証した。
論文 参考訳（メタデータ） (2023-10-11T06:51:46Z) - Discrete Factorial Representations as an Abstraction for Goal
Conditioned Reinforcement Learning [99.38163119531745]
離散化ボトルネックを適用することにより,目標条件付きRLセットアップの性能が向上することを示す。
分布外目標に対する期待した回帰を実験的に証明し、同時に表現的な構造で目標を指定できるようにします。
論文 参考訳（メタデータ） (2022-11-01T03:31:43Z) - Learning Dynamics and Generalization in Reinforcement Learning [59.530058000689884]
時間差学習は, エージェントが訓練の初期段階において, 値関数の非平滑成分を適合させるのに役立つことを理論的に示す。
本研究では,高密度報酬タスクの時間差アルゴリズムを用いて学習したニューラルネットワークが,ランダムなネットワークや政策手法で学習した勾配ネットワークよりも,状態間の一般化が弱いことを示す。
論文 参考訳（メタデータ） (2022-06-05T08:49:16Z) - Learning Curves for Sequential Training of Neural Networks:
Self-Knowledge Transfer and Forgetting [9.734033555407406]
我々は,タスクからタスクまでの目標関数を継続的に学習するニューラルネットワークをニューラルネットワークとして検討する。
モデルが複数のタスクで同じターゲット関数を学習する連続学習の変種について検討する。
同じターゲットであっても、トレーニングされたモデルは、各タスクのサンプルサイズに応じて、何らかの転送と忘れを見せる。
論文 参考訳（メタデータ） (2021-12-03T00:25:01Z) - What training reveals about neural network complexity [80.87515604428346]
この研究は、ディープニューラルネットワーク(NN)が学習している関数の複雑さは、トレーニング中にその重みがどれほど速く変化するかによって推定できるという仮説を探求する。
我々の結果は、優れた訓練行動が良い一般化への有用なバイアスとなるという仮説を支持している。
論文 参考訳（メタデータ） (2021-06-08T08:58:00Z) - Instance based Generalization in Reinforcement Learning [24.485597364200824]
部分観測可能なマルコフ決定過程(POMDP)の文脈における政策学習の分析
探索戦略とは独立に、再使用したインスタンスは、トレーニング中にエージェントが観察するマルコフダイナミクスに大きな変化をもたらすことを証明している。
我々は、データ収集に使用されるコンセンサスポリシーを計算し、インスタンス固有のエクスプロイトを許可しない、特別なポリシーのアンサンブルに対して共有信念表現を訓練することを提案する。
論文 参考訳（メタデータ） (2020-11-02T16:19:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。