論文の概要: Decoupled Behavioral Cloning for Scalable Inductive Generalization in RL from Specifications

• arxiv url: http://arxiv.org/abs/2606.00838v1
• Date: Sat, 30 May 2026 18:26:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-02 21:34:28.878633
• Title: Decoupled Behavioral Cloning for Scalable Inductive Generalization in RL from Specifications
• Title（参考訳）: RLにおける拡張帰納的一般化のための分離された振る舞いクローン
• Abstract要約: DIBSは、学習タスク固有のポリシーと進化関数の学習を分離する。 まず、標準RLを用いてタスク毎の個別の教師ポリシーを学習し、その後、教師ラベル付き状態-行動ペアの行動的クローンを通して進化関数に適合する。 これはノイズの多い報酬の集約を、密度の高い安定した監視に置き換える。
• 参考スコア（独自算出の注目度）: 7.946635065608298
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Inductive generalization is a framework for reinforcement learning (RL) generalization in which inductively related task instances admit inductively related policies. Prior work captures this structure via a higher-order policy-evolution function learned directly with RL, but suffers from poor training scalability: as training tasks grow, aggregated reward feedback becomes noisy and conflicting, destabilizing training and weakening generalization. We propose DIBS, a decoupled behavioral cloning approach that separates learning task-specific policies from learning the evolution function. We first learn individual teacher policies per task via standard RL, then fit the evolution function via behavioral cloning on teacher-labeled state-action pairs. This replaces noisy reward aggregation with dense, stable supervision. DIBS achieves significant improvements in both training stability and zero-shot generalization against existing RL and meta-RL algorithms.
• Abstract（参考訳）: 帰納的一般化は、帰納的関連タスクインスタンスが帰納的関連ポリシーを認める強化学習(RL)一般化の枠組みである。 トレーニングタスクが成長するにつれて、集約された報酬フィードバックは騒々しくなり、矛盾し、トレーニングを不安定にし、一般化を弱める。 進化関数の学習からタスク固有のポリシーを分離する分離された行動クローニング手法であるDIBSを提案する。 まず、標準RLを用いてタスク毎の個別の教師ポリシーを学習し、その後、教師ラベル付き状態-行動ペアの行動的クローンを通して進化関数に適合する。 これはノイズの多い報酬の集約を、密度の高い安定した監視に置き換える。 DIBSは、既存のRLアルゴリズムとメタRLアルゴリズムに対して、トレーニング安定性とゼロショット一般化の両方において、大幅な改善を実現している。

関連論文リスト

• Why Does Reinforcement Learning Generalize? A Feature-Level Mechanistic Study of Post-Training in Large Language Models [51.45122910254346]
  強化学習(RL)に基づくポストトレーニングは、トレーニングドメインを超えた大規模言語モデルの推論性能を改善することが多い。 Supervised Fine-tuning (SFT) はしばしば一般的な忘れる能力をもたらす。 制御された実験装置を用いてRL一般化を探索する特徴レベル力学解析手法を提案する。
  論文  参考訳（メタデータ） (2026-04-27T21:22:34Z)
• RLoop: An Self-Improving Framework for Reinforcement Learning with Iterative Policy Initialization [65.23034604711489]
  大規模な推論モデルをトレーニングするための自己改善フレームワークであるRLoopを紹介します。 RLoopはまず、RLを使用して所定のポリシからソリューション空間を探索し、成功したトラジェクトリをフィルタリングしてエキスパートデータセットを作成する。 実験の結果、RLoopsは一般化を忘れて大幅に改善し、平均精度は9%、pass@32はバニラRLに比べて15%以上向上した。
  論文  参考訳（メタデータ） (2025-11-06T11:27:16Z)
• Diffusion Guidance Is a Controllable Policy Improvement Operator [98.11511661904618]
  CFGRLは教師付き学習の単純さで訓練されているが、データ内のポリシーをさらに改善することができる。 オフラインのRLタスクでは、信頼性の高いトレンドが観察されます -- ガイダンスの重み付けの増加によって、パフォーマンスが向上します。
  論文  参考訳（メタデータ） (2025-05-29T14:06:50Z)
• Behavior-Regularized Diffusion Policy Optimization for Offline Reinforcement Learning [22.333460316347264]
  本稿では,拡散型ポリシーに適した行動規則化RLフレームワークであるBDPOを紹介する。 我々は,行動制約を尊重しながら最適なポリシーを生成する,効率的な2時間スケールアクタークリティカルなRLアルゴリズムを開発した。
  論文  参考訳（メタデータ） (2025-02-07T09:30:35Z)
• Supplementing Gradient-Based Reinforcement Learning with Simple Evolutionary Ideas [4.873362301533824]
  我々は、強化学習(RL)における大規模だが指向的な学習ステップを導入するための、単純でサンプル効率のよいアルゴリズムを提案する。 この手法では、共通経験バッファを持つRLエージェントの集団を用いて、ポリシー空間を効率的に探索するために、エージェントのクロスオーバーと突然変異を行う。
  論文  参考訳（メタデータ） (2023-05-10T09:46:53Z)
• General policy mapping: online continual reinforcement learning inspired on the insect brain [3.8937756915387505]
  我々は,昆虫の脳に触発されたオンライン連続的・生涯強化学習モデルを開発した。 提案モデルは,オンライン環境におけるRLアルゴリズムの収束を可能にするために,特徴抽出と共通ポリシーレイヤのオフライントレーニングを利用する。
  論文  参考訳（メタデータ） (2022-11-30T05:54:19Z)
• Boosting Offline Reinforcement Learning via Data Rebalancing [104.3767045977716]
  オフライン強化学習(RL)は、学習ポリシーとデータセットの分散シフトによって問題となる。 本稿では,データセットの再サンプリングが分散サポートを一定に保っているという観察に基づいて,オフラインRLアルゴリズムをシンプルかつ効果的に向上させる手法を提案する。 ReD(Return-based Data Re Balance)メソッドをダブします。これは10行未満のコード変更で実装でき、無視できる実行時間を追加します。
  論文  参考訳（メタデータ） (2022-10-17T16:34:01Z)
• Jump-Start Reinforcement Learning [68.82380421479675]
  本稿では、オフラインデータやデモ、あるいは既存のポリシーを使ってRLポリシーを初期化するメタアルゴリズムを提案する。 特に,タスク解決に2つのポリシーを利用するアルゴリズムであるJump-Start Reinforcement Learning (JSRL)を提案する。 実験により、JSRLは既存の模倣と強化学習アルゴリズムを大幅に上回っていることを示す。
  論文  参考訳（メタデータ） (2022-04-05T17:25:22Z)
• Improving Zero-shot Generalization in Offline Reinforcement Learning using Generalized Similarity Functions [34.843526573355746]
  強化学習(Reinforcement Learning, RL)エージェントは、複雑な逐次意思決定タスクの解決に広く用いられているが、訓練中に見えないシナリオに一般化することが困難である。 RLにおける一般化のためのオンラインアルゴリズムの性能は、観測間の類似性の評価が不十分なため、オフライン環境では妨げられることを示す。 本稿では, 一般化類似度関数(GSF)と呼ばれる新しい理論的動機付けフレームワークを提案する。このフレームワークは, 競合学習を用いてオフラインのRLエージェントを訓練し, 期待される将来の行動の類似性に基づいて観測を集約する。
  論文  参考訳（メタデータ） (2021-11-29T15:42:54Z)
• Dynamics Generalization via Information Bottleneck in Deep Reinforcement Learning [90.93035276307239]
  本稿では,RLエージェントのより優れた一般化を実現するために,情報理論正則化目標とアニーリングに基づく最適化手法を提案する。 迷路ナビゲーションからロボットタスクまで、さまざまな領域において、我々のアプローチの極端な一般化の利点を実証する。 この研究は、タスク解決のために冗長な情報を徐々に取り除き、RLの一般化を改善するための原則化された方法を提供する。
  論文  参考訳（メタデータ） (2020-08-03T02:24:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。