論文の概要: World-Model Policy Arbiter for Goal-Conditioned Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2610.10932v1
• Date: Wed, 07 Oct 2026 21:41:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-10 02:36:53.6801
• Title: World-Model Policy Arbiter for Goal-Conditioned Reinforcement Learning
• Title（参考訳）: ゴール・コンディション強化学習のためのワールド・モデル・ポリシー・アビタ
• Abstract要約: WMPA(World-Model Policy Arbiter)は、学習された状態空間の世界モデルにおいて、各フリーズポリシーをロールアウトするテストタイムフレームワークである。 WMPAは、次の仲裁のラウンドの前に、短いコミットメント間隔で最高スコアのポリシーを実行する。 マクロ平均の成功率は、データセット毎に選択された最良のポリシーによって達成された44%から58%に改善され、12データセットに対して統計的に有意な増加をもたらしている。
• 参考スコア（独自算出の注目度）: 19.962556041262435
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Offline goal-conditioned reinforcement learning (GCRL) has produced a diverse set of goal-reaching algorithms, yet no single algorithm performs best across environments, goals, and even different phases of the same task. Rather than deploying only the best-performing policy, we ask whether a set of frozen goal-conditioned policies can be used collectively as a portfolio, deciding at every state which policy should act. Choosing a policy at each state is not straightforward. The policies' own value functions cannot be compared directly: they may use different scales, and some policies have no value function. We need to judge each policy by the states it is likely to reach, even though we can execute only one policy at a time. We also need to avoid switching so often that control becomes unstable. To address these challenges, we introduce World-Model Policy Arbiter (WMPA), a test-time framework that, given a set of frozen policies as input, rolls out each frozen policy in a learned state-space world model, evaluates the imagined futures with a shared goal-conditioned value function, and executes the highest-scoring policy for a short commitment interval before the next round of arbitration (policy selection). WMPA assumes access to a bank of frozen goal-conditioned policies and requires neither policy retraining nor privileged task-specific knowledge. Under the official OGBench evaluation protocol on 18 state-based datasets spanning maze navigation as well as cube, scene, and puzzle manipulation, WMPA improves the macro-average success rate from the 44% achieved by the best policy selected per dataset to 58%, with statistically significant gains on 12 datasets. These gains include +33 percentage points on cube-double-play and +36 percentage points on scene-play.
• Abstract（参考訳）: オフライン目標条件強化学習(GCRL)は、様々な目標達成アルゴリズムを作成したが、同じタスクの環境、目標、さらには異なるフェーズで最高の処理を行うアルゴリズムは存在しない。 最高のパフォーマンスのポリシのみをデプロイするのではなく、凍結した目標条件のポリシセットをポートフォリオとして集合的に使用して、どのポリシを実行するべきかを問う。 それぞれの州で政策を選択するのは簡単ではありません。 ポリシーの値関数は直接比較することはできず、異なるスケールを使用し、いくつかのポリシーは値関数を持たない。 我々は、一度に1つの政策しか実行できないにもかかわらず、到達しそうな州によってそれぞれの政策を判断する必要がある。 また、制御が不安定になるように、切り替えを避けることも必要です。 これらの課題に対処するため、我々は、一連の凍結ポリシーを入力として与え、学習された状態空間の世界モデルで各凍結ポリシーをロールアウトし、目標条件付き値関数を共用して想像した未来を評価し、次の調停(政治選択)の前に短いコミットメント間隔で最高評価ポリシーを実行するテストタイムフレームワークであるWorld-Model Policy Arbiter(WMPA)を紹介した。 WMPAは凍結した目標条件付き政策の銀行へのアクセスを前提としており、政策の再訓練も特権化されたタスク固有の知識も必要としない。 迷路ナビゲーションとキューブ、シーン、パズル操作にまたがる18のステートベースデータセットに関する公式なOGBench評価プロトコルの下で、WMPAは、データセット毎に選択された最良のポリシーによって達成されたマクロ平均成功率を44%から58%に改善し、12のデータセットに対して統計的に有意な増加をもたらしている。 これらの利得は、キューブダブルプレイで+33ポイント、シーンプレイで+36ポイントである。

関連論文リスト

• Policy Regularization with Dataset Constraint for Offline Reinforcement Learning [27.868687398300658]
  オフライン強化学習(Local Reinforcement Learning, RL)と呼ばれる,固定データセットから最善のポリシーを学習する問題を考察する。 本稿では、最も近い状態-作用対に対するポリシーの規則化がより効果的であることを発見し、データセット制約(PRDC)によるポリシーの規則化を提案する。 PRDCは、データセットから適切な振る舞いでポリシーをガイドし、与えられた状態に沿ってデータセットに現れないアクションを選択することができる。
  論文  参考訳（メタデータ） (2023-06-11T03:02:10Z)
• Conformal Off-Policy Evaluation in Markov Decision Processes [53.786439742572995]
  強化学習は、データから効率的な制御ポリシーを特定し評価することを目的としている。 この学習タスクのほとんどの方法は、Off-Policy Evaluation (OPE)と呼ばれ、正確さと確実性を保証するものではない。 本稿では,目標方針の真報を含む区間を所定の確信度で出力するコンフォーマル予測に基づく新しいOPE手法を提案する。
  論文  参考訳（メタデータ） (2023-04-05T16:45:11Z)
• General Policy Evaluation and Improvement by Learning to Identify Few But Crucial States [12.059140532198064]
  政策評価と改善の学習は強化学習の中核的な問題である。 最近検討された競合の代替手段は、多くのポリシーで単一の値関数を学ぶことである。 NNポリシを評価するために訓練された値関数も,ポリシアーキテクチャの変更に不変であることを示す。
  論文  参考訳（メタデータ） (2022-07-04T16:34:53Z)
• Generalizing Off-Policy Learning under Sample Selection Bias [15.733136147164032]
  本稿では,対象人口に一般化する学習政策の枠組みを提案する。 不確実性セットが適切に特定されている場合、トレーニングデータよりも悪いことができないため、我々の政策が対象人口に一般化されることを実証する。
  論文  参考訳（メタデータ） (2021-12-02T16:18:16Z)
• Supervised Off-Policy Ranking [145.3039527243585]
  オフポリシー評価(OPE)は、他のポリシーによって生成されたデータを活用して、ターゲットポリシーを評価する。 本稿では,訓練方針と既知の実績を正しくランク付けすることで,政策スコアリングモデルを学習する教師付き非政治ランキングを提案する。 本手法は,上位3つのポリシーのうち,最良と最良の双方のランク相関と性能差の両面から,強力なベースラインOPE法より優れる。
  論文  参考訳（メタデータ） (2021-07-03T07:01:23Z)
• Goal-Conditioned Reinforcement Learning with Imagined Subgoals [89.67840168694259]
  我々は、複雑なタスクの学習を容易にするために、想像上のサブゴールをポリシー学習に組み込むことを提案する。 想像上のサブゴールは、政策と批判を同時に訓練する独立したハイレベルな政策によって予測される。 複雑なロボットナビゲーションと操作タスクに対する我々のアプローチを評価し、既存の手法よりも大きなマージンで優れていることを示す。
  論文  参考訳（メタデータ） (2021-07-01T15:30:59Z)
• Policy Evaluation Networks [50.53250641051648]
  我々は,簡潔な埋め込みにおいて重要なポリシー情報を保持できる,スケーラブルで差別化可能なフィンガープリント機構を導入する。 実験の結果、これらの3つの要素を組み合わせることで、トレーニングデータを生成するものよりも優れたポリシーを作成できることが示された。
  論文  参考訳（メタデータ） (2020-02-26T23:00:27Z)
• BRPO: Batch Residual Policy Optimization [79.53696635382592]
  バッチ強化学習では、学習したポリシーが行動(データ生成)ポリシーに近いように制約されることがよくある。 本稿では,学習方針の逸脱が国家の行動に依存した残留政策を提案する。 我々は,ポリシーと許容偏差の両方を学習し,政策性能の低い境界を共同で最大化する新しいRL法BRPOを導出する。
  論文  参考訳（メタデータ） (2020-02-08T01:59:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。