論文の概要: Variational Consequence-Driven Offline Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2610.38238v1
• Date: Wed, 28 Oct 2026 03:39:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-31 05:25:12.368728
• Title: Variational Consequence-Driven Offline Reinforcement Learning
• Title（参考訳）: 変動列駆動型オフライン強化学習
• Abstract要約: オフライン強化学習は典型的には、学習および行動ポリシーの行動分布にばらつきの制約を課すことによって、分布シフトを緩和する。 本稿では、難解な目的を閉形式潜在分散に置き換える構造的振舞い規則化(StBR)を提案する。 StBRは、さまざまなオフラインRLベンチマークで優れたパフォーマンスを実現している。
• 参考スコア（独自算出の注目度）: 20.59212917131564
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Offline reinforcement learning (RL) typically mitigates distribution shift by imposing divergence constraints on the action distributions of the learned and behavior policies. However, this paradigm cannot ensure the underlying dynamic consistency structure: even minor action deviations can lead to drastically different transitions, inadvertently driving the agent away from the offline dataset. To address this, we explore policy constraints through their induced state-consequence distributions rather than relying on pure action-distribution matching. Nevertheless, directly enforcing such consequence-aware constraints is computationally intractable without access to the true underlying dynamics model. To bypass this issue, we propose Structural Behavior Regularization (StBR), which replaces the intractable objective with a closed-form latent divergence. Structuring this latent space to reflect transition dynamics renders the latent divergence a theoretically bounded surrogate for the true consequence-distribution divergence. By regularizing the learned policy with this latent divergence, StBR adaptively tightens the behavior constraint in dynamics-sensitive regions, effectively preventing deviations outside the offline dataset. Empirically, we demonstrate that StBR achieves superior performance across diverse offline RL benchmarks.
• Abstract（参考訳）: オフライン強化学習(RL)は、学習および行動方針の行動分布にばらつきの制約を課すことにより、分散シフトを緩和する。 しかし、このパラダイムは、基礎となる動的一貫性構造を保証することはできない。小さなアクション偏差でさえ、エージェントをオフラインデータセットから遠ざけてしまうような、大幅に異なる遷移を引き起こす可能性がある。 そこで本研究では, 純粋な行動分布マッチングに頼らず, 誘導状態分布による政策制約について検討する。 それでも、そのような結果認識の制約を直接強制することは、真の基礎となる力学モデルにアクセスできることなく、計算的に難解である。 この問題を回避するために, 難解な目的を閉形式潜在分散に置き換える構造的振舞い規則化(StBR)を提案する。 遷移力学を反映するこの潜伏空間を構造化すると、潜伏発散は真の帰結分布の発散に対する理論的に有界な代理となる。 学習ポリシをこの潜伏分散で正規化することにより、StBRは動的に敏感な領域の動作制約を適応的に強化し、オフラインデータセット外の逸脱を効果的に防止する。 実験により,様々なオフラインRLベンチマークにおいて,StBRが優れた性能を発揮することを示す。

関連論文リスト

• From Noise to Control: Parameterized Diffusion Policies [54.941343992110426]
  本研究では,学習行動多様体に埋め込まれた連続パラメータに条件付き拡散ポリシーを学習するためのフレームワークを提案する。 政策重みを更新することなく、既知の戦略間の円滑な距離と、新しい制約への効率的な適応を可能にする。
  論文  参考訳（メタデータ） (2026-05-29T20:21:50Z)
• Improving Search Agent with One Line of Code [68.58667107354253]
  ツールベースのエージェント強化学習(TARL)は,検索エージェントが外部ツールと対話できるようにトレーニングするための,有望なパラダイムとして登場した。 textbfSearch textbfAgent textbfPolicy textbfOptimization (textbfSAPO)を提案する。
  論文  参考訳（メタデータ） (2026-03-10T04:07:39Z)
• Less is More: Clustered Cross-Covariance Control for Offline RL [13.198112768636207]
  オフライン強化学習における基本的な課題は、分散シフトである。 ローカルなリプレイパーティションへの更新を制限する分割バッファサンプリングを提案する。 また,各更新における共分散誘発バイアスを解消する,明確な勾配に基づく補正ペナルティも導入する。
  論文  参考訳（メタデータ） (2026-01-28T16:55:04Z)
• Balance Equation-based Distributionally Robust Offline Imitation Learning [8.607736795429638]
  イミテーション・ラーニング(IL)は、報酬関数や明示的なコントローラを手動で設計するロボットや制御タスクに非常に効果的であることが証明されている。 標準のILメソッドは、トレーニングとデプロイメントの間に環境のダイナミクスが固定されていると暗黙的に仮定します。 バランス方程式に基づく分散ロバストオフライン学習を通じてこの問題に対処する。 不確実な遷移モデルの集合に対する分布論的にロバストな最適化としてこの問題を定式化し、最悪の遷移分布の下での模倣損失を最小限に抑える政策を求める。
  論文  参考訳（メタデータ） (2025-11-11T07:48:09Z)
• Partial Action Replacement: Tackling Distribution Shift in Offline MARL [11.861550409939818]
  オフラインマルチエージェント強化学習(MARL)は、アウト・オブ・ディストリビューション・ジョイント・アクションを評価することの難しさによって著しく妨げられている。 我々は、OOD問題を緩和し、異なるPAR戦略を動的に重み付けするために、SPaCQL(Soft-Partial conservative Q-Learning)を開発した。 また,SPaCQLは不確実性インフォームドウェイトを用いた分散シフトに適応的に対応していることを示す。
  論文  参考訳（メタデータ） (2025-11-10T20:56:58Z)
• Drift No More? Context Equilibria in Multi-Turn LLM Interactions [58.69551510148673]
  コンテキストドリフト(Contexts drift)とは、ターン間のゴール一貫性のある振る舞いからモデルが出力する出力の段階的なばらつきである。 シングルターンエラーとは異なり、ドリフトは時間的に展開し、静的な評価指標では捉えにくい。 マルチターンドリフトは、避けられない崩壊というよりも、制御可能な平衡現象として理解できることを示す。
  論文  参考訳（メタデータ） (2025-10-09T04:48:49Z)
• Selective Uncertainty Propagation in Offline RL [26.73089524575174]
  我々は、有限水平オフライン強化学習(RL)の設定を考察し、動的プログラミング(DP)アルゴリズムにおいて、任意のステップhでポリシーを学習することの難しさを動機としている。 本研究では, 分散シフトの難易度に適応する信頼区間構築のための, 選択的不確実性伝播というフレキシブルで汎用的な手法を開発した。
  論文  参考訳（メタデータ） (2023-02-01T07:31:25Z)
• Regularizing a Model-based Policy Stationary Distribution to Stabilize Offline Reinforcement Learning [62.19209005400561]
  オフライン強化学習(RL)は、古典的なRLアルゴリズムのパラダイムを拡張して、静的データセットから純粋に学習する。 オフラインRLの鍵となる課題は、オフラインデータの分布と学習されたポリシーの定常状態分布とのミスマッチによって引き起こされるポリシートレーニングの不安定性である。 政策最適化プロセス中にオフラインデータに対する現在の方針の定常分布を正規化する。
  論文  参考訳（メタデータ） (2022-06-14T20:56:16Z)
• Supported Policy Optimization for Offline Reinforcement Learning [74.1011309005488]
  オフライン強化学習(RL)に対する政策制約手法は、通常、パラメータ化や正規化を利用する。 規則化手法は学習方針と行動方針の分岐を減少させる。 本稿では、密度に基づくサポート制約の理論的定式化から直接導出した支援政策最適化(SPOT)について述べる。
  論文  参考訳（メタデータ） (2022-02-13T07:38:36Z)
• False Correlation Reduction for Offline Reinforcement Learning [115.11954432080749]
  本稿では,実効的かつ理論的に証明可能なアルゴリズムであるオフラインRLに対するfalSe Correlation Reduction (SCORE)を提案する。 SCOREは、標準ベンチマーク(D4RL)において、様々なタスクにおいて3.1倍の高速化でSoTA性能を達成することを実証的に示す。
  論文  参考訳（メタデータ） (2021-10-24T15:34:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。