論文の概要: When Policies Cannot Be Retrained: A Unified Closed-Form View of Post-Training Steering in Offline Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2604.22873v1
• Date: Thu, 23 Apr 2026 20:20:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-28 17:12:07.018538
• Title: When Policies Cannot Be Retrained: A Unified Closed-Form View of Post-Training Steering in Offline Reinforcement Learning
• Title（参考訳）: 政策が再訓練できないとき--オフライン強化学習における訓練後ステアリングの統一的なクローズドフォーム視点
• Authors: Elias Hossain, Mohammad Jahid Ibna Basher, Ivan Garibay, Ozlem Garibay, Niloofar Yousefi,
• Abstract要約: 目標条件付きProduct-of-Experts (PoE) 合成を用いて,凍結したオフラインアクターのデプロイメント時間適応について検討した。 私たちの主な実践的発見は、普遍的なパフォーマンス向上よりも優雅な劣化です。 全体として、PoEとKL規則化された適応は、デプロイ時のステアリングのための単一のアクターアンコール安全メカニズムとして最もよく見なされている。
• 参考スコア（独自算出の注目度）: 2.865584368950257
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Offline reinforcement learning (RL) can learn effective policies from fixed datasets, but deployment objectives may change after training, and in many applications the trained actor cannot be retrained because of data, cost, or governance constraints. We study deployment-time adaptation for frozen offline actors using Product-of-Experts (PoE) composition with a goal-conditioned prior. Our main practical finding is graceful degradation rather than universal performance gain: under degraded or random priors, precision-weighted composition remains anchored to the frozen actor, while additive and prior-only adaptation collapse, and a KL-budget selector often recovers a near-oracle operating point. We also make explicit a closed-form identity in the frozen-actor setting: for diagonal-Gaussian actors and priors, PoE with coefficient alpha yields the same deterministic policy as KL-regularized adaptation with beta = alpha / (1 - alpha), with posterior covariances differing only by a global scalar factor. Empirically, across four D4RL environments (3,900 MuJoCo episodes), we observe a 4/5/3 HELP/FROZEN/HURT split. Extending the analysis to six harder cells and two AntMaze diagnostics reveals an actor-competence ceiling: medium-expert remains HURT in all 9 cells at every tested alpha, while AntMaze with a behavior-cloned frozen actor yields zero success for all composition rules. Overall, PoE and KL-regularized adaptation are best viewed as a single actor-anchored safety mechanism for deployment-time steering.
• Abstract（参考訳）: オフライン強化学習(RL)は、固定データセットから効果的なポリシーを学ぶことができるが、デプロイメントの目的はトレーニング後に変化し、多くのアプリケーションでは、データ、コスト、ガバナンスの制約のために、トレーニングされたアクターを再トレーニングすることはできない。 目標条件付きProduct-of-Experts (PoE) 合成を用いて,凍結したオフラインアクターのデプロイメント時間適応について検討した。 劣化またはランダムな先行条件下では, 高精度な組成が凍結アクターに固定され, 加法的および事前のみ適応が崩壊し, KL-バッジセレクタがほぼ円に近い動作点を回復する。 対角的・ガウス的アクターおよび先行者に対しては、係数αを持つPoEは、β = α / (1-α) による KL-正則化適応と同じ決定論的ポリシーを、大域スカラー因子によってのみ異なる後続の共分散で生成する。 実験では、4つのD4RL環境 (3,900 MuJoCo エピソード) にわたって 4/5/3 HELP/FROZEN/HURT 分割を観察した。 分析を6つの難しい細胞と2つのAntMaze診断に拡張すると、アクター能力の天井が明らかになる。 全体として、PoEとKL規則化された適応は、デプロイ時のステアリングのための単一のアクターアンコール安全メカニズムとして最もよく見なされている。

関連論文リスト

• Proximal Action Replacement for Behavior Cloning Actor-Critic in Offline Reinforcement Learning [22.17044827069627]
  安定なアクターによって生成される高価値なアクションに置き換える,プラグアンドプレイのトレーニングサンプル置換器を提案する。 実験の結果、PARはパフォーマンスを継続的に改善し、基礎的なTD3+BCと組み合わせることで最先端にアプローチすることがわかった。
  論文  参考訳（メタデータ） (2026-02-07T08:44:27Z)
• APO: Alpha-Divergence Preference Optimization [0.0]
  我々は、Csiszar alpha-divergence を用いて、前向きと逆KLの動作を継続的に補間するアンカー付きフレームワークであるAlpha-Divergence Preference Optimization (APO)を紹介する。 我々は、αでパラメータ化された統一勾配力学を導出し、勾配分散特性を解析し、ポリシーの改善と信頼性の両面においてのみ、カバレッジから活用へ移行する実用的な報酬と信頼の保護されたアルファスケジュールを提案する。
  論文  参考訳（メタデータ） (2025-12-28T14:51:03Z)
• CARE What Fails: Contrastive Anchored-REflection for Verifiable Multimodal [84.71254539482369]
  検証可能な報酬を伴うグループ相対的強化学習(RLVR)は、しばしば、すでに失敗している最も情報に富むデータを浪費する。 エラーを監督するマルチモーダル推論のための,障害中心のポストトレーニングフレームワークであるCAREを提案する。 CAREは正確さを改善し、スムーズさをトレーニングすると同時に、障害からの学習信号のシェアを明示的に増やします。
  論文  参考訳（メタデータ） (2025-12-22T16:34:21Z)
• On GRPO Collapse in Search-R1: The Lazy Likelihood-Displacement Death Spiral [59.14787085809595]
  この障害を引き起こす中核的なメカニズムとしてLazy Likelihood Displacement(LLD)を同定する。 LDDは早期に出現し、自己強化性LDDデススパイラル(LDD Death Spiral)を引き起こす。 本稿では,GRPO のための軽量な確率保存正則化 LLDS を提案する。
  論文  参考訳（メタデータ） (2025-12-03T19:41:15Z)
• GRPO Privacy Is at Risk: A Membership Inference Attack Against Reinforcement Learning With Verifiable Rewards [13.369116707284121]
  Divergence-in-Behavior Attack (DIBA)は、Reinforcement Learning with Verifiable Rewards用に特別に設計された最初のメンバーシップ推論フレームワークである。 以上の結果から,DIBAは既存のベースラインを大きく上回り,約0.8AUC,高次TPR@0.1%FPRを達成した。 これは、RLVRにおけるプライバシーの脆弱性を体系的に分析する最初の研究であり、データ露出のトレーニングが行動トレースを通じて確実に推測できることを明らかにする。
  論文  参考訳（メタデータ） (2025-11-18T01:51:34Z)
• The Choice of Divergence: A Neglected Key to Mitigating Diversity Collapse in Reinforcement Learning with Verifiable Reward [57.56453588632619]
  Reinforcement Learning with Verifiable Reward (RLVR) を用いた細調整大型言語モデル(LLM)における中心的パラドックスは、多目的性能の頻繁な劣化である。 これはしばしば破滅的な忘れが伴い、モデルが以前獲得したスキルを失う。 我々は,標準RLVR目標には知識保持のための重要なメカニズムが欠如していると主張している。
  論文  参考訳（メタデータ） (2025-09-09T06:34:32Z)
• Core Safety Values for Provably Corrigible Agents [2.6451153531057985]
  我々は,複数段階の部分的に観察された環境において,検証可能な保証を付与し,適応性のための最初の実装可能なフレームワークを紹介した。 私たちのフレームワークは、単一の報酬を5つの*構造的に分離された*ユーティリティヘッドに置き換えます。 敵がエージェントを修正できるオープンエンド設定では、任意のポストハックエージェントが調整性に反するかどうかを判断することは不可能である。
  論文  参考訳（メタデータ） (2025-07-28T16:19:25Z)
• WARP: On the Benefits of Weight Averaged Rewarded Policies [66.95013068137115]
  ウェイトアベレード・リワード・ポリシー(WARP)という新しいアライメント戦略を導入する。 WARPは重量空間のポリシーを3つの異なる段階でマージする。 GEMMAポリシによる実験では、WARPが品質とアライメントを改善し、他のオープンソースLLMよりも優れています。
  論文  参考訳（メタデータ） (2024-06-24T16:24:34Z)
• TD3 with Reverse KL Regularizer for Offline Reinforcement Learning from Mixed Datasets [118.22975463000928]
  エージェントが複数の行動ポリシーをロールアウトすることで収集したデータセットから学習する必要があるオフライン強化学習(RL)について考察する。 1) RL信号の最適化と行動クローニング(BC)信号の最適なトレードオフは、異なる行動ポリシーによって引き起こされる行動カバレッジの変化によって異なる状態に変化する。 本稿では,TD3アルゴリズムに基づくBC正規化器として,適応重み付き逆KL(Kulback-Leibler)分散を用いることにより,両課題に対処する。
  論文  参考訳（メタデータ） (2022-12-05T09:36:23Z)
• BRAC+: Improved Behavior Regularized Actor Critic for Offline Reinforcement Learning [14.432131909590824]
  オフライン強化学習は、以前に収集したデータセットを使用して効果的なポリシーをトレーニングすることを目的としている。 標準的なオフ・ポリティクスRLアルゴリズムは、アウト・オブ・ディストリビューション(探索されていない)アクションの値を過大評価する傾向がある。 動作の規則化によるオフライン強化学習を改善し,BRAC+を提案する。
  論文  参考訳（メタデータ） (2021-10-02T23:55:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。