論文の概要: On Preference Coverage Collapse from Hindsight Relabeling in Multi-Objective Reinforcement Learning
- arxiv url: http://arxiv.org/abs/2609.26918v1
- Date: Tue, 22 Sep 2026 18:13:01 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-25 00:05:17.721827
- Title: On Preference Coverage Collapse from Hindsight Relabeling in Multi-Objective Reinforcement Learning
- Title（参考訳）: 多目的強化学習における隠れたリラベルからの選好被覆の崩壊について
- Abstract要約: 選好条件付き多目的RL(MORL)リラベルへの自然な拡張は、要求されるものよりも、エージェントが達成した選好方向と遷移する。
また,36のアルゴリズム環境設定のうち19を最大4つの標準偏差で分解し,1つだけを改善し,残りは影響を受けないことを示す。
- 参考スコア（独自算出の注目度）: 3.8825198843426345
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Hindsight relabeling which retroactively replacing a transition's goal with the outcome the agent actually achieved is an effective tool for improving sample-efficiency in Reinforcement Learning (RL). A natural extension to preference-conditioned multi-objective RL (MORL) relabels transitions with the preference direction the agent achieved rather than the one asked for. We show that this extension is frequently harmful: across four preference-conditioned off-policy algorithms spanning two critic backbones and two preference-sampling schemes on the continuous-control MO-Gymnasium suite, it degrades 19 of 36 algorithm-environment settings by as much as four standard deviations, improves only one, and leaves the rest unaffected. The harm is not a symptom of noisy relabels; denoising the target recovers almost nothing, and neither prioritized sampling nor any buffer-structural choice reproduces it. Instead, repeated relabeling collapses the critic's coverage onto whatever narrow region of the preference space the agent happened to visit. We name this failure mode \emph{Preference Coverage Collapse}, and quantify it with abandoned preference mass (APM), a value-aware statistic that tracks the harm ($ρ= -0.73$) where a purely structural coverage count does not. We then introduce \texttt{her\_mix}, a single-parameter convex combination pulling the achieved direction back towards the requested preference. At one fixed value across every algorithm and environment, it returns 16 of the 19 harmed settings to baseline, preserves and even improves the one setting in which relabeling helps, and cuts abandoned preference mass from $69\%$ to $6\%$. Protecting coverage over the preference simplex, not filtering noisy relabels, is what makes hindsight relabeling safe for MORL.
- Abstract（参考訳）: エージェントが実際に達成した結果に遷移の目標を遡及的に置き換えるハイドサイト・ラバーリングは、強化学習(RL)におけるサンプル効率を改善する効果的なツールである。
選好条件付き多目的RL(MORL)リラベルへの自然な拡張は、要求されるものよりも、エージェントが達成した選好方向と遷移する。
2つの批判的バックボーンと2つの選好サンプリングスキームにまたがる4つの選好条件付きオフ政治アルゴリズムにおいて、36のアルゴリズム環境設定のうち19を最大4つの標準偏差で分解し、残りは影響を受けないままにしている。
危害はノイズのあるリラベルの症状ではなく、ターゲットを認知することはほとんど何も回復せず、サンプリングの優先順位付けもバッファ構造の選択もそれを再現しない。
代わりに、繰り返しの延長は、エージェントが偶然訪れた選好領域の狭い領域に批評家のカバレッジを崩壊させる。
我々は、この障害モード \emph{Preference Coverage Collapse} と命名し、純粋な構造的カバレッジカウントが持たない害(ρ=-0.73$)を追跡する値認識統計量である、放棄された優先質量(APM)を定量化する。
次に、要求された嗜好に向かって達成された方向を後退させる単一パラメータ凸結合である‘texttt{her\_mix} を導入する。
アルゴリズムと環境の1つの固定値で、19の有害な設定のうち16がベースラインに返却され、レバーベリングが役立つ設定が保存され、さらに改善され、放棄された好みの質量が69\%$から6\%$に削減される。
ノイズの多いリラベルをフィルタリングするのではなく、好みの単純さよりもカバレッジを保護することは、MORLにとって後ろ向きのレバーベリングを安全にする。
関連論文リスト
- Predict Before You Deploy: Offline Prediction of Quantization-Induced Task Degradation for World Action Models [2.347191837057308]
トレーニング後の量子化はメモリを削減するが、ビット幅、グループ化、および量子化器の選択は大きな構成空間を定義する。
オフライン動作偏差から量子化によるタスク劣化を予測するためのポリシ校正フレームワークであるPreDEを提案する。
独立に調整された2つのポリシーに対する450のフランカ・リサーチ3の試験では、試験前に高分解能グループに割り当てられた全ての構成が著しく劣化した。
論文 参考訳（メタデータ） (2026-09-16T21:25:37Z) - ReNFT: Repairing Mode Collapse in Reward Post-Training via Internal Probability-Mass Recalibration [84.10540890311843]
再学習後、必然的に確率質量をいくつかの報奨モード、即時多様性を消去するモード崩壊に集中させる。
本稿では、内部の確率質量再校正により、高逆低ダイバーシティアダプタを修復するReNFTを提案する。
PickScoreとGenEvalでは、ReNFTはNFTの報酬の98.9%と99.0%を保持し、DreamSim-Divは58.8%、55.0%改善している。
論文 参考訳（メタデータ） (2026-08-30T14:13:50Z) - The Dark Room in the Reward Channel: Dense Prediction Rewards Collapse GRPO-Trained LLM Agents -- and What Actually Works [3.040305634723913]
群正規化RLの下では、ポテンシャルに基づく予測報酬が全てのランを退化吸収状態に駆動することを示す。
単一エピソードアブレーションは原因を和らげる -- GRPOの正規化だけを取り除くことで、破滅からベースラインパリティへと同じ報酬が変わる。
我々の中心的な洞察はこれを一般化している: z-scoring amplify は、全フェイル群が支配的である間、高密度信号の群内分散である。
論文 参考訳（メタデータ） (2026-07-23T12:50:18Z) - A Single Deep Preference-Conditioned Policy for Learning Pareto Coverage Sets [0.4369550829556578]
非線形スカラー化下での優先-解決対応の特異性と連続性について検討した。
この問題を解決するために,スムーズなTchebycheffスカラー化を単調な効用として用いた。
各更新は、以前のポリシーを参考に、Kullback-Leibler-regularized MDPの解決と等価であることを示す。
論文 参考訳（メタデータ） (2026-05-09T13:35:50Z) - BPC-Net: Annotation-Free Skin Lesion Segmentation via Boundary Probability Calibration [15.992042021607643]
アノテーションのない皮膚病変セグメンテーションのための境界確率校正フレームワークであるBPC-Netを提案する。
提案手法は, マクロ平均Dice係数と Jaccard index の85.80% と76.97% に到達し, 教師なし手法の最先端性能を実現する。
論文 参考訳（メタデータ） (2026-04-07T08:43:34Z) - CORE: Context-Robust Remasking for Diffusion Language Models [51.59514489363897]
我々は、推論時リビジョンのためのトレーニング不要フレームワークであるContext-Robust Remasking (CORE)を提案する。
静的トークンの確率を信頼するのではなく、COREは、ターゲットとなるマスク付きコンテキストの摂動に対する感受性を示すことによって、コンテキスト不安定なトークンを識別する。
LLaDA-8B-Baseでは、COREは推論とコードベンチマークの間で一貫した改善を行い、計算に適合したベースラインを上回り、MBPPを最大9.2%改善した。
論文 参考訳（メタデータ） (2026-02-04T00:12:30Z) - Revisiting Weighted Strategy for Non-stationary Parametric Bandits and MDPs [56.246783503873225]
本稿では,非定常パラメトリックバンディットの重み付け戦略を再考する。
本稿では,ウィンドウ/リスタートベースアルゴリズムと同様に,より単純な重みに基づくアルゴリズムを提案する。
我々のフレームワークは、他のパラメトリックバンディットの後悔の限界を改善するのに使える。
論文 参考訳（メタデータ） (2026-01-03T04:50:21Z) - Toward Architecture-Agnostic Local Control of Posterior Collapse in VAEs [0.6144680854063939]
変分オートエンコーダ(VAE)は、生成されたサンプルの多様性を低下させる現象である後部崩壊に苦しむことが知られている。
本稿では,特定の構造に制約を加えることなく後部崩壊を制御するために,射影関数と合成関数の数学的性質に着想を得た遅延再構成(LR)損失を提案する。
MNIST, fashionMNIST, Omniglot, CelebA, FFHQなどの各種データセットの後方崩壊を制御する手法を実験的に評価した。
論文 参考訳（メタデータ） (2025-08-17T23:45:41Z) - Gumbel Reranking: Differentiable End-to-End Reranker Optimization [61.16471123356738]
RAGシステムは関連する文書を識別するためにリランカーに依存している。
注釈付きクエリ-ドキュメントペアが不足しているため、これらのモデルの微調整は依然として難しい。
我々は,トレーニングと推論のギャップを最小限に抑えることを目的とした,リランカーのためのエンドツーエンドのトレーニングフレームワークであるGumbel Re rankを提案する。
論文 参考訳（メタデータ） (2025-02-16T13:23:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。