Fugu-MT 論文翻訳(概要): UBP2: Uncertainty-Balanced Preference Planning for Efficient Preference-based Reinforcement Learning

論文の概要: UBP2: Uncertainty-Balanced Preference Planning for Efficient Preference-based Reinforcement Learning

arxiv url: http://arxiv.org/abs/2606.19328v2
Date: Mon, 22 Jun 2026 15:12:05 GMT
ステータス: 翻訳完了
システム内更新日: 2026-06-24 16:10:14.782557
Title: UBP2: Uncertainty-Balanced Preference Planning for Efficient Preference-based Reinforcement Learning
Title（参考訳）: UBP2: 効率的推論に基づく強化学習のための不確実性ベース推論計画
Abstract要約: 我々は、報酬、ダイナミクス、価値関数の不確実性について共同で推論することで、探索を積極的に指示するモデルに基づくアプローチを導入する。提案手法であるUncertainty-Balanced Preference Planning (UBP2) では、報酬、ダイナミクス、値関数モデルのアンサンブルを用いて、候補軌道の評価を行う。標準的な仮定の下では、有限ホライズンと無限ホライズンの設定の両方に対するサブ線形後悔保証を確立する。
参考スコア（独自算出の注目度）: 4.276809570692494
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Preference-based RL provides an approach to learning reward models from pairwise comparisons of behaviors, bypassing the need for explicit reward design. However, existing methods typically rely on passive data collection and suffer from poor sample efficiency, especially during the early stages of learning. We introduce a model-based approach that actively directs exploration by jointly reasoning over uncertainties in the reward, dynamics, and value functions. Our method, Uncertainty-Balanced Preference Planning (UBP2), uses ensembles of reward, dynamics, and value function models to evaluate candidate trajectories according to a unified score that combines expected reward, terminal value, and epistemic uncertainty. Planning under this objective yields an explicit tradeoff between exploitation and information acquisition without requiring ad hoc exploration heuristics. Under standard regularity assumptions, we establish sublinear regret guarantees for both finite-horizon and infinite-horizon settings. Empirically, experiments on the Meta-World benchmark show UBP2 achieves substantially higher sample efficiency than model-free preference-based methods and non-optimistic model-based baselines.
Abstract（参考訳）: 嗜好に基づくRLは、明示的な報酬設計の必要性を回避し、行動のペアワイズ比較から報酬モデルを学ぶアプローチを提供する。しかし、既存の手法は一般的に受動的データ収集に依存しており、特に学習の初期段階においてサンプル効率の低下に悩まされている。我々は、報酬、ダイナミクス、価値関数の不確実性について共同で推論することで、探索を積極的に指示するモデルに基づくアプローチを導入する。提案手法であるUncertainty-Balanced Preference Planning (UBP2) は、期待される報酬、終末値、およびてんかんの不確実性を組み合わせた統一スコアに基づいて、報酬、ダイナミクス、値関数モデルのアンサンブルを用いて、候補軌道の評価を行う。この目的の下での計画は、アドホックな探査ヒューリスティックを必要とせず、エクスプロイトと情報取得の間に明確なトレードオフをもたらす。標準的な正則性仮定の下では、有限ホライズンと無限ホライズンの両方の設定に対する部分線型後悔保証を確立する。実験的にMeta-Worldベンチマークの実験では、UPP2はモデルフリーの嗜好に基づく手法や最適化されていないモデルベースラインよりもはるかに高いサンプル効率を実現している。

関連論文リスト

Generative Actor Critic [74.04971271003869]
Generative Actor Critic (GAC) は、軌道上での関節分布の生成モデル学習として、テキスト政治評価を反映して、シーケンシャルな意思決定を分離する新しいフレームワークである。 Gym-MuJoCoとMaze2Dベンチマークの実験では、GACの強いオフライン性能と、最先端の手法と比較してオフラインからオフラインへの大幅な改善が示されている。
論文参考訳（メタデータ） (2025-12-25T06:31:11Z)
LARES: Latent Reasoning for Sequential Recommendation [96.26996622771593]
本稿では、シークエンシャルレコメンデーションのための新しいスケーラブルなLatent ReasoningフレームワークであるLARESを紹介する。提案手法では,パラメータの複雑性を増大させることなく推理深度を柔軟に拡張できる再帰的アーキテクチャを用いている。我々のフレームワークは既存の高度なモデルとのシームレスな互換性を示し、推奨性能をさらに向上させる。
論文参考訳（メタデータ） (2025-05-22T16:22:54Z)
Diffusion Classifier-Driven Reward for Offline Preference-based Reinforcement Learning [45.95668702930697]
拡散選好に基づく報酬獲得法(DPR)を提案する。 DPRは、段階的嗜好に基づく報酬獲得を二項分類として直接扱い、拡散分類器の堅牢性を利用して段階的報酬を識別的に推測する。また,Diffusion Preference-based Reward (C-DPR)を提案する。
論文参考訳（メタデータ） (2025-03-03T03:49:38Z)
Uncertainty-Penalized Direct Preference Optimization [52.387088396044206]
我々は、優先不確実性ペナル化スキームを導入し、DPOの悲観的な枠組みを開発する。ペナル化は、不確実なサンプルの損失勾配を減衰させる損失の補正として機能する。我々は,バニラDPOと比較して全体的な性能が向上し,高い不確実性選択/拒絶反応によるプロンプトの完成度も向上した。
論文参考訳（メタデータ） (2024-10-26T14:24:37Z)
Self-Evolutionary Large Language Models through Uncertainty-Enhanced Preference Optimization [9.618391485742968]
反復的選好最適化は、最近、大規模言語モデル(LLM)のデファクトトレーニングパラダイムの1つになっている。我々は、信頼性の高いフィードバックでLLMを自己進化させる不確実性のあるtextbfPreference textbfOptimizationフレームワークを提案する。筆者らのフレームワークは,ノイズ問題を大幅に軽減し,反復的選好最適化の性能を向上させる。
論文参考訳（メタデータ） (2024-09-17T14:05:58Z)
Robust Preference Optimization through Reward Model Distillation [68.65844394615702]
Direct Preference Optimization (DPO) は、プライオリティデータに基づいてポリシーを直接訓練する一般的なオフラインアライメント手法である。我々はこの現象を分析し、蒸留を用いて生成対よりも真の嗜好分布のより良いプロキシを得る。以上の結果から,このような報酬モデルからの蒸留は,優先アノテーションの分布変化に対するロバスト性の向上につながることが示唆された。
論文参考訳（メタデータ） (2024-05-29T17:39:48Z)
$i$REPO: $i$mplicit Reward Pairwise Difference based Empirical Preference Optimization [12.266207199002604]
大規模言語モデル(LLM)は、人間の期待から外れた出力を生成することがある。経験的選好最適化に暗黙的逆差分回帰を利用する,$i$REPO という新しいフレームワークを提案する。 i$REPOは, ソフトラベル, 自己生成応答, 経験的AIアノテータのロジットを用いて, 効果的に自己アライメントを実現することを示す。
論文参考訳（メタデータ） (2024-05-24T05:42:11Z)
Learning Off-policy with Model-based Intrinsic Motivation For Active Online Exploration [15.463313629574111]
本稿では,連続制御タスクにおけるサンプル効率の高い探索手法について検討する。本稿では,予測モデルと非政治学習要素を組み込んだRLアルゴリズムを提案する。パラメーターのオーバーヘッドを発生させずに本質的な報酬を導き出す。
論文参考訳（メタデータ） (2024-03-31T11:39:11Z)
Leveraging Uncertainty Estimates To Improve Classifier Performance [4.4951754159063295]
バイナリ分類では、正のクラスのモデルスコアが、アプリケーション要求に基づいて選択されたしきい値を超えるかどうかに基づいて、インスタンスのラベルを予測する。しかし、モデルスコアは真の肯定率と一致しないことが多い。これは特に、クラス間の差分サンプリングを含むトレーニングや、トレインとテスト設定間の分散ドリフトがある場合に当てはまる。
論文参考訳（メタデータ） (2023-11-20T12:40:25Z)
Uncertainty-Aware Instance Reweighting for Off-Policy Learning [63.31923483172859]
本研究では,不確実性を考慮した逆確率スコア推定器 (UIPS) を提案する。実世界の3つのレコメンデーションデータセットを用いた実験結果から,提案したUIPS推定器の有効サンプル効率が示された。
論文参考訳（メタデータ） (2023-03-11T11:42:26Z)
When Demonstrations Meet Generative World Models: A Maximum Likelihood Framework for Offline Inverse Reinforcement Learning [62.00672284480755]
本稿では, 専門家エージェントから, 一定の有限個の実演において観測された動作を過小評価する報酬と環境力学の構造を復元することを目的とする。タスクを実行するための正確な専門知識モデルは、臨床的意思決定や自律運転のような安全に敏感な応用に応用できる。
論文参考訳（メタデータ） (2023-02-15T04:14:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。