論文の概要: PB$^2$: Preference Space Exploration via Population-Based Methods in Preference-Based Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2506.13741v1
• Date: Mon, 16 Jun 2025 17:51:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-17 17:28:49.19422
• Title: PB$^2$: Preference Space Exploration via Population-Based Methods in Preference-Based Reinforcement Learning
• Title（参考訳）: PB$^2$: Preference Space Exploration by Population-based Methods in Preference-based Reinforcement Learning (特集:情報ネットワーク)
• Authors: Brahim Driss, Alex Davey, Riad Akrour,
• Abstract要約: 我々は、この選好探索問題を人口ベース手法を用いて同定し、解決する。 多様なエージェントの個体数を維持することで、より包括的な選好環境の探索が可能になることを実証する。 この多様性は、明らかに区別可能な振る舞いを持つ嗜好クエリを生成することにより、報酬モデル学習を改善する。
• 参考スコア（独自算出の注目度）: 2.0373030742807545
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Preference-based reinforcement learning (PbRL) has emerged as a promising approach for learning behaviors from human feedback without predefined reward functions. However, current PbRL methods face a critical challenge in effectively exploring the preference space, often converging prematurely to suboptimal policies that satisfy only a narrow subset of human preferences. In this work, we identify and address this preference exploration problem through population-based methods. We demonstrate that maintaining a diverse population of agents enables more comprehensive exploration of the preference landscape compared to single-agent approaches. Crucially, this diversity improves reward model learning by generating preference queries with clearly distinguishable behaviors, a key factor in real-world scenarios where humans must easily differentiate between options to provide meaningful feedback. Our experiments reveal that current methods may fail by getting stuck in local optima, requiring excessive feedback, or degrading significantly when human evaluators make errors on similar trajectories, a realistic scenario often overlooked by methods relying on perfect oracle teachers. Our population-based approach demonstrates robust performance when teachers mislabel similar trajectory segments and shows significantly enhanced preference exploration capabilities,particularly in environments with complex reward landscapes.
• Abstract（参考訳）: 嗜好に基づく強化学習(PbRL)は、事前に定義された報酬関数を使わずに、人間のフィードバックから行動を学ぶための有望なアプローチとして登場した。 しかしながら、現在のPbRL法は、ヒトの嗜好の限られた部分だけを満たす最適以下の政策に早急に収束する、選好空間を効果的に探索する上で重要な課題に直面している。 本研究では,この選好探索問題を集団的手法を用いて同定し,対処する。 多様なエージェントの個体数を維持することで、単一エージェントのアプローチに比べて、より包括的な選好環境の探索が可能になることを実証する。 この多様性は、人間が有意義なフィードバックを提供するために選択肢を簡単に区別する必要がある現実のシナリオにおいて重要な要素である、明確に区別可能な振る舞いを持つ嗜好クエリを生成することによって、報酬モデル学習を改善する。 我々の実験によると、現在の手法は、局所的な最適性に留まり、過度なフィードバックを必要としたり、人間の評価者が類似した軌道上の誤りを犯した場合に著しく低下する可能性がある。 人口ベースアプローチは,教師が類似の軌道区分を誤ってラベル付けし,特に複雑な報奨景観を持つ環境において,選好探索能力を大幅に向上させた場合に,頑健な性能を示す。

関連論文リスト

• CLARIFY: Contrastive Preference Reinforcement Learning for Untangling Ambiguous Queries [13.06534916144093]
  ResolvIng Ambiguous Feedback (CLARIFY) のためのコントラストLeArningを提案する。 CLARIFYは、選好情報を含む軌道埋め込み空間を学習し、明確に区別されたセグメントが分離されることを保証する。 我々のアプローチは、より優れたクエリを選択するだけでなく、意味のある軌道埋め込みも学習する。
  論文  参考訳（メタデータ） (2025-05-31T04:37:07Z)
• Multi-Type Preference Learning: Empowering Preference-Based Reinforcement Learning with Equal Preferences [12.775486996512434]
  嗜好に基づく強化学習は、エージェント行動に関する人間教師の嗜好から直接学習する。 既存のPBRL法はしばしば明示的な選好から学習し、教師が平等な選好を選択する可能性を無視している。 そこで本稿では,PBRL手法であるMulti-Type Preference Learning (MTPL)を提案する。
  論文  参考訳（メタデータ） (2024-09-11T13:43:49Z)
• Preference-Guided Reinforcement Learning for Efficient Exploration [7.83845308102632]
  LOPE: Learning Online with trajectory Preference guidancE, a end-to-end preference-guided RL framework。 我々の直感では、LOPEは人的フィードバックをガイダンスとして考慮し、オンライン探索の焦点を直接調整する。 LOPEは収束率と全体的な性能に関して、最先端のいくつかの手法より優れている。
  論文  参考訳（メタデータ） (2024-07-09T02:11:12Z)
• MaxMin-RLHF: Alignment with Diverse Human Preferences [101.57443597426374]
  Reinforcement Learning from Human Feedback (RLHF) は、言語モデルと人間の嗜好を一致させる。 予測最大化アルゴリズムを用いて嗜好分布の混合を学習し、人間の嗜好をよりよく表現する。 従来のRLHFアルゴリズムよりも16%以上の勝利率向上を実現している。
  論文  参考訳（メタデータ） (2024-02-14T03:56:27Z)
• Sample Efficient Preference Alignment in LLMs via Active Exploration [63.84454768573154]
  良い政策を最も効率的に特定するために、人間のフィードバックを得るコンテキストをしばしば選択できるという事実を活用します。 本稿では,データを効率的に選択する能動的探索アルゴリズムを提案する。 提案手法は,複数の言語モデルと4つの実世界のデータセットに対する人間の嗜好の限られたサンプルを用いて,ベースラインよりも優れる。
  論文  参考訳（メタデータ） (2023-12-01T00:54:02Z)
• Provable Benefits of Policy Learning from Human Preferences in Contextual Bandit Problems [82.92678837778358]
  嗜好に基づく手法は、InstructGPTのような経験的応用でかなりの成功を収めている。 フィードバックモデリングにおける人間のバイアスと不確実性がこれらのアプローチの理論的保証にどのように影響するかを示す。
  論文  参考訳（メタデータ） (2023-07-24T17:50:24Z)
• Reinforcement Learning from Diverse Human Preferences [68.4294547285359]
  本稿では,人選好ラベルをクラウドソーシングし,多様な嗜好から学習する手法を開発した。 提案手法はDMcontrolとMeta-worldの様々なタスクでテストされる。 多様なフィードバックから学ぶと、既存の好みベースのRLアルゴリズムよりも一貫性があり、大幅に改善されている。
  論文  参考訳（メタデータ） (2023-01-27T15:18:54Z)
• Models of human preference for learning reward functions [80.39289349661364]
  そこで我々は,一対の軌跡区間間の人為的嗜好から報酬関数を学習する。 この仮定に欠陥があることに気付き、各セグメントの後悔が示すように、人間の嗜好をモデル化することを提案する。 提案した後悔の選好モデルは、実際の人間の選好をより良く予測し、また、これらの選好から報酬関数を学習し、より人道的な政策へと導く。
  論文  参考訳（メタデータ） (2022-06-05T17:58:02Z)
• Reward Uncertainty for Exploration in Preference-based Reinforcement Learning [88.34958680436552]
  好みに基づく強化学習アルゴリズムを対象とした探索手法を提案する。 我々の基本的な考え方は、学習した報酬に基づいて、斬新さを測定することによって、本質的な報酬を設計することである。 実験により、学習報酬の不確実性からの探索ボーナスは、好みに基づくRLアルゴリズムのフィードバック効率とサンプル効率の両方を改善することが示された。
  論文  参考訳（メタデータ） (2022-05-24T23:22:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。