論文の概要: To Go Far, Go Together: Diverse Preferences Induce a Curriculum for Reward Optimization

• arxiv url: http://arxiv.org/abs/2608.18770v1
• Date: Wed, 19 Aug 2026 10:28:09 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-20 20:13:55.374898
• Title: To Go Far, Go Together: Diverse Preferences Induce a Curriculum for Reward Optimization
• Title（参考訳）: To Go Far, Go together: Diverse Preferences Induce a Curriculum for Reward Optimization
• Abstract要約: 我々は、報酬モデルがポリシーレベルでのテキスト最適化が困難であるユーザは、新しい控えめなグループになり得ると論じる。 多様なユーザ固有の目的に対応するため,木構造カリキュラムを育成するCurriPOを提案する。
• 参考スコア（独自算出の注目度）: 2.7044962986457945
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Learning a reward model from human feedback and optimizing a policy against it is one approach to aligning AI systems with individual users. From a fairness perspective, existing work improves such alignment by developing data-efficient and accurate reward models that capture minority preferences despite scarce data. We push this line of inquiry one step further and argue that data-efficient and accurate per-user reward models are not sufficient: users whose reward models are difficult to \textit{optimize} at the policy level can become a new underserved group. We start from the observation that one user's reward model can be easy to optimize from the initial policy while another's is not. We argue that, given a sufficiently diverse user population, a curriculum naturally emerges between easy- and hard-to-optimize reward models. Building on this insight, we propose CurriPO, which grows a tree-structured curriculum to accommodate diverse user-specific objectives, covering the population in a single traversal. Specifically, CurriPO automatically constructs a curriculum over diverse user reward models, allowing it to branch from the existing curriculum and reuse reward models previously incorporated into the curriculum. To the best of our knowledge, this is the first work to explicitly exploit multi-user structure to address optimization in AI alignment. Extensive experiments on personalized continuous control in a simulated environment show that CurriPO achieves $1.2$--$2.1\times$ the population satisfaction of the strongest baseline while substantially reducing training time. Additional analysis attributes much of this improvement to the users left underserved by conventional optimization.
• Abstract（参考訳）: 人間からのフィードバックから報酬モデルを学び、それに対するポリシーを最適化することは、AIシステムを個々のユーザと整合させるアプローチのひとつです。 公平性の観点からは、データ不足にもかかわらず少数派の嗜好を捉えたデータ効率と正確な報酬モデルを開発することで、既存の作業は、そのようなアライメントを改善する。 データ効率とユーザ毎の報酬モデルでは十分ではない、と我々はさらに主張する: 報酬モデルがポリシーレベルでのtextit{optimize} が困難であるユーザは、新しい控えめなグループになる可能性がある。 私たちは、あるユーザの報酬モデルが初期ポリシーから容易に最適化できる一方で、別のユーザの報酬モデルがそうでないという観察から始めます。 十分な多様なユーザ数を考えると、カリキュラムは簡単かつ最適化の難しい報酬モデルの間に自然に出現する、と我々は主張する。 そこで本研究では, 多様なユーザ固有の目的に対応するため, 木構造カリキュラムを育成するCurriPOを提案し, 人口を1つのトラバーサルでカバーする。 具体的には、CurriPOは、様々なユーザー報酬モデルの上にカリキュラムを自動構築し、既存のカリキュラムから分岐し、以前にカリキュラムに組み込まれていた報酬モデルを再利用できるようにする。 私たちの知る限りでは、AIアライメントにおける最適化に対処するために、マルチユーザ構造を明示的に活用する最初の試みである。 シミュレーション環境でのパーソナライズされた継続的制御に関する大規模な実験は、CurriPOがトレーニング時間を大幅に短縮しつつ、最強のベースラインの人口満足度を1.2$-2.1\timesで達成していることを示している。 さらなる分析は、従来の最適化で守られていないユーザにとって、この改善の多くを特性付けている。

関連論文リスト

• PAFO: Pareto Fairness Optimization for Personalized Reward Modeling [43.95197844656587]
  大規模言語モデル(LLM)は、出力を多様なユーザの好みに合わせるために報酬モデルに依存している。 パーソナライズされた報酬モデルは、しばしば不均衡なユーザの好みデータに基づいて訓練されるため、トレーニング人口でより一般的なユーザーを好む可能性がある。
  論文  参考訳（メタデータ） (2026-06-06T05:35:31Z)
• Can Recommender Systems Teach Themselves? A Recursive Self-Improving Framework with Fidelity Control [82.30868101940068]
  本稿では,外部データや教師モデルに依存することなく,モデルが自身のパフォーマンスをブートストラップするパラダイムを提案する。 我々の理論的分析は、RSIRがデータ駆動型暗黙正則化器として機能し、最適化景観を円滑にしていることを示している。 より小さなモデルであっても利点があり、弱いモデルはより強力なモデルに対して効果的なトレーニングカリキュラムを生成することができることを示す。
  論文  参考訳（メタデータ） (2026-02-17T15:31:32Z)
• GOPO: Policy Optimization using Ranked Rewards [12.100854296428524]
  Group Ordinal Policy Optimization (GOPO) は報酬のランク付けのみを使用し、その規模を廃止する。 さまざまなタスクとモデルサイズで一貫した改善を示します。
  論文  参考訳（メタデータ） (2026-02-01T22:07:11Z)
• GDPO: Group reward-Decoupled Normalization Policy Optimization for Multi-reward RL Optimization [133.27496265096445]
  我々は,グループ相対的政策最適化を,その適合性を検討することなく,マルチリワード設定で適用する方法を示す。 次に、これらの問題を解決するための新しい政策最適化手法であるグループ報酬分離正規化政策最適化(GDPO)を紹介する。 GDPOはGRPOを一貫して上回り、マルチリワード強化学習最適化の有効性と一般化性を示す。
  論文  参考訳（メタデータ） (2026-01-08T18:59:24Z)
• Information Gain-based Policy Optimization: A Simple and Effective Approach for Multi-Turn LLM Agents [28.145430029174577]
  大規模言語モデル(LLM)ベースのエージェントは、外部環境と対話する能力を高めるために強化学習(RL)でますます訓練されている。 既存のアプローチは通常、最終回答でのみ提供される結果に基づく報酬に依存します。 本稿では,情報ゲインに基づくポリシー最適化(IGPO)を提案する。
  論文  参考訳（メタデータ） (2025-10-16T17:59:32Z)
• Beyond Monolithic Rewards: A Hybrid and Multi-Aspect Reward Optimization for MLLM Alignment [1.8552770604791606]
  相補的な報酬パラダイムを統合するハイブリッド報酬モデリングフレームワークを提案する。 ハイブリッドおよびマルチアスペクト報酬モデルを適用する際に、異なるマルチモーダルベンチマーク間で一貫した改善を示す。 3Bファミリーで最高のパフォーマンスモデルでは、一般および数学の推論タスクで平均9.5%の改善を実現しています。
  論文  参考訳（メタデータ） (2025-10-06T18:53:23Z)
• A Survey of Direct Preference Optimization [103.59317151002693]
  LLM(Large Language Models)は、前例のない生成能力を示す。 人的価値との整合性は、有用で無害なデプロイメントを保証する上で、依然として重要です。 直接優先度最適化(DPO)は、最近、合理化された代替案として注目されている。
  論文  参考訳（メタデータ） (2025-03-12T08:45:15Z)
• RED: Unleashing Token-Level Rewards from Holistic Feedback via Reward Redistribution [50.171320156632866]
  人間のフィードバックからの強化学習は、大きな言語モデルを人間の好みに合わせるための有望なアプローチを提供する。 現在の報酬モデルはシークエンス・ツー・ワンモデルとして動作し、単一、スパース、遅延報酬を全出力シーケンスに割り当てる。 よりきめ細かなトークンレベルの指導手法をRLトレーニングに提案する。
  論文  参考訳（メタデータ） (2024-11-13T02:45:21Z)
• Dense Reward for Free in Reinforcement Learning from Human Feedback [64.92448888346125]
  我々は報酬モデルが単にスカラー出力よりも多くの情報を含んでいるという事実を活用している。 私たちは、これらの注意重みを使って、完了全体に沿って報酬を再分配します。 経験的に、トレーニングを安定化し、学習速度を加速し、実際は、より良い局所最適性をもたらす可能性があることを示す。
  論文  参考訳（メタデータ） (2024-02-01T17:10:35Z)
• Improving Generalization of Alignment with Human Preferences through Group Invariant Learning [56.19242260613749]
  Reinforcement Learning from Human Feedback (RLHF) は、人間の好みに合わせた反応の生成を可能にする。 以前の研究は、強化学習(RL)がしばしばショートカットを利用して高い報酬を獲得し、挑戦的なサンプルを見落としていることを示している。 本稿では,複数のデータグループやドメインにまたがる一貫したポリシをRLで学習する,新しいアプローチを提案する。
  論文  参考訳（メタデータ） (2023-10-18T13:54:15Z)
• Incremental Learning for Personalized Recommender Systems [8.020546404087922]
  トレーニング効率とモデル品質の両方を提供するために,インクリメンタルな学習ソリューションを提案する。 このソリューションはLinkedInにデプロイされ、産業規模のレコメンデーションシステムに直接適用される。
  論文  参考訳（メタデータ） (2021-08-13T04:21:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。