論文の概要: Which Objectives Need a Dial? Predicting Objective Conflict and Covering Trade-offs in Steerable Pluralistic Alignment

• arxiv url: http://arxiv.org/abs/2609.26929v1
• Date: Tue, 22 Sep 2026 18:22:52 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-25 00:05:17.726198
• Title: Which Objectives Need a Dial? Predicting Objective Conflict and Covering Trade-offs in Steerable Pluralistic Alignment
• Title（参考訳）: どの目的にダイヤルが必要なのか? 安定的多元的アライメントにおける客観的対立とトレードオフを予知する
• Abstract要約: 多目的直接選好最適化(MODPO)は、客観的な重みをトレードオフの連続体に当てはめ、これを実現している。 1つのモデルで2つの目標を同時に改善できるのか、また、別々のモデルをトレーニングすることなく、多くのトレードオフをカバーできるのか、という2つの疑問を研究します。
• 参考スコア（独自算出の注目度）: 2.36052383261568
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: People hold diverse, sometimes conflicting values, so no single aligned model can satisfy everyone. Pluralistic alignment therefore calls for steerable models that can balance competing objectives differently. Multi-Objective Direct Preference Optimization (MODPO) does this by using an objective weight to span a continuum of trade-offs. We study two questions: when can one model improve two objectives simultaneously, and how can many trade-offs be covered without training a separate model for each? Across seven objective pairs from HelpSteer and UltraFeedback, two pre-training measurements predict whether objectives align or conflict for human-annotated data, but not for AI-annotated data, where response length and repetition confound reward-model scores. For broader trade-off coverage, selecting the nearest trained model and merging model parameters both help, but neither consistently matches direct training. These findings yield practical guidance for building steerable models that serve diverse preferences.
• Abstract（参考訳）: 人は多様で時には矛盾する価値を持っているので、単一の整列モデルが全員を満足させることはできません。 したがって、複数のアライメントは、競合する目的と異なるバランスをとることができるステアブルモデルを要求する。 多目的直接選好最適化(MODPO)は、客観的な重みをトレードオフの連続体に当てはめ、これを実現している。 1つのモデルで2つの目標を同時に改善できるのか、また、別々のモデルをトレーニングすることなく、多くのトレードオフをカバーできるのか、という2つの疑問を研究します。 HelpSteerとUltraFeedbackの7つの目標ペアの中で、2つの事前トレーニング測定は、目標が人間の注釈付きデータと一致しているか、矛盾するかを予測しているが、AIアノテーション付きデータには当てはまらない。 より広範なトレードオフカバレッジのために、最寄りのトレーニングモデルを選択し、モデルパラメータをマージすることは、どちらも助けになるが、どちらも直接的なトレーニングと一貫して一致しない。 これらの知見は、多様な嗜好を提供するステアブルモデルを構築するための実践的なガイダンスをもたらす。

関連論文リスト

• Simultaneous Multi-objective Alignment Across Verifiable and Non-verifiable Rewards [13.663839318595505]
  私たちは、検証可能で検証不可能な報酬を持つ領域にまたがるモデルを同時に整合させるのに何が必要かに答えようとしています。 本稿では,プロセス報酬モデル(PRM)のトレーニングを,検証可能な設定と検証できない設定の両方にわたって標準化する統合フレームワークを提案する。 数学推論、値アライメント、マルチターン対話による実験は、我々のフレームワークが複数の目的に対して同時に性能を向上させることを示している。
  論文  参考訳（メタデータ） (2025-10-01T17:54:15Z)
• COPA: Comparing the incomparable in multi-objective model evaluation [19.11658981007657]
  目的をどう比較し、集約し、そして最終的にトレードオフする方法は、通常、時間を要する作業です。 相対的なランキングで近似したCDFを用いて目的を比較検討する。 結果として、ユーザ固有の好みにマッチしながら、それらを集約することができる。
  論文  参考訳（メタデータ） (2025-03-18T14:51:42Z)
• Controllable Preference Optimization: Toward Controllable Multi-Objective Alignment [103.12563033438715]
  人工知能におけるアライメントは、モデル応答と人間の好みと値の一貫性を追求する。 既存のアライメント技術は、主に一方向であり、様々な目的に対して、最適以下のトレードオフと柔軟性の低下につながる。 制御可能な選好最適化(CPO)を導入し、異なる目的に対する選好スコアを明確に指定する。
  論文  参考訳（メタデータ） (2024-02-29T12:12:30Z)
• Secrets of RLHF in Large Language Models Part II: Reward Modeling [134.97964938009588]
  本稿では,データセットにおける不正確で曖昧な嗜好の影響を軽減するために,一連の新しい手法を紹介する。 また、選択された応答と拒否された応答を区別する報酬モデルの有用性を高めるために、対照的な学習を導入する。
  論文  参考訳（メタデータ） (2024-01-11T17:56:59Z)
• UnIVAL: Unified Model for Image, Video, Audio and Language Tasks [105.77733287326308]
  UnIVALモデルは2つのモードを超えて、テキスト、画像、ビデオ、オーディオを1つのモデルに統合する。 本モデルは,タスクバランスとマルチモーダルカリキュラム学習に基づいて,多くのタスクに対して効率的に事前学習を行う。 統一モデルにより、重み一般化によるマルチモーダルモデルの融合に関する新しい研究を提案する。
  論文  参考訳（メタデータ） (2023-07-30T09:48:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。