論文の概要: MoPLEx: Estimating Plackett-Luce Mixture Models for Multi-Objective Alignment

• arxiv url: http://arxiv.org/abs/2608.25200v2
• Date: Sun, 30 Aug 2026 15:16:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-01 15:47:04.107661
• Title: MoPLEx: Estimating Plackett-Luce Mixture Models for Multi-Objective Alignment
• Title（参考訳）: MoPLEx:多目的アライメントのためのPlanet-Luce混合モデルの推定
• Abstract要約: 我々は、アノテータからのマルチウェイランキング応答から、$k$ Plackett-Luceモデルの混合を学習する。 我々は、まずランクをより大きなサイズに増やすことにより、この問題に対処する効率的なアルゴリズムを設計する。 勾配に基づく近似は、最大34億のパラメータを持つモデル上で5%未満の誤差で真の確率を推定する。
• 参考スコア（独自算出の注目度）: 21.741170599896307
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We study learning a mixture of $k$ Plackett-Luce models from multi-way ranking responses from annotators that may represent heterogeneous underlying preferences. This problem has many applications in AI alignment and preference optimization. Prior work has studied mixtures of Bradley-Terry models from pairwise comparisons. However, estimating a mixture of multi-way ranking models can become theoretically unidentifiable when $k$ exceeds $m/2$, where $m$ is the ranking length. We design an efficient algorithm to address this issue by first augmenting the rankings to a larger size (e.g., generating comparisons from a base model), followed by a gradient-based estimation to reduce inference cost (in the input embedding space). With this procedure in mind, we then fit a mixture of Plackett-Luce (PL) models via an expectation-maximization-style iteration, or MoPLEx in short. We conduct extensive experiments to verify this algorithm. First, we find that the gradient-based approximation estimates true probabilities with less than 5% error on models with up to 34 billion parameters. Second, MoPLEx improves clustering and ranking accuracy by an average of 43.7% and 15.2% over baselines using a single PL model or a mixture of Bradley-Terry models, on UltraFeedback and PERSONA datasets. These results demonstrate the effectiveness of MoPLEx for tackling multi-way rankings following heterogeneous preferences through measuring alignment via gradients.
• Abstract（参考訳）: 我々は、不均一な基本的嗜好を表すアノテータからの多方向ランキング応答から、$k$ Plackett-Luceモデルの混合を学習する。 この問題はAIアライメントと好みの最適化に多くの応用がある。 それまでの研究は、ペアワイズ比較からブラッドリー・テリーモデルの混合を研究してきた。 しかし、$k$が$m/2$を超える場合、$m$がランキング長である場合、マルチウェイランキングモデルの混合を推定することは理論的に不可能となる。 本稿では,まずランキングをより大きいサイズ(例えば,ベースモデルから比較を生成する)に拡張し,次に推論コスト(入力埋め込み空間)を低減するための勾配に基づく推定を行うことにより,この問題に対処する効率的なアルゴリズムを設計する。 この手順を念頭に置いて、期待-最大化スタイルの反復または略して MoPLEx を用いて、Plockett-Luce (PL) モデルの混合を適合させる。 我々はこのアルゴリズムを検証するために広範な実験を行う。 まず、勾配に基づく近似は、最大34億のパラメータを持つモデル上で5%未満の誤差で真の確率を推定する。 第2に、UltraFeedbackとPERSONAデータセット上の単一のPLモデルまたはBradley-Terryモデルの混合を使用して、平均43.7%と15.2%のベースラインでのクラスタリングとランキング精度を改善している。 これらの結果は、勾配によるアライメントの測定により、不均一な選好に従うマルチウェイランキングにMoPLExが適用可能であることを示す。

関連論文リスト

• DISCO: Diversifying Sample Condensation for Efficient Model Evaluation [59.01400190971061]
  コスト評価は傾向を低下させ、イノベーションのサイクルを遅くし、環境への影響を悪化させる。 モデル応答の多様性を最大化するサンプルを選択することが重要となる。 我々のメソッドである$textbfDiversifying Sample Condensation (DISCO)$は、最も大きなモデル不一致を持つトップkサンプルを選択します。
  論文  参考訳（メタデータ） (2025-10-09T08:53:59Z)
• Linear-Time Demonstration Selection for In-Context Learning via Gradient Estimation [19.158395403281734]
  例えば$n$の例があれば、$n$から$k$を選択して、下流推論の条件付けとして最適に機能するか? この問題は、迅速なチューニングとチェーン・オブ・ソート推論に幅広い応用がある。 勾配推定法は,6つのデータセットに対して誤差が1%未満の完全推論の近似を導出することを示す。
  論文  参考訳（メタデータ） (2025-08-27T15:59:47Z)
• MM-RLHF: The Next Step Forward in Multimodal LLM Alignment [59.536850459059856]
  MM-RLHF, $mathbf120k$ fine-fine, human-annotated preference comparison pairsを含むデータセットを紹介する。 本稿では,報酬モデルの品質向上とアライメントアルゴリズムの効率向上のために,いくつかの重要なイノベーションを提案する。 我々のアプローチは、$mathbf10$の異なる次元と$mathbf27$のベンチマークで厳格に評価されている。
  論文  参考訳（メタデータ） (2025-02-14T18:59:51Z)
• Decoding-Time Language Model Alignment with Multiple Objectives [116.42095026960598]
  既存の手法は主に、1つの報酬関数に対してLMを最適化することに集中し、それらの適応性は様々な目的に制限される。 本稿では,予測の線形結合から次のトークンを出力する復号時間アルゴリズムである$textbfmulti-objective decoding (MOD)$を提案する。 提案手法は, 自然条件下であっても, 既存のアプローチが準最適であることを示すとともに, 提案手法の最適性を保証する。
  論文  参考訳（メタデータ） (2024-06-27T02:46:30Z)
• Robust Reinforcement Learning from Corrupted Human Feedback [86.17030012828003]
  人間からのフィードバックからの強化学習(RLHF)は、AIシステムと人間の嗜好データを調整するための原則化されたフレームワークを提供する。 我々はRLHFのロバストなアプローチ-$R3M$を提案し、これは、潜在的に破損した選好ラベルをスパースアウトリーとしてモデル化する。 大規模言語モデル(LLM)を用いたロボット制御と自然言語生成の実験により、R3M$は、好みデータに対する様々な摂動に対する報酬の堅牢性を向上することを示した。
  論文  参考訳（メタデータ） (2024-06-21T18:06:30Z)
• Sparse Gaussian Graphical Models with Discrete Optimization: Computational and Statistical Perspectives [8.403841349300103]
  本研究では,無向ガウス図形モデルに基づくスパースグラフの学習問題を考察する。 擬似微分関数の $ell_0$-penalized バージョンに基づく新しい推定器 GraphL0BnB を提案する。 実/合成データセットに関する数値実験により,本手法がほぼ最適に,p = 104$の問題を解けることが示唆された。
  論文  参考訳（メタデータ） (2023-07-18T15:49:02Z)
• On Optimal Caching and Model Multiplexing for Large Model Inference [66.50550915522551]
  大きな言語モデル(LLM)や他の大きな基盤モデルは注目すべき成功を収めているが、そのサイズは既存のリソース消費とレイテンシーの問題を悪化させている。 キャッシュを用いて以前のクエリを格納し、モデルの多重化を学習し、クエリ処理のためのモデルの集合から選択する。
  論文  参考訳（メタデータ） (2023-06-03T05:01:51Z)
• A distribution-free mixed-integer optimization approach to hierarchical modelling of clustered and longitudinal data [0.0]
  我々は,新しいデータポイントに対するクラスタ効果を評価する革新的なアルゴリズムを導入し,このモデルのロバスト性や精度を高める。 このアプローチの推論的および予測的効果は、学生のスコアリングとタンパク質発現に適用することでさらに説明される。
  論文  参考訳（メタデータ） (2023-02-06T23:34:51Z)
• Uncertainty Quantification of MLE for Entity Ranking with Covariates [3.2839905453386162]
  本稿では,ペア比較に基づくランキング問題の統計的推定と推定について検討する。 我々は、有名なBradley-Terry-Luceモデルを拡張した新しいモデルCAREモデルを提案する。 我々は、スパース比較グラフの下で、$alpha_i*_i=1n$と$beta*$の最大確率推定器を導出する。 大規模数値研究による理論結果の検証と相互資金保有データセットへの適用について検討する。
  論文  参考訳（メタデータ） (2022-12-20T02:28:27Z)
• Ranking Inferences Based on the Top Choice of Multiway Comparisons [2.468314282946207]
  本稿では、各試行においてランダムに選択された項目のうち、上位選択の観測データに基づいて、$n$アイテムのランキングを考察する。 これは、M$-wayランキングに対するプラケット=リュックモデルの有用な修正であり、最高選択のみを観測し、M=2$に対応する祝賀されたブラッドリー=テリー=リュックモデルの延長である。
  論文  参考訳（メタデータ） (2022-11-22T02:34:52Z)
• Near-Optimal Reward-Free Exploration for Linear Mixture MDPs with Plug-in Solver [32.212146650873194]
  報酬信号のガイダンスを使わずにRLモデルを効率的に学習するためのアプローチを提案する。 特に、私たちは、探索フェーズにおけるモデル学習に集中するプラグインソルバアプローチを採用しています。 新たな探索アルゴリズムを確立することで,プラグインアプローチは環境との相互作用を$tildeO(d2H3/epsilon2)$とすることでモデルを学習することを示す。
  論文  参考訳（メタデータ） (2021-10-07T07:59:50Z)
• Model-Based Multi-Agent RL in Zero-Sum Markov Games with Near-Optimal Sample Complexity [67.02490430380415]
  モデルに基づくMARLは、Nash平衡値(NE)を求めるために$tilde O(|S||B|(gamma)-3epsilon-2)$のサンプル複雑性を実現する。 また、アルゴリズムが報酬に依存しない場合、そのようなサンプル境界は最小値(対数因子まで)であり、アルゴリズムは報酬知識のない遷移サンプルを問合せする。
  論文  参考訳（メタデータ） (2020-07-15T03:25:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。