論文の概要: MINT: Min-Selection Preference Distillation for Balanced Multi-Objective Alignment
- arxiv url: http://arxiv.org/abs/2608.14828v1
- Date: Fri, 14 Aug 2026 19:01:56 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-18 19:59:03.098011
- Title: MINT: Min-Selection Preference Distillation for Balanced Multi-Objective Alignment
- Title（参考訳）: MINT:バランスの取れた多目的アライメントのための最小選択選好蒸留法
- Abstract要約: ミン選択が基準方針の不均衡の程度に比例して不均衡を正すことを示す。
MIN選択は、基準ポリシがどの程度不均衡であるかに比例して不均衡を補正する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Aligning a language agent to several objectives at once is a persistent failure mode of preference-based training: when objectives are combined additively, optimization collapses onto whichever is cheapest to improve and sacrifices the rest, so a support agent learns to sound warm while giving no real help. The root issue is that an additive reward has no notion of balance. We introduce Mint (MIN-selection preference disTillation), a one-line change to preference distillation: rather than ranking sampled candidates by a weighted sum of rewards, we rank them by their weakest objective, distilling the best-balanced candidate over the most lopsided one with an unchanged DPO objective. This is the p -> negative infinity limit of a generalized-mean family spanning additive to worst-case selection. Across cooperative emotional support and adversarial negotiation, min-selection lifts both objectives while sharply cutting their imbalance; on emotional support it raises the weaker axis from 0.37 to 0.64 (p < 10^-40), surpassing human experts and persisting across full multi-turn rollouts. A turn-by-turn analysis yields our central finding: min-selection corrects imbalance in proportion to how imbalanced the reference policy is, and its benefit endures over an interaction precisely as long as that imbalance does.
- Abstract（参考訳）: 言語エージェントを複数の目標に一度にアライメントすることは、嗜好ベースのトレーニングの永続的な失敗モードである。 目的が加算的に組み合わせられると、最適化は最も安いものに崩壊し、改善と犠牲になる。
根本的問題は、加法的な報酬にはバランスの概念がないことである。
選別選別選別から選別選別への一直線的変更であるMint(MIN-selection preference distillation)を導入し, 選別選別選別選別から選別選別選別選別選別選別選別選別選別選別選別選別選別選別選別選別選別選別選別選別選別選別選別選別選別選別選別選別選別よりも, 選別選別選別選別選別選別選別選別選別選別選別選別選別選別選別選別選別選別選別選別選別選別選別選別選別選別選別選別選別選別選別選別選別選別選別選別選別選別選別選別選別選別選別選別選別選別選別選別選別選別選別選別選別選別選別選別選別
これは、添加物から最悪のケース選択にまたがる一般化平均族におけるp->負の無限大極限である。
協調的感情支援と敵対的交渉を通じて、ミン選択は両目標を引き上げ、両目標を激減させ、感情的サポートでは、より弱い軸を0.37から0.64(p<10^-40)に引き上げ、人間の専門家を超越し、完全なマルチターンロールアウトを継続する。
min-selectionは、基準ポリシーがどの程度不均衡であるかに比例して不均衡を補正し、その利益は、その不均衡がそうである限り、相互作用に耐えられる。
関連論文リスト
- Learn What's Left, Not What's Mastered: Saturation Aware Advantage Reweighting for Multi-Reward Policy Optimization [60.89431018071735]
グループ相対的な優位性を持つ強化学習は、訓練後の言語モデル推論のデファクトスタンダードとなっている。
異なる報酬プロファイルを持つロールアウトは、同じ利点を享受でき、現在の飽和度に関わらず、全ての目的が固定相対重みで最適化されることを示す。
本研究では,各報酬目標を独立に標準化し,目標飽和度をバッチレベルで推定した値に従って貢献を適応的に割引する飽和度認識再重み付けを導入する。
論文 参考訳（メタデータ） (2026-08-17T04:07:50Z) - Rolling With Resistance: Preference-Optimized LLM Counselors Can Trade Goal Persistence for Relational Attunement in Motivational Interviewing [0.6372261626436676]
モチベーション・インタヴュー(MI)では、クライアントの持続的なトーク(現状に関する議論)が、カウンセラーに抵抗を伴って展開するよう呼びかけるが、これは2つの方法で失敗する可能性がある。
モチベーション型面接処理統合 (MITI) コード, ゴールパーシスタンス (GP) およびアテンション (RA) のカウンセラー応答の2軸評価を導入する。
優先最適化によって1つの障害を罰することは、転がり抵抗の反作用を引き起こすかどうかを問う。
論文 参考訳（メタデータ） (2026-07-30T20:16:03Z) - Annealed Entropic Allocation for Ranking and Selection [4.54773250519101]
Annealed Entropic Allocation(アニールド・エントロピック・アロケーション)は、ランキングとセレクションにおける逐次的な予算配分のための重み付きソフトミンフレームワークである。
本研究では,サロゲートが一様収束し,ソフトミンウェイトがアクティブチャレンジャーに集中し,固定重みの下では,誘導目標割り当てマップがシンプル内部で連続していることを示す。
論文 参考訳（メタデータ） (2026-06-09T18:25:02Z) - TRACE: A Unified Rollout Budget Allocation Framework for Efficient Agentic Reinforcement Learning [52.67756371231985]
検証可能な報酬を伴う強化学習(RLVR)は、大規模言語モデルにおける推論とエージェント的行動を強化するための有望なアプローチである。
本稿では,Tree Rollout Allocation for Contrastive Exploration (TRACE)について紹介する。
技術的には、TRACEはロールアウト予算をルートと中間プレフィックスの両方に割り当てている。
論文 参考訳（メタデータ） (2026-06-09T17:16:03Z) - Explaining and Breaking the Safety-Helpfulness Ceiling via Preference Dimensional Expansion [75.37308041820552]
大規模言語モデルの多目的アライメントの領域では、異なる人間の嗜好のバランスがゼロサム競合として現れることが多い。
提案するMORA: Multi-Objective Reward Assimilationは, 複数次元インテントを組み込むために, 元の質問を書き換えることにより, 報酬の多様性を拡大し, シングルリワードプロンプトを分離する。
論文 参考訳（メタデータ） (2026-05-12T07:38:59Z) - Breaking $\textit{Winner-Takes-All}$: Cooperative Policy Optimization Improves Diverse LLM Reasoning [53.42577591449649]
グループ協力政策最適化は、トレーニングパラダイムをロールアウト競争からチーム協力へとシフトさせる。
GCPOは独立したロールアウトスコアをチームレベルのクレジット割り当てに置き換える。
チームへの平均的な限界貢献に従って、各ロールアウトに対して、グループチームの報酬を再分配する。
論文 参考訳（メタデータ） (2026-05-12T03:20:24Z) - MARBLE: Multi-Aspect Reward Balance for Diffusion RL [71.6241143519038]
強化学習は、拡散モデルと人間の嗜好を整合させる主要なアプローチとなっている。
既存のプラクティスは、報酬ごとに1つのスペシャリストモデルをトレーニングすることで、複数の報酬を処理します。
我々は,各報酬に対する独立な優位推定器を維持する勾配空間最適化フレームワークMARBLEを提案する。
論文 参考訳（メタデータ） (2026-05-07T16:20:42Z) - APEX: Learning Adaptive Priorities for Multi-Objective Alignment in Vision-Language Generation [15.972820204753196]
テキスト・ツー・イメージ生成のための多目的アライメントは、静的線形スカラー化によって一般的に実装されるが、固定重み付けは不均一な報酬の下で失敗することが多い。
本稿では,二段階適応正規化と動的スケジュールにより不均一報酬を安定化するAPEXを提案する。
論文 参考訳（メタデータ） (2026-01-10T13:43:08Z) - Controllable Preference Optimization: Toward Controllable Multi-Objective Alignment [103.12563033438715]
人工知能におけるアライメントは、モデル応答と人間の好みと値の一貫性を追求する。
既存のアライメント技術は、主に一方向であり、様々な目的に対して、最適以下のトレードオフと柔軟性の低下につながる。
制御可能な選好最適化(CPO)を導入し、異なる目的に対する選好スコアを明確に指定する。
論文 参考訳（メタデータ） (2024-02-29T12:12:30Z) - Beyond One-Preference-Fits-All Alignment: Multi-Objective Direct Preference Optimization [76.09576643028362]
複数のアライメント目的に対してMODPO(Multi-Objective Direct Preference Optimization)を提案する。
MODPOは、言語モデリングを直接報酬モデルに折り畳み、暗黙の集団報酬モデルとして言語モデルを訓練する。
理論的には MORLHF と同じ最適解が得られるが、実質的にはより安定で効率的である。
論文 参考訳（メタデータ） (2023-10-05T17:35:26Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。