論文の概要: STAGE: Controlled Objective Admission for Multi-Preference LLM Alignment
- arxiv url: http://arxiv.org/abs/2608.16553v1
- Date: Mon, 17 Aug 2026 13:24:11 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-18 19:59:03.71273
- Title: STAGE: Controlled Objective Admission for Multi-Preference LLM Alignment
- Title（参考訳）: STAGE:Multi-Preference LLMアライメントのための制御された客観的アライメント
- Abstract要約: 本稿では,安定誘導型アクティブセット制御器を提案する。
methodnameは、小さなアクティブセットから始まり、許容された目的を保持し、報酬の減退ゲートが最近の逸脱が少ないか、忍耐の予算が枯渇していることを示すときに拡張する。
- 参考スコア（独自算出の注目度）: 7.5181381447764615
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Multi-preference alignment is often framed as scalarization: combine reward dimensions, then optimize. This leaves a temporal decision underspecified: when should each preference dimension enter policy optimization? We propose \methodname, a stability-guided active-set controller for controlled objective admission. \methodname starts from a small active set, retains admitted objectives, and expands when reward-deviation gates indicate low recent deviation or a patience budget is exhausted. A probing phase estimates a hard-to-easy order, and adaptive weighting emphasizes underperforming active dimensions. Automatic evaluations with 15 training preferences and 16 held-out benchmark columns show that \methodname obtains higher averages than simultaneous scalarization and shared-budget adapted baselines. Component ablations and expansion dynamics further support cumulative retention, gated admission, and probing-derived ordering as useful design choices in this setting. These results position objective-entry timing as a concrete control variable in reward-vector RLHF.
- Abstract（参考訳）: マルチ参照アライメントは、しばしばスカラー化(sscalarization)としてフレーム化され、報酬次元を結合し、最適化される。
それぞれの選好次元は、いつポリシー最適化に入るべきか?
本稿では,安定誘導型アクティブセット制御器である‘methodname’を提案する。
\methodnameは、小さなアクティブセットから始まり、承認された目的を維持し、報酬決定ゲートが最近の逸脱が少ないか、忍耐の予算が枯渇していることを示すときに拡大する。
探索フェーズは、難易度順を推定し、適応重み付けは、性能の低い活性次元を強調する。
15のトレーニング選好と16のホールトアウトベンチマークコラムによる自動評価により, \methodnameは同時スカラー化および共有予算適応ベースラインよりも高い平均値が得られることが示された。
コンポーネントの短縮と拡張のダイナミクスは、この設定で有用な設計選択として、累積保持、ゲートインプット、およびプロブリング由来の注文をさらにサポートします。
これらの結果は、報酬ベクトルRLHFにおける具体的な制御変数として客観的エントリータイミングを定めている。
関連論文リスト
- Selective Ensemble Based on Preference-Directed Multi-Objective Bandits [90.75513823660775]
我々は、部分的に指定された線形選好の下で逐次決定問題を定式化する。
次に、嗜好指向の高信頼度境界(PrefUCB)アルゴリズムを提案する。
大規模な事前学習型モデル選択アンサンブルタスクと,機関委任下でのオンラインアセットアロケーションの実験により,本手法が検証された。
論文 参考訳（メタデータ） (2026-06-20T07:52:46Z) - Dynamic Objective Selection with Safeguards and LLM Oversight for Financial Decision-Making [33.643275739813056]
DOSS(Dynamic Objective Selection with Safeguards)は,各時点における決定関連目的関数を直接選択する学習ベースのセレクタである。
DOSSは客観的選択を目的の分類問題として定式化し、ローリングウィンドウで逐次更新を行う。
ミスの選択とデプロイの過度な切り替えを軽減するため、DOSSはフェールセーフで信頼度を意識したゲーティングを適用し、低信頼の提案を保守的なデフォルトにオーバーライドし、スイッチング周波数に関連する明示的なコントロールを実行する。
論文 参考訳（メタデータ） (2026-06-02T14:22:07Z) - A Single Deep Preference-Conditioned Policy for Learning Pareto Coverage Sets [0.4369550829556578]
非線形スカラー化下での優先-解決対応の特異性と連続性について検討した。
この問題を解決するために,スムーズなTchebycheffスカラー化を単調な効用として用いた。
各更新は、以前のポリシーを参考に、Kullback-Leibler-regularized MDPの解決と等価であることを示す。
論文 参考訳（メタデータ） (2026-05-09T13:35:50Z) - Towards Disentangled Preference Optimization Dynamics Beyond Likelihood Displacement [33.80669933764735]
本稿では、選好最適化のインセンティブ・スコアを統一的に分解する。
遠近距離帯域 (DB) は, トレーニングが回避できる場合に特徴付ける, 単純で検証可能な条件である。
そこで本稿では,DB と確率変位を満たすために,選択された更新と削除された更新のバランスを適応的に調整するプラグイン・アンド・プレイ・アンフレワード・キャリブレーション(RC)を提案する。
論文 参考訳（メタデータ） (2026-04-20T13:23:27Z) - Unbiased Dynamic Pruning for Efficient Group-Based Policy Optimization [60.87651283510059]
Group Relative Policy Optimization (GRPO) はLLM推論を効果的にスケールするが、計算コストは禁じている。
本研究では,非バイアス勾配推定を保ちながら動的プルーニングを可能にする動的プルーニングポリシー最適化(DPPO)を提案する。
刈り込みによって引き起こされるデータの空間性を軽減するため,ウィンドウベースの欲求戦略であるDense Prompt Packingを導入する。
論文 参考訳（メタデータ） (2026-03-04T14:48:53Z) - MAESTRO: Meta-learning Adaptive Estimation of Scalarization Trade-offs for Reward Optimization [56.074760766965085]
大規模言語モデル(LLM)の整合性のための効率的なパラダイムとしてグループ相対政策最適化が登場している。
我々は,報酬スカラー化を動的潜在ポリシーとして扱い,モデルの終端隠蔽状態を意味的ボトルネックとして活用するMAESTROを提案する。
本稿では,軽量コンダクタネットワークがメタリワード信号としてグループ相対的優位性を生かしてポリシと共進化する,双方向最適化フレームワークにおけるコンテキスト的帯域幅問題としてこれを定式化する。
論文 参考訳（メタデータ） (2026-01-12T05:02:48Z) - Anchoring Values in Temporal and Group Dimensions for Flow Matching Model Alignment [61.80228667422234]
VGPOは時間次元とグループ次元の両方で値の推定を再定義する。
スパース端末の報酬を密度の高いプロセス認識値推定に変換する。
標準群正規化を絶対値によって強化された新しいプロセスに置き換え、安定した最適化信号を維持する。
論文 参考訳（メタデータ） (2025-12-13T16:31:26Z) - Listwise Preference Diffusion Optimization for User Behavior Trajectories Prediction [41.53271688465831]
ユーザ行動軌跡予測(UBTP)を,長期ユーザの嗜好を明示的にモデル化するタスク設定として定式化する。
項目列全体に対して構造化された嗜好を直接最適化する拡散に基づくトレーニングフレームワークであるリスワイズ・ディフュージョン・最適化(LPDO)を導入する。
多段階の予測品質を厳密に評価するために、正確な軌跡合意を計測するタスク特異的な逐次マッチング(SeqMatch)を提案し、確率的忠実度を評価するパープレキシティ(PPL)を採用する。
論文 参考訳（メタデータ） (2025-11-01T12:16:24Z) - Multi-Preference Optimization: Generalizing DPO via Set-Level Contrasts [17.243429150450886]
応答集合全体の最適化のために,$textbfMulti-Preference Optimization (MPO)を提案する。
MPOは偏差に基づく重み付けを採用しており、平均的な報酬から最も逸脱する外れ値の応答を強調している。
理論的には、MPOはクエリ毎のレスポンス数に対して$mathcalOleft(frac1sqrtnright)$でアライメントバイアスを低減する。
論文 参考訳（メタデータ） (2024-12-05T21:50:22Z) - Dynamic Rewarding with Prompt Optimization Enables Tuning-free Self-Alignment of Language Models [54.381650481255235]
我々は,Prompt Optimization (O) を用いた動的リワードによる自己アライメントのための新しいチューニング不要アプローチを提案する。
提案手法は,LLMを反復的に自己改善し,最適アライメント命令を作成可能な検索ベース最適化フレームワークを活用する。
近年の8つのLCMのオープンおよびクローズドソースに関する実証評価により,DRPOはアライメント性能を著しく向上することが示された。
論文 参考訳（メタデータ） (2024-11-13T16:15:38Z) - Controllable Preference Optimization: Toward Controllable Multi-Objective Alignment [103.12563033438715]
人工知能におけるアライメントは、モデル応答と人間の好みと値の一貫性を追求する。
既存のアライメント技術は、主に一方向であり、様々な目的に対して、最適以下のトレードオフと柔軟性の低下につながる。
制御可能な選好最適化(CPO)を導入し、異なる目的に対する選好スコアを明確に指定する。
論文 参考訳（メタデータ） (2024-02-29T12:12:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。