論文の概要: Predicting Human-Gain Curves under Local Proxy Optimization from Repeated Ratings

• arxiv url: http://arxiv.org/abs/2610.41114v1
• Date: Fri, 30 Oct 2026 01:16:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-02 22:05:31.575135
• Title: Predicting Human-Gain Curves under Local Proxy Optimization from Repeated Ratings
• Title（参考訳）: 繰り返しレーティングによる局所的プロキシ最適化による利得曲線の予測
• Abstract要約: 本稿では,人間の評価を繰り返すことで,固定プロキシによって誘導される利得曲線を予測できる事前最適化診断法を提案する。 PACEは、$A$オンリー、ゼロゲイン、信頼性オンリーのベースラインに対するホールドアウトゲイン予測エラーを一貫して低減する。
• 参考スコア（独自算出の注目度）: 0.22940141855172033
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Optimizing a proxy objective can improve human-perceived quality, but the resulting gain can vary with optimization strength. Average proxy-human correlation alone does not reveal how human-perceived quality changes as optimization strength increases. We propose PACE (Proxy Alignment and Curvature Expansion), a pre-optimization diagnostic that uses repeated human ratings to predict the human-gain curve induced by a fixed proxy. The method models proxy optimization as a KL-regularized exponential tilt. At KL radius $d$, the local gain is approximated by $A\sqrt{d}+Bd$, where $A$ measures first-order proxy-human alignment and $B$ captures the leading second-order correction along the proxy-optimization path. We estimate $A$ and $B$ from repeated human ratings on calibration items and test the resulting gain-curve prediction on held-out evaluation items. Across SummEval, analysis-eligible WMT MQM clusters, an OpenMEVA-MAGS ROC/WP repeated-rating slice, and a GPT-4o judge proxy experiment, PACE consistently reduces held-out gain-prediction error relative to $A$-only, zero-gain, and reliability-only baselines. With the same pre-pool information, it is competitive with flexible proxy-conditional calibration, and a LoRA-DPO experiment provides a modest bridge to actual optimization. Transfer experiments across datasets and evaluation slices show that source coefficients are useful priors, but target calibration further improves prediction. The resulting diagnostic is local and one-sided: it characterizes gentle optimization along the positive tilt branch of a fixed item pool.
• Abstract（参考訳）: プロキシの目的を最適化することは、人間の知覚された品質を改善することができるが、結果として得られる利益は、最適化の強さによって変化する。 平均的プロキシ・ヒューマン相関だけでは、最適化強度が増大するにつれて、人間の知覚する品質がどのように変化するかは明らかになっていない。 PACE (Proxy Alignment and Curvature Expansion) は, 定位プロキシによって誘導される利得曲線を予測するために, 繰り返し人間の評価を用いた事前最適化診断である。 この手法は、KL正規化指数傾斜のプロキシ最適化をモデル化する。 KL 半径 $d$ では、局所ゲインを $A\sqrt{d}+Bd$ で近似し、$A$ は1階のプロキシ-ヒューマンアライメントを測り、$B$ はプロキシ-最適化パスに沿って先頭の2階の補正をキャプチャする。 校正項目の繰り返し評価から$A$と$B$を推定し、ホールドアウト評価項目の利得曲線予測を検証した。 SummEval、分析可能なWMT MQMクラスタ、OpenMEVA-MAGS ROC/WP繰り返しラッピングスライス、および GPT-4o の判定プロキシ実験において、PACE は、$A$オンリー、ゼロゲイン、信頼性のみのベースラインに対するホールドアウトゲイン予測誤差を一貫して低減する。 同じプリプール情報で、柔軟なプロキシ条件のキャリブレーションと競合し、LoRA-DPO実験は実際の最適化に控えめなブリッジを提供する。 データセットと評価スライス間の転送実験は、ソース係数が有用であることを示しているが、ターゲットキャリブレーションは予測をさらに改善する。 結果の診断は局所的で一方的であり、固定アイテムプールの正の傾き分枝に沿って緩やかな最適化を特徴付ける。

関連論文リスト

• Optimal Design for Active Preference Learning with Biased LLM Judges [11.876583757558139]
  人間の嗜好から学ぶことは、大きな言語モデル(LLM)のアライメントの中心であるが、人間の嗜好アノテーションは高価である。 本研究では,Nuisance-Adjusted Optimal Design (NAOD)を提案する。 NAODは、一致したターゲット情報設計に対するプロキシポリシーの後悔を29.1%削減する。
  論文  参考訳（メタデータ） (2026-09-30T03:17:21Z)
• Decision-Focused On-Policy Learning for Contextual Linear Optimization with Partial Feedback [14.912614425471915]
  決定中心学習(DFL)は、スタンドアロンの予測精度よりも下流の意思決定品質を最適化することで予測モデルを訓練する。 文脈線形最適化では、既存のDFL法は対象ベクトルの完全な観測をオフラインで行う。 条件分布モデルを更新するための2成分ハイブリッド推定器を提案する。
  論文  参考訳（メタデータ） (2026-05-31T07:58:28Z)
• Goal-Oriented Lower-Tail Calibration of Gaussian Processes for Bayesian Optimization [0.0]
  本稿では,ノイズレス環境下でのGP予測分布の目標方向キャリブレーションについて,低閾値の$t$以下で検討する。 空間キャリブレーションという2つの概念に基づいて,$t$以下の予測信頼性の枠組みを導入する。 このフレームワーク上に構築されたtcGPは,GP予測分布を$t$以下に校正するポストホック法である。
  論文  参考訳（メタデータ） (2026-05-19T17:32:25Z)
• Unbiased Dynamic Pruning for Efficient Group-Based Policy Optimization [60.87651283510059]
  Group Relative Policy Optimization (GRPO) はLLM推論を効果的にスケールするが、計算コストは禁じている。 本研究では,非バイアス勾配推定を保ちながら動的プルーニングを可能にする動的プルーニングポリシー最適化(DPPO)を提案する。 刈り込みによって引き起こされるデータの空間性を軽減するため,ウィンドウベースの欲求戦略であるDense Prompt Packingを導入する。
  論文  参考訳（メタデータ） (2026-03-04T14:48:53Z)
• From Noisy Traces to Stable Gradients: Bias-Variance Optimized Preference Optimization for Aligning Large Reasoning Models [90.45197506653341]
  大規模推論モデルは最終回答を生成する前に中間的推論トレースを生成する。 LRMと人間の好みの整合性は、モデルデプロイメントにとって重要な前提条件であり、まだ過小評価されていない。 共通の回避策は1つのサンプル軌道を最適化し、トレースサンプリングからかなり勾配のばらつきをもたらす。
  論文  参考訳（メタデータ） (2025-10-06T17:58:01Z)
• Multi-Preference Optimization: Generalizing DPO via Set-Level Contrasts [17.243429150450886]
  応答集合全体の最適化のために,$textbfMulti-Preference Optimization (MPO)を提案する。 MPOは偏差に基づく重み付けを採用しており、平均的な報酬から最も逸脱する外れ値の応答を強調している。 理論的には、MPOはクエリ毎のレスポンス数に対して$mathcalOleft(frac1sqrtnright)$でアライメントバイアスを低減する。
  論文  参考訳（メタデータ） (2024-12-05T21:50:22Z)
• Provably Mitigating Overoptimization in RLHF: Your SFT Loss is Implicitly an Adversarial Regularizer [52.09480867526656]
  人間の嗜好を学習する際の分布変化と不確実性の一形態として,不一致の原因を同定する。 過度な最適化を緩和するために、まず、逆選択された報酬モデルに最適なポリシーを選択する理論アルゴリズムを提案する。 報奨モデルとそれに対応する最適ポリシーの等価性を用いて、優先最適化損失と教師付き学習損失を組み合わせた単純な目的を特徴とする。
  論文  参考訳（メタデータ） (2024-05-26T05:38:50Z)
• Variational Refinement for Importance Sampling Using the Forward Kullback-Leibler Divergence [77.06203118175335]
  変分推論(VI)はベイズ推論における正確なサンプリングの代替として人気がある。 重要度サンプリング(IS)は、ベイズ近似推論手順の推定を微調整し、偏りを逸脱するためにしばしば用いられる。 近似ベイズ推論のための最適化手法とサンプリング手法の新たな組み合わせを提案する。
  論文  参考訳（メタデータ） (2021-06-30T11:00:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。