論文の概要: Optimal Design for Active Preference Learning with Biased LLM Judges
- arxiv url: http://arxiv.org/abs/2609.38860v1
- Date: Wed, 30 Sep 2026 03:17:21 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-01 18:57:27.079347
- Title: Optimal Design for Active Preference Learning with Biased LLM Judges
- Title（参考訳）: バイアス付きLLM判定器を用いた能動選好学習のための最適設計
- Abstract要約: 人間の嗜好から学ぶことは、大きな言語モデル(LLM)のアライメントの中心であるが、人間の嗜好アノテーションは高価である。
本研究では,Nuisance-Adjusted Optimal Design (NAOD)を提案する。
NAODは、一致したターゲット情報設計に対するプロキシポリシーの後悔を29.1%削減する。
- 参考スコア（独自算出の注目度）: 11.876583757558139
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Learning from human preferences is central to large language model (LLM) alignment, but human preference annotation is costly. Active preference learning reduces this cost by selecting informative comparisons, and LLM judges can provide additional scalable feedback. However, the preferences of the judges may deviate from those of the target human population. Even after calibration on trusted reference data, active acquisition can shift the comparison distribution and expose residual judge bias. We therefore incorporate judge deviations into the acquisition design rather than relying on a separate calibration stage. Under joint estimation, comparisons that appear highly informative about the reward may also reflect judge bias and therefore provide less information about human preferences. To address this issue, we propose Nuisance-Adjusted Optimal Design (NAOD), a comparison-selection strategy that prioritizes policy-relevant target information after nuisance adjustment and uses the Frank-Wolfe algorithm for optimization. Theoretically, we establish a sharp conditional local asymptotic minimax lower bound on policy risk and construct an estimator that attains it. We further characterize the finite-sample cost of learning the nuisance representation and show that representation error can reverse an oracle design advantage. Finally, we validate these predictions experimentally and evaluate NAOD on Chatbot Arena data across 17 judges, 15 budget configurations, and 15 random cluster-level splits. NAOD reduces the mean regret of proxy policy by 29.1% relative to a matched target-information design, outperforms existing methods, and improves human-preference prediction on held-out data.
- Abstract（参考訳）: 人間の嗜好から学ぶことは、大きな言語モデル(LLM)のアライメントの中心であるが、人間の嗜好アノテーションは高価である。
アクティブな選好学習は情報比較を選択することでこのコストを低減し、LCMの審査員はさらなるスケーラブルなフィードバックを提供することができる。
しかし、審査員の選好は、対象の人間集団の選好から逸脱する可能性がある。
信頼基準データの校正後も、アクティブな取得は比較分布をシフトさせ、残留判断バイアスを露呈することができる。
したがって、別段のキャリブレーションステージに頼るのではなく、審査偏差を取得設計に組み込む。
共同推定では、報酬について非常に有意義に思われる比較は、判断バイアスを反映し、したがって人間の嗜好に関する情報が少ない可能性がある。
この問題を解決するために,Nuisance-Adjusted Optimal Design (NAOD)を提案する。
理論的には、政策リスクを低く抑える鋭い条件付き局所漸近ミニマックスを確立し、それを達成するための推定器を構築する。
さらに、ニュアンス表現を学習する際の有限サンプルコストを特徴付け、表現誤差がオラクル設計の利点を逆転させることができることを示す。
最後に、これらの予測を実験的に検証し、Chatbot Arenaデータ上で17の審査員、15の予算構成、15のランダムクラスタレベルの分割でNAODを評価する。
NAODは、一致したターゲット情報設計と比較して、プロキシポリシーの平均後悔を29.1%減らし、既存の手法を上回り、ホールドアウトデータに対する人為的な予測を改善する。
関連論文リスト
- Instance-Optimal Estimation with Multiple LLM Judges on a Budget [84.31744861038106]
我々は、この問題を*予算付きヘテロスケダティックなマルチジャッジ推定*として定式化する。
K$のプロンプト-レスポンスペア、J$の既知のコストと未知のクエリ-ジャッジ分散が与えられた場合、目標は、$ell_p$-errorを最小化しながら、有界スコアベクトルを推定することである。
EST-IVWEは,予算の低次項までのオラクルIVWEレートと一致していることを示す。
論文 参考訳（メタデータ） (2026-05-22T08:26:08Z) - Consecutive Preferential Bayesian Optimization [5.048216954459151]
我々は、生産と評価のコストを考慮するために、嗜好に基づく最適化を一般化する。
生産コストの高いセットアップや、無関心なフィードバックによるセットアップにおいて、顕著な精度の向上を実証的に示す。
論文 参考訳（メタデータ） (2025-11-07T11:30:36Z) - Intuitionistic Fuzzy Sets for Large Language Model Data Annotation: A Novel Approach to Side-by-Side Preference Labeling [0.0]
本稿では,多言語モデル(LLM)における人間の嗜好をモデル化・集約するための直観的ファジィ集合(IFS)に基づく新しい枠組みを提案する。
我々のアプローチは、選好の度合いだけでなく、メンバーシップ、非メンバーシップ、およびヒューイテーションの度合いを通じて、人間の判断に固有の不確実性や偏見も捉えている。
複数のデータセットに対する実験的検証は、我々のIFSベースのアプローチがアノテーションの一貫性を大幅に改善し、アノテータの疲労を低減し、高品質な嗜好データを生成することを示した。
論文 参考訳（メタデータ） (2025-05-30T04:20:00Z) - Sharpe Ratio-Guided Active Learning for Preference Optimization in RLHF [67.48004037550064]
本稿では,プロンプトと選好のペアを効率的に選択する能動的学習手法を提案する。
提案手法は,モデル更新に対する影響を評価するために,すべての潜在的選好アノテーションの勾配を評価する。
実験の結果,提案手法は,選択した完了に対する勝利率を最大5%向上させることがわかった。
論文 参考訳（メタデータ） (2025-03-28T04:22:53Z) - Leveraging Sparsity for Sample-Efficient Preference Learning: A Theoretical Perspective [16.610925506252716]
古典的推定理論において、最小マックス最適推定誤差率$Theta(d/n)$は、特徴空間$d$の次元と線形にスケールするサンプルの個数$n$を要求する。
特徴空間の高次元性と人間の注釈付きデータを収集するコストは、従来の推定手法の効率性に挑戦する。
報酬関数のパラメータが$k$-sparseであるスパースランダムユーティリティモデルでは、ミニマックス最適率は$Theta(k/n log(d/k))に還元できることを示す。
論文 参考訳（メタデータ） (2025-01-30T11:41:13Z) - Reward-Augmented Data Enhances Direct Preference Alignment of LLMs [63.32585910975191]
報奨条件付き大言語モデル(LLM)を導入し、データセット内の応答品質のスペクトル全体から学習する。
当社のアプローチは,DPOをかなりのマージンで継続的に向上させることを示す。
本手法は,嗜好データの有用性を最大化するだけでなく,未学習の問題も軽減し,データ拡張を超えてその広範な効果を実証する。
論文 参考訳（メタデータ） (2024-10-10T16:01:51Z) - Geometric-Averaged Preference Optimization for Soft Preference Labels [78.2746007085333]
LLMを人間の嗜好と整合させる多くのアルゴリズムは、人間の嗜好は二進的かつ決定論的であると仮定する。
本研究では,分散ソフトな選好ラベルを導入し,損失関数におけるLLM出力確率の重み付き幾何平均を用いて直接選好最適化(DPO)を改善する。
論文 参考訳（メタデータ） (2024-09-10T17:54:28Z) - Estimating Treatment Effects under Recommender Interference: A Structured Neural Networks Approach [32.55211271796683]
一般に採用されている差分推定器は、推奨者干渉による推定に大きく偏りがあることが示される。
干渉経路を明示的に表現した「推薦者選択モデル」を提案する。
Weixin短ビデオプラットフォーム上での大規模フィールド実験により本手法の有効性を検証した。
論文 参考訳（メタデータ） (2024-06-20T14:53:26Z) - Spread Preference Annotation: Direct Preference Judgment for Efficient LLM Alignment [72.99676237703099]
大規模言語モデルと人間の嗜好の整合性を高める新しいフレームワークを提案する。
私たちのキーとなるアイデアは、小さな(種)データの中で人間の事前知識を活用することです。
本稿では,ノイズ認識型選好学習アルゴリズムを導入し,生成した選好データにおける品質低下のリスクを軽減する。
論文 参考訳（メタデータ） (2024-06-06T18:01:02Z) - Contextual Linear Optimization with Partial Feedback [35.38485630117593]
本研究では,異なるタイプのフィードバックを持つ文脈線形最適化(CLO)のためのオフライン学習アルゴリズムのクラスを提案する。
我々は,IERMに対して,不特定モデルクラスとフレキシブルな推定方法の選択を可能にする,新しい高速遅延境界を提供する。
論文 参考訳（メタデータ） (2024-05-26T13:27:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。