論文の概要: Why Expert Alignment Is Hard: Evidence from Subjective Evaluation

• arxiv url: http://arxiv.org/abs/2605.04972v1
• Date: Wed, 06 May 2026 14:28:09 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-07 18:41:07.876381
• Title: Why Expert Alignment Is Hard: Evidence from Subjective Evaluation
• Title（参考訳）: 専門家のアライメントが難しい理由 - 主観的評価からのエビデンス
• Abstract要約: 専門家評価とフォローアップアンケートを用いて、専門家情報の異なる形態がアライメントにどのように影響するかを検討する。 結果から,モデルの制約だけでなく,主観的評価が本質的に異質であるため,専門家のアライメントは困難であることが示唆された。
• 参考スコア（独自算出の注目度）: 4.5640929645072115
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Aligning large language models with expert judgment is especially difficult in subjective evaluation tasks, where experts may disagree, rely on tacit criteria, and change their judgments over time. In this paper, we study expert alignment as a way to understand this difficulty. Using expert evaluations and follow-up questionnaires, we examine how different forms of expert information affect alignment and what this reveals about subjective judgment. Our findings show four consistent patterns. First, alignment difficulty varies substantially across experts, suggesting that expert evaluation styles differ widely in their distance from a model's prior behavior. Second, explicit criteria and reasoning do not always improve alignment, indicating that expert judgment is not fully captured by verbalized rules. Third, editing is sensitive to both the number and the identity of examples, with small numbers of edits providing useful but unstable gains. Fourth, alignment difficulty differs across evaluation dimensions: dimensions grounded more directly in proposal content are easier to align, while dimensions requiring external knowledge or value-based judgment remain harder. Taken together, these results suggest that expert alignment is difficult not only because of model limitations, but also because subjective evaluation is inherently heterogeneous, partly tacit, dimension-dependent, and temporally unstable.
• Abstract（参考訳）: 専門家の判断を伴う大規模言語モデルの調整は、専門家が意見の相違があり、暗黙の基準に頼り、時間とともに判断を変えるような主観的な評価タスクにおいて特に困難である。 本稿では,この難易度を理解するための専門家アライメントについて検討する。 専門家評価とフォローアップアンケートを用いて、専門家情報の異なる形態がアライメントに与える影響と、それが主観的判断にどのような影響を及ぼすかを検討する。 以上より4つの一貫したパターンがみられた。 第一に、アライメントの難しさは専門家によって大きく異なり、専門家の評価スタイルがモデルの以前の行動とは大きく異なることを示唆している。 第二に、明示的な基準と推論は必ずしもアライメントを改善するわけではない。 第三に、編集は数とサンプルの同一性の両方に敏感で、少数の編集が有用だが不安定なゲインを提供する。 第4に、アライメントの難しさは評価次元によって異なり、提案内容に直接接する次元は整合し易く、一方、外部知識や価値に基づく判断を必要とする次元は難しいままである。 これらの結果は、モデル的制約のためだけでなく、主観的評価が本質的に異質であり、部分的に暗黙的であり、次元に依存し、時間的に不安定であるため、専門家のアライメントが難しいことを示唆している。

関連論文リスト

• Imag-Eval: a language-grounded framework for interpretable Text-to-Image instruction following evaluation [0.0]
  Imag-Evalは、テキスト・トゥ・イメージ・モデルがどのように合成された自然言語命令を視覚的に出力するかを評価するためのベンチマークである。 我々のベンチマークは1,140のプロンプトと8,842の複合ルールで構成され、いくつかの最先端モデルで評価する。
  論文  参考訳（メタデータ） (2026-08-29T11:50:36Z)
• When Reviews Disagree: Fine-Grained Contradiction Analysis in Scientific Peer Reviews [25.43097618275061]
  RevCIは、評価された強度ラベルを持つエビデンスレベルの矛盾アノテーションを備えたピアレビューペアの専門家によるベンチマークである。 IMPACTは、アスペクト条件のエビデンス抽出、熟考的推論、偏見を統合した構造化マルチエージェントフレームワークである。 TIDEは1つの前方通過における矛盾する証拠と強度を予測する小さな言語モデルである。
  論文  参考訳（メタデータ） (2026-05-11T08:20:58Z)
• Quantifying the Statistical Effect of Rubric Modifications on Human-Autorater Agreement [50.34437999083224]
  オートレーダは、評価と自動モデレーションコンテンツにますます使われています。 ヒトとオートレーダの両方に提示されるルーブリックの修正がスコアアグリーメントにどのように影響するかは、統計学的に限定されている。
  論文  参考訳（メタデータ） (2026-05-07T13:55:11Z)
• Aggregate vs. Personalized Judges in Business Idea Evaluation: Evidence from Expert Disagreement [4.814048071575166]
  分析では、微粒な順序のスコアについてかなりの専門家の意見の相違が示され、一方、合意は粗い選択の下で高い。 次に、ゼロショット判定器、混合評価器の履歴に規定された集計判定器、対象評価器のスコアリング履歴に規定されたパーソナライズされた判定器の3つの構成を比較した。 パーソナライズド・ジャッジは、次元やモデルサイズ全体にわたって、アグリゲーション・ジャッジよりも対応する評価者とより緊密に一致し、評価者合意はパーソナライズド・コンディショニング(パーソナライズド・コンディショニング)の下でのみ、判断生成推論の類似性と相関する。
  論文  参考訳（メタデータ） (2026-04-24T12:56:54Z)
• Beyond Rating: A Comprehensive Evaluation and Benchmark for AI Reviews [69.66583722746904]
  私たちは、AIレビュアーを5次元にわたって評価する総合的な評価フレームワークであるBeyond Ratingを紹介します。 本稿では,専門家の不一致に対応するためのMax-Recall戦略を提案する。 提案したテキスト中心の指標は、特に弱みの議論のリコールであり、評価精度と強く相関している。
  論文  参考訳（メタデータ） (2026-04-21T14:21:15Z)
• When More Experts Hurt: Underfitting in Multi-Expert Learning to Defer [28.815942679585273]
  マルチエキスパートのL2Dは、シングルエキスパートのケースよりも根本的に難しい。 本稿では,実証的証拠に基づいて信頼性の高い専門家を適応的に識別する代理手法であるPiCCEを提案する。
  論文  参考訳（メタデータ） (2026-02-19T07:45:18Z)
• DEER: A Comprehensive and Reliable Benchmark for Deep-Research Expert Reports [49.217247659479476]
  ディープリサーチシステムは、多段階の推論とエビデンスベースの合成を通じて専門家レベルのレポートを生成することができる。 既存のベンチマークは、エキスパートレポートの体系的な基準を欠いていることが多い。 専門家レベルのディープリサーチレポートを評価するためのベンチマークであるDEERを紹介する。
  論文  参考訳（メタデータ） (2025-12-19T16:46:20Z)
• Curse of Knowledge: When Complex Evaluation Context Benefits yet Biases LLM Judges [72.3356133063925]
  審査員としての大規模言語モデル(LLM)のパラダイムはスケーラブルなソリューションとして登場したが、以前の作業は主に単純な設定に焦点を当てていた。 我々の詳細な分析は、評価信号の精度と妥当性を向上させるための重要な洞察を提供する。
  論文  参考訳（メタデータ） (2025-09-03T15:48:33Z)
• Expert Preference-based Evaluation of Automated Related Work Generation [54.29459509574242]
  本稿では,従来の作業評価基準と専門家固有の嗜好を統合したマルチターン評価フレームワークGREPを提案する。 より優れたアクセシビリティを実現するため、我々はGREPの2つの変種を設計する: プロプライエタリなLLMを評価対象とするより正確な変種と、オープンウェイトなLLMをより安価な代替品である。
  論文  参考訳（メタデータ） (2025-08-11T13:08:07Z)
• Robust Decision Aggregation with Adversarial Experts [4.021926055330022]
  我々は、真理と敵の双方の専門家が存在する場合に、堅牢な集約問題を考える。 我々は,最悪の情報構造と敵戦略の下で,後悔を最小化する予測を出力する最適なアグリゲータを見つけることを目的とする。
  論文  参考訳（メタデータ） (2024-03-13T03:47:08Z)
• Causal Discovery with Language Models as Imperfect Experts [119.22928856942292]
  専門知識を用いて因果グラフの同定を改善する方法について検討する。 整合性に基づく専門家の知識を改良するための戦略を提案する。 本稿では,不完全な専門家として大規模言語モデルを用いる実データを用いたケーススタディについて報告する。
  論文  参考訳（メタデータ） (2023-07-05T16:01:38Z)
• Who Reviews The Reviewers? A Multi-Level Jury Problem [20.193491214464185]
  我々は、ある独立した確率(コンピテンス)で、基礎的真理についての推測を正しく表現する独立したレビュアー(専門家)のグループからのアドバイスを用いて二元的基底的真理を決定するという問題を考察する。 実践的な設定では、レビュアーは非能率であり、すなわち半分以下の能力であり、専門家の数は少ないかもしれないため、コンドルチェット・ジャリー・セオリームは実際は関係がない。 より多くの椅子を持つ方がよい場合もあるが、多くの場合、より多くのレビュアーを持つほうがよい。
  論文  参考訳（メタデータ） (2022-11-15T20:47:14Z)
• A Machine Learning Framework Towards Transparency in Experts' Decision Quality [0.0]
  多くの重要な設定において、専門家の意思決定の質の透明性は、専門家の判断を評価するための根拠となる真理のデータがコストが高く、限られた一連の決定のためにのみ利用できるため、めったに不可能である。 まず、この設定で専門家の判断精度を推定し、それに対応するための機械学習ベースのフレームワークを開発するという問題を定式化する。 本手法は, 労働者の過去の意思決定に関する豊富な歴史的データと, 根拠となる真理情報による意思決定事例の不足を効果的に活用する。
  論文  参考訳（メタデータ） (2021-10-21T18:50:40Z)
• Leveraging Expert Consistency to Improve Algorithmic Decision Support [62.61153549123407]
  建設のギャップを狭めるために観測結果と組み合わせることができる情報源として,歴史専門家による意思決定の利用について検討する。 本研究では,データ内の各ケースが1人の専門家によって評価された場合に,専門家の一貫性を間接的に推定する影響関数に基づく手法を提案する。 本研究は, 児童福祉領域における臨床現場でのシミュレーションと実世界データを用いて, 提案手法が構成ギャップを狭めることに成功していることを示す。
  論文  参考訳（メタデータ） (2021-01-24T05:40:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。