論文の概要: Learning What Evaluators Value: A Reliable Approach to Modeling Evaluator Preferences

• arxiv url: http://arxiv.org/abs/2605.16615v1
• Date: Fri, 15 May 2026 20:33:52 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-19 17:57:46.805022
• Title: Learning What Evaluators Value: A Reliable Approach to Modeling Evaluator Preferences
• Title（参考訳）: 評価値の学習:評価値のモデル化のための信頼性の高いアプローチ
• Abstract要約: モデルミスマッチに頑健な評価者の好みを学習するためのアルゴリズムを提案する。 合成シミュレーションと実世界のデータによるアルゴリズムの評価により、好みをしっかり学習する能力が確認された。
• 参考スコア（独自算出の注目度）: 9.742780055033675
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In many applications, human and LLM evaluators use assessments of relevant criteria to create an overall evaluation for an item or individual. For example, in admissions, committees assess candidates on attributes such as test scores, GPA, and research experience to evaluate their overall fit for the program. Another example arises in medical care where clinicians use patient reports of symptoms to consider preliminary diagnoses and assess risks. Each setting involves mapping multiple criteria to an overall evaluation -- a process that reflects the evaluator's underlying preferences. We focus on the fundamental question of learning these preferences. Many applications of this problem make specific modeling assumptions on evaluator preferences that may be substantially violated in the real world. We make the minimal assumption that the preference function is coordinate-wise non-decreasing, which is reasonable in a large number of evaluation settings. We theoretically characterize the severity of model mismatch for many common assumptions and show that it can lead to significant issues for learning evaluator preferences and other important downstream tasks. We then present an algorithm for learning evaluators' preferences that is robust to model mismatch. We prove theoretically that our algorithm can learn any preference function without sacrificing performance when the linearity assumption holds. Evaluations of our algorithm with synthetic simulations and real-world data confirm its ability to learn preferences robustly and illustrate key aspects of LLM and human preferences.
• Abstract（参考訳）: 多くの応用において、人間とLLM評価者は関連する基準の評価を使用して、アイテムまたは個人に対する全体的な評価を作成する。 例えば、入学試験において、委員会は試験スコア、GPA、研究経験などの属性の候補を評価し、プログラム全体の適合性を評価する。 もう一つの例は、臨床医が患者の症状の報告を使用して予備診断を検討し、リスクを評価する医療である。 各設定は、複数の基準を全体評価にマッピングする。 これらの嗜好を学習する上での根本的な問題に焦点をあてる。 この問題の多くの応用は、実世界において実質的に侵害される可能性がある評価器の選好に関する特定のモデリング仮定を作成する。 我々は、選好関数が座標的に非減少であるという最小限の仮定を、多数の評価設定において妥当であるとする。 我々は,モデルミスマッチの重大さを多くの共通前提に対して理論的に特徴付けるとともに,評価器の選好などの重要な下流課題を学習する上で重要な問題を引き起こす可能性があることを示す。 次に,モデルミスマッチに頑健な評価者の好みを学習するためのアルゴリズムを提案する。 線形性仮定が成り立つと性能を犠牲にすることなく,アルゴリズムが任意の選好関数を学習できることを理論的に証明する。 合成シミュレーションと実世界のデータによるアルゴリズムの評価により、好みをしっかり学習し、LLMと人間の嗜好の重要な側面を具現化する能力が確認された。

関連論文リスト

• A primer on evaluation methods for large language models in healthcare [0.0]
  大規模言語モデル(LLM)は、医学における応用範囲が拡大しており、その評価は、それらが利益を提供し、害を与えないことを保証するために重要である。 本総説では, 研究設計の原則, 統計的手法, 能力評価, 臨床コンテキスト評価の4つの分野について概説する。
  論文  参考訳（メタデータ） (2026-09-13T22:21:21Z)
• Preference-Aware Rubric Learning for Personalized Evaluation [59.539429430690156]
  既存の評価手法では、長期的なインタラクション履歴に埋め込まれたユーザ固有の嗜好をキャプチャできない。 静的判断よりも学習問題としてパーソナライズされた評価を定式化するパラダイムであるパーソナライズド・アズ・ラーニングを提案する。 実験により、PARLはユーザ対応の応答を確実に識別し、ユーザ間で一般化する高忠実なルーブリックを一貫して誘導することが示された。
  論文  参考訳（メタデータ） (2026-05-29T17:00:55Z)
• SCAN: Structured Capability Assessment and Navigation for LLMs [54.54085382131134]
  textbfSCAN (Structured Capability Assessment and Navigation) は、大規模言語モデルの詳細な特徴付けを可能にする実用的なフレームワークである。 SCANには4つの重要なコンポーネントが含まれている。 TaxBuilder – クエリから機能表示タグを抽出して階層的な分類構造を構築する。 RealMixは、各機能タグに対する十分な評価データを保証するクエリ合成とフィルタリングのメカニズムである。 PC$2$ベースのLCM-as-a-Judge法は従来のLCM-as-a-Judge法と比較して大幅に精度が向上する
  論文  参考訳（メタデータ） (2025-05-10T16:52:40Z)
• SedarEval: Automated Evaluation using Self-Adaptive Rubrics [4.97150240417381]
  本稿では,自己適応型ルーブリックに基づく新しい評価パラダイムを提案する。 SedarEvalは、細心の注意を払って1,000の質問から成り、それぞれが独自の自己適応型ルーリックを持っている。 我々は、人間の学級に取って代わるために、特殊評価器言語モデル(評価器LM)を訓練する。
  論文  参考訳（メタデータ） (2025-01-26T16:45:09Z)
• A Probabilistic Perspective on Unlearning and Alignment for Large Language Models [48.96686419141881]
  大規模言語モデル(LLM)のための最初の形式的確率的評価フレームワークを紹介する。 すなわち,モデルの出力分布に関する確率保証の高い新しい指標を提案する。 私たちのメトリクスはアプリケーションに依存しないので、デプロイ前にモデル機能についてより信頼性の高い見積を行うことができます。
  論文  参考訳（メタデータ） (2024-10-04T15:44:23Z)
• Aligning Model Evaluations with Human Preferences: Mitigating Token Count Bias in Language Model Assessments [2.1370543868467275]
  本稿では,大規模言語モデルと人的評価を協調させる手法について検討する。 我々はこのバイアスを定量化するためにベイズ統計とt検定を用い、GPTScorerを調整するための再校正手順を開発した。 以上の結果から,再校正したLCM評価器と,複数のユースケースにおけるヒト評価との整合性は有意に改善した。
  論文  参考訳（メタデータ） (2024-07-05T09:26:40Z)
• Exploring the Reliability of Large Language Models as Customized Evaluators for Diverse NLP Tasks [65.69651759036535]
  大規模言語モデル(LLM)が人間にとって信頼できる代替手段であるかどうかを解析する。 本稿では、従来のタスク(例えば、ストーリー生成)とアライメントタスク(例えば、数学推論)の両方について検討する。 LLM評価器は不要な基準を生成したり、重要な基準を省略することができる。
  論文  参考訳（メタデータ） (2023-10-30T17:04:35Z)
• Calibrating LLM-Based Evaluator [92.17397504834825]
  マルチステージで勾配のないアプローチであるAutoCalibrateを提案し,LLMに基づく評価器を人間の好みに合わせて調整・調整する。 人間の嗜好を明示的にモデル化する代わりに、まず暗黙的に人間のラベルに含めます。 複数のテキスト品質評価データセットに関する実験は、校正による専門家評価との相関性を大幅に改善したことを示す。
  論文  参考訳（メタデータ） (2023-09-23T08:46:11Z)
• FLASK: Fine-grained Language Model Evaluation based on Alignment Skill Sets [69.91340332545094]
  FLASKは、人間に基づく評価とモデルに基づく評価の両方のためのきめ細かい評価プロトコルである。 モデル性能の全体像を得るためには,評価の微粒化が重要であることを実験的に観察する。
  論文  参考訳（メタデータ） (2023-07-20T14:56:35Z)
• Position: AI Evaluation Should Learn from How We Test Humans [65.36614996495983]
  人間の評価のための20世紀起源の理論である心理測定は、今日のAI評価における課題に対する強力な解決策になり得る、と我々は主張する。
  論文  参考訳（メタデータ） (2023-06-18T09:54:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。