論文の概要: Learning What Evaluators Value: A Reliable Approach to Modeling Evaluator Preferences

• arxiv url: http://arxiv.org/abs/2605.16615v1
• Date: Fri, 15 May 2026 20:33:52 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-19 17:57:46.805022
• Title: Learning What Evaluators Value: A Reliable Approach to Modeling Evaluator Preferences
• Title（参考訳）: 評価値の学習:評価値のモデル化のための信頼性の高いアプローチ
• Authors: Madeline Celi Kitch, Nihar B. Shah,
• Abstract要約: モデルミスマッチに頑健な評価者の好みを学習するためのアルゴリズムを提案する。 合成シミュレーションと実世界のデータによるアルゴリズムの評価により、好みをしっかり学習する能力が確認された。
• 参考スコア（独自算出の注目度）: 9.742780055033675
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In many applications, human and LLM evaluators use assessments of relevant criteria to create an overall evaluation for an item or individual. For example, in admissions, committees assess candidates on attributes such as test scores, GPA, and research experience to evaluate their overall fit for the program. Another example arises in medical care where clinicians use patient reports of symptoms to consider preliminary diagnoses and assess risks. Each setting involves mapping multiple criteria to an overall evaluation -- a process that reflects the evaluator's underlying preferences. We focus on the fundamental question of learning these preferences. Many applications of this problem make specific modeling assumptions on evaluator preferences that may be substantially violated in the real world. We make the minimal assumption that the preference function is coordinate-wise non-decreasing, which is reasonable in a large number of evaluation settings. We theoretically characterize the severity of model mismatch for many common assumptions and show that it can lead to significant issues for learning evaluator preferences and other important downstream tasks. We then present an algorithm for learning evaluators' preferences that is robust to model mismatch. We prove theoretically that our algorithm can learn any preference function without sacrificing performance when the linearity assumption holds. Evaluations of our algorithm with synthetic simulations and real-world data confirm its ability to learn preferences robustly and illustrate key aspects of LLM and human preferences.
• Abstract（参考訳）: 多くの応用において、人間とLLM評価者は関連する基準の評価を使用して、アイテムまたは個人に対する全体的な評価を作成する。 例えば、入学試験において、委員会は試験スコア、GPA、研究経験などの属性の候補を評価し、プログラム全体の適合性を評価する。 もう一つの例は、臨床医が患者の症状の報告を使用して予備診断を検討し、リスクを評価する医療である。 各設定は、複数の基準を全体評価にマッピングする。 これらの嗜好を学習する上での根本的な問題に焦点をあてる。 この問題の多くの応用は、実世界において実質的に侵害される可能性がある評価器の選好に関する特定のモデリング仮定を作成する。 我々は、選好関数が座標的に非減少であるという最小限の仮定を、多数の評価設定において妥当であるとする。 我々は,モデルミスマッチの重大さを多くの共通前提に対して理論的に特徴付けるとともに,評価器の選好などの重要な下流課題を学習する上で重要な問題を引き起こす可能性があることを示す。 次に,モデルミスマッチに頑健な評価者の好みを学習するためのアルゴリズムを提案する。 線形性仮定が成り立つと性能を犠牲にすることなく,アルゴリズムが任意の選好関数を学習できることを理論的に証明する。 合成シミュレーションと実世界のデータによるアルゴリズムの評価により、好みをしっかり学習し、LLMと人間の嗜好の重要な側面を具現化する能力が確認された。

関連論文リスト

• SCAN: Structured Capability Assessment and Navigation for LLMs [54.54085382131134]
  textbfSCAN (Structured Capability Assessment and Navigation) は、大規模言語モデルの詳細な特徴付けを可能にする実用的なフレームワークである。 SCANには4つの重要なコンポーネントが含まれている。 TaxBuilder – クエリから機能表示タグを抽出して階層的な分類構造を構築する。 RealMixは、各機能タグに対する十分な評価データを保証するクエリ合成とフィルタリングのメカニズムである。 PC$2$ベースのLCM-as-a-Judge法は従来のLCM-as-a-Judge法と比較して大幅に精度が向上する
  論文  参考訳（メタデータ） (2025-05-10T16:52:40Z)
• A Probabilistic Perspective on Unlearning and Alignment for Large Language Models [48.96686419141881]
  大規模言語モデル(LLM)のための最初の形式的確率的評価フレームワークを紹介する。 すなわち,モデルの出力分布に関する確率保証の高い新しい指標を提案する。 私たちのメトリクスはアプリケーションに依存しないので、デプロイ前にモデル機能についてより信頼性の高い見積を行うことができます。
  論文  参考訳（メタデータ） (2024-10-04T15:44:23Z)
• FLASK: Fine-grained Language Model Evaluation based on Alignment Skill Sets [69.91340332545094]
  FLASKは、人間に基づく評価とモデルに基づく評価の両方のためのきめ細かい評価プロトコルである。 モデル性能の全体像を得るためには,評価の微粒化が重要であることを実験的に観察する。
  論文  参考訳（メタデータ） (2023-07-20T14:56:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。