論文の概要: PADMÉ: Preference Alignment Data Synthesis for Meta-Evaluation of LM Agent Evaluators

• arxiv url: http://arxiv.org/abs/2609.36086v1
• Date: Mon, 28 Sep 2026 18:31:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-30 21:28:46.951896
• Title: PADMÉ: Preference Alignment Data Synthesis for Meta-Evaluation of LM Agent Evaluators
• Title（参考訳）: PADMÉ: LMエージェント評価器のメタ評価のための参照アライメントデータ合成
• Abstract要約: 本稿では,エージェント設定のための信頼性の高い基準に基づくメタ評価データを生成するデータ合成手法PADMを紹介する。 PADMのプロトタイプを作成し、4つのエージェントドメインと3つの評価基準にまたがる1,000のサンプルのデータセットを合成する。 150サンプルのサブセットに対するヒトの検証は、PADMが人間の判断との一致を73%から85%に改善することを示した。
• 参考スコア（独自算出の注目度）: 12.321236893570498
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Language models are frequently employed to evaluate other language models. An LM evaluator scoring agentic behaviors across multiple criteria is valuable, provided that its decisions align with human judgment. We call the problem of evaluating this alignment Meta-Evaluation. Tackling it directly is difficult: collecting human data is expensive, absolute scoring is hard to align, and using an LM meta-evaluator recurses the question of trustworthiness. We adopt a reformulation of meta-evaluation as a preference judgment problem: rather than comparing human and LM evaluator scores of a trajectory, we ask whether their implied preferences align. Building on this, we introduce PADMÉ, a data synthesis method that generates reliable criterion-based meta-evaluation data for agentic settings. PADMÉ uses only small language models, requires no human involvement during evaluations, and operates under a low computational budget. We build a prototype of PADMÉ and synthesize a dataset of 1,000 samples across four agentic domains and three evaluation criteria. Human validation on a 150-sample subset demonstrates that PADMÉ improves agreement with human judgment from 73% to 85% over a naive baseline. Meta-evaluating 25 common models with our dataset demonstrates the correlations between evaluation performance and scoring granularity, leniency, and model size, among other factors.
• Abstract（参考訳）: 言語モデルは、他の言語モデルを評価するために頻繁に使用される。 複数の基準でエージェント行動を評価するLM評価器は、その決定が人間の判断と一致していることを考えると、有用である。 我々はこのアライメントを評価することの問題をメタ評価と呼ぶ。 人間のデータの収集は高価であり、絶対的なスコア付けは調整が困難であり、LMメタ評価器の使用は信頼性の問題を再帰させる。 我々は,メタ評価の見直しを選好判断問題として採用する: 軌道の人間とLM評価器のスコアを比較するのではなく,それらの指示された選好が一致しているかどうかを問う。 これに基づいて,エージェント設定のための信頼性の高い基準に基づくメタ評価データを生成するデータ合成手法PADMÉを導入する。 PADMÉは小さな言語モデルのみを使用し、評価中に人間の関与を必要としない。 PADMÉのプロトタイプを作成し、4つのエージェントドメインと3つの評価基準にわたる1,000サンプルのデータセットを合成する。 150サンプルのサブセット上での人間の検証は、PADMÉが人間の判断との合意を73%から85%に改善することを示した。 評価結果と評価性能, 粒度, 習熟度, モデルサイズとの相関関係について検討した。

関連論文リスト

• Grounding Synthetic Data Evaluations of Language Models in Unsupervised Document Corpora [9.871701356351542]
  言語モデル(LM)は進化を続け、応答品質と一貫性を改善している。 モデル品質、応答適性、推論能力を評価するために、数多くの評価ベンチマークが作成されている。 本稿では,文書群を基盤としたファクトベース合成データモデル評価の自動化手法を提案する。
  論文  参考訳（メタデータ） (2025-05-13T18:50:03Z)
• SedarEval: Automated Evaluation using Self-Adaptive Rubrics [4.97150240417381]
  本稿では,自己適応型ルーブリックに基づく新しい評価パラダイムを提案する。 SedarEvalは、細心の注意を払って1,000の質問から成り、それぞれが独自の自己適応型ルーリックを持っている。 我々は、人間の学級に取って代わるために、特殊評価器言語モデル(評価器LM)を訓練する。
  論文  参考訳（メタデータ） (2025-01-26T16:45:09Z)
• Aligning Model Evaluations with Human Preferences: Mitigating Token Count Bias in Language Model Assessments [2.1370543868467275]
  本稿では,大規模言語モデルと人的評価を協調させる手法について検討する。 我々はこのバイアスを定量化するためにベイズ統計とt検定を用い、GPTScorerを調整するための再校正手順を開発した。 以上の結果から,再校正したLCM評価器と,複数のユースケースにおけるヒト評価との整合性は有意に改善した。
  論文  参考訳（メタデータ） (2024-07-05T09:26:40Z)
• Learning Evaluation Models from Large Language Models for Sequence Generation [61.8421748792555]
  本稿では,大規模言語モデルを用いた3段階評価モデルトレーニング手法を提案する。 SummEval ベンチマークによる実験結果から,CSEM は人間ラベルデータなしで評価モデルを効果的に訓練できることが示された。
  論文  参考訳（メタデータ） (2023-08-08T16:41:16Z)
• Bring Your Own Data! Self-Supervised Evaluation for Large Language Models [52.15056231665816]
  大規模言語モデル(LLM)の自己教師型評価のためのフレームワークを提案する。 閉書知識,毒性,長期文脈依存性を測定するための自己指導型評価戦略を実証する。 自己監督評価と人監督評価との間には強い相関関係が認められた。
  論文  参考訳（メタデータ） (2023-06-23T17:59:09Z)
• Revisiting the Gold Standard: Grounding Summarization Evaluation with Robust Human Evaluation [136.16507050034755]
  要約のための既存の人間の評価研究は、アノテータ間の合意が低かったり、スケールが不十分だったりしている。 細粒度セマンティック・ユニットをベースとした改良された要約サリエンス・プロトコルであるAtomic Content Units (ACUs)を提案する。 ロバスト・サムライゼーション・アセスメント(RoSE)ベンチマークは,28の上位性能システム上で22,000の要約レベルのアノテーションからなる大規模な人的評価データセットである。
  論文  参考訳（メタデータ） (2022-12-15T17:26:05Z)
• Dynamic Human Evaluation for Relative Model Comparisons [8.843915018287476]
  本研究では,相対的な比較設定で生成した出力を評価する際に,人間のアノテーションの必要個数を動的に測定する手法を提案する。 シミュレーションとクラウドソーシングのケーススタディにおいて,より優れたモデルを決定するための複数のラベル付け戦略と手法を評価するために,人間評価のエージェントベースフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-12-15T11:32:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。