Fugu-MT 論文翻訳(概要): Ask, Don't Judge: Binary Questions for Interpretable LLM Evaluation and Self-Improvement

論文の概要: Ask, Don't Judge: Binary Questions for Interpretable LLM Evaluation and Self-Improvement

arxiv url: http://arxiv.org/abs/2606.27226v1
Date: Thu, 25 Jun 2026 16:14:50 GMT
ステータス: 翻訳完了
システム内更新日: 2026-06-26 18:46:32.35317
Title: Ask, Don't Judge: Binary Questions for Interpretable LLM Evaluation and Self-Improvement
Title（参考訳）: Ask, Don't judge: Binary Questions for Interpretable LLM Evaluation and Self-Improvement
Abstract要約: BINEVALは評価基準を原子二分問題に分解するフレームワークである。タスクプロンプトが与えられたとき、メタプロンプトはきめ細かい評価質問を生成する。 LLMはそれぞれの出力に対して独立して答え、透過的な質問レベルのフィードバックをもたらす。
参考スコア（独自算出の注目度）: 13.774572921429217
License: http://creativecommons.org/licenses/by-nc-nd/4.0/
Abstract: Evaluating LLM outputs remains a major bottleneck in NLP: human evaluation is expensive and slow, lexical metrics correlate poorly with human judgments on open-ended generation, and holistic LLM judges often produce opaque scores that are hard to debug. We propose BINEVAL, a framework that decomposes evaluation criteria into atomic binary questions and aggregates the resulting verdicts into interpretable, multi-dimensional scores. Given a task prompt, a meta-prompt generates fine-grained evaluation questions, and an LLM answers them independently for each output, yielding transparent question-level feedback together with calibrated overall scores. This decomposition makes evaluation easier to inspect, easier to diagnose, and directly usable for prompt improvement. Across SummEval, Topical-Chat, and QAGS, BINEVAL matches or outperforms strong baselines including UniEval and G-Eval, with especially strong results on factual consistency benchmarks such as QAGS. Beyond competitive correlation with human judgments, BINEVAL better matches human score distributions and avoids the ceiling effects common in prior LLM judges, leading to better discrimination between borderline and clearly flawed outputs. We further show that the same question-level feedback supports iterative prompt optimization, improving evaluator prompts on summarization and generation prompts on IFBench under both self-update and cross-model update settings. Overall, BINEVAL provides a task-agnostic, training-free, and interpretable evaluation framework that combines strong empirical performance with practical diagnostic and optimization value.
Abstract（参考訳）: 人間の評価は高価で遅いし、語彙のメトリクスはオープンエンドジェネレーションに関する人間の判断と相関が低く、総論的なLCM審査員は、デバッグが難しい不透明なスコアを生成することが多い。評価基準を原子二分問題に分解し,検証結果を解釈可能な多次元スコアに集約するフレームワークであるBINEVALを提案する。タスクプロンプトが与えられた場合、メタプロンプトはきめ細かい評価質問を生成し、LLMは各出力に対して独立して回答し、透明な質問レベルのフィードバックと、校正された全体スコアを生成する。この分解により、評価を検査しやすく、診断しやすく、即時改善のために直接使用することができる。 SummEval、Topical-Chat、QAGS全体では、BINEVALはUniEvalやG-Evalといった強力なベースラインにマッチし、特にQAGSのような事実整合性ベンチマークにおいて強い結果をもたらす。 BINEVALは人間の判断と競合する相関性を超えて、人間のスコアの分布とよく一致し、以前のLLM審査員に共通する天井効果を回避し、境界線と明らかに欠陥のあるアウトプットのより良い識別に繋がる。さらに、同じ質問レベルのフィードバックが反復的なプロンプト最適化をサポートし、自己更新とクロスモデル更新の両方の条件下でIFBench上での要約と生成のプロンプトを改善していることを示す。全体として、BINEVALは、強力な経験的パフォーマンスと実用的な診断と最適化の値を組み合わせた、タスクに依存しない、トレーニング不要で、解釈可能な評価フレームワークを提供する。

関連論文リスト

(Towards) Scalable Reliable Automated Evaluation with Large Language Models [0.0]
本研究は,Large Language Models (LLMs) 出力のエキスパートレベルの評価を近似するために設計された,新しい評価フレームワークを紹介する。 Eloレーティングシステムは、安定かつ解釈可能なランキングを生成するために使用される。予備的な結果は、自動的に導出されるランキングが専門家の判断とよく相関していることを示している。
論文参考訳（メタデータ） (2026-07-30T14:31:07Z)
BERT-as-a-Judge: A Robust Alternative to Lexical Methods for Efficient Reference-Based LLM Evaluation [11.37493959290663]
本稿では,参照型生成環境における回答の正当性を評価するためのエンコーダ駆動方式であるBERT-as-a-Judgeを紹介する。より大規模なLLM審査員のパフォーマンスに適合しながら,語彙ベースラインを一貫して上回ることを示す。
論文参考訳（メタデータ） (2026-04-10T17:08:40Z)
IF-RewardBench: Benchmarking Judge Models for Instruction-Following Evaluation [85.56193980646981]
命令追従のための総合的メタ評価ベンチマークであるIF-RewardBenchを提案する。各命令に対して、複数の応答間の全てのペアの選好を含む選好グラフを構築する。 IF-RewardBenchの実験は、現在の審査モデルに重大な欠陥を呈している。
論文参考訳（メタデータ） (2026-03-05T02:21:17Z)
MILE-RefHumEval: A Reference-Free, Multi-Independent LLM Framework for Human-Aligned Evaluation [1.3299507495084417]
MILE-RefHumEvalは,Large Language Models (LLM) を評価するための参照レスフレームワークである。これは、人間に沿ったスキーマによって導かれる独立に誘導される評価者のアンサンブルを活用し、離散的および連続的なスコアリング判定の両方をサポートする。
論文参考訳（メタデータ） (2026-02-10T10:10:41Z)
CompassVerifier: A Unified and Robust Verifier for LLMs Evaluation and Outcome Reward [50.97588334916863]
評価と結果報酬のための正確で堅牢な軽量検証モデルであるCompassVerifierを開発した。数学、知識、多種多様な推論タスクにまたがる多分野の能力を示し、様々な答えの型を処理する能力を示す。我々は,複数のデータソースから収集したモデル出力からなるVerifierBenchベンチマークを導入し,メタエラーパターンを手動で解析してCompassVerifierを強化する。
論文参考訳（メタデータ） (2025-08-05T17:55:24Z)
RAG-Zeval: Towards Robust and Interpretable Evaluation on RAG Responses through End-to-End Rule-Guided Reasoning [64.46921169261852]
RAG-Zevalは、ルール誘導推論タスクとして忠実さと正しさの評価を定式化する、新しいエンドツーエンドフレームワークである。提案手法は、強化学習による評価者を訓練し、コンパクトなモデルにより包括的および音質評価を生成する。実験では、RAG-Zevalの優れた性能を示し、人間の判断と最も強い相関性を達成した。
論文参考訳（メタデータ） (2025-05-28T14:55:33Z)
Reliable and Efficient Amortized Model-based Evaluation [57.6469531082784]
幅広いベンチマークの平均スコアは、実際に言語モデルを使用することをガイドするシグナルを提供する。コストを下げるための一般的な試みは、ベンチマークのサブセットの平均スコアを計算することである。このアプローチは、平均スコアがベンチマークサブセットの質問の難しさと合わさったため、信頼性の低いLM性能をしばしば引き起こす。我々は、その内容から質問難度を予測するモデルを訓練し、信頼性のある測定をコストのごく一部で行えるようにした。
論文参考訳（メタデータ） (2025-03-17T16:15:02Z)
Beyond the Singular: The Essential Role of Multiple Generations in Effective Benchmark Evaluation and Analysis [10.133537818749291]
大規模言語モデル(LLM)は、現実世界のアプリケーションにおいて重要なユーティリティを実証している。 LLMの能力を評価するにはベンチマーク評価が不可欠である。
論文参考訳（メタデータ） (2025-02-13T03:43:33Z)
EQUATOR: A Deterministic Framework for Evaluating LLM Reasoning with Open-Ended Questions. # v1.0.0-beta [2.1249213103048414]
本研究では,決定論的スコアと実測精度とロバストな推論評価に着目したEQUATOR評価器を提案する。ベクトルデータベースを使用して、EQUATORは人間の評価された回答とオープンエンドの質問をペアリングし、より正確でスケーラブルな評価を可能にする。この枠組みは,高精度な基準を維持しつつ,従来のマルチ選択評価を著しく上回っていることを示す。
論文参考訳（メタデータ） (2024-12-31T03:56:17Z)
DnA-Eval: Enhancing Large Language Model Evaluation through Decomposition and Aggregation [75.81096662788254]
大規模言語モデル(LLM)はスケーラブルで経済的な評価指標である。これらの評価者がどの程度信頼できるかという問題は、重要な研究課題として浮上している。本稿では,デコンプリートとアグリゲートを提案し,その評価プロセスを教育実践に基づいて異なる段階に分解する。
論文参考訳（メタデータ） (2024-05-24T08:12:30Z)
Evaluating Generative Language Models in Information Extraction as Subjective Question Correction [49.729908337372436]
本稿では,新しい評価手法SQC-Scoreを提案する。主観的質問訂正の原則に着想を得て,新しい評価手法SQC-Scoreを提案する。 3つの情報抽出タスクの結果から,SQC-Scoreは基準値よりもアノテータの方が好ましいことが示された。
論文参考訳（メタデータ） (2024-04-04T15:36:53Z)
Evaluate What You Can't Evaluate: Unassessable Quality for Generated Response [56.25966921370483]
大規模な言語モデルに基づく参照不要評価器の使用には課題がある。参照なし評価器は、異なるセマンティクス応答を持つオープンな例により適している。対話応答の質を評価するため, LLM に基づく推論不要評価器の使用にはリスクがある。
論文参考訳（メタデータ） (2023-05-24T02:52:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。