論文の概要: Evaluating Multiple LLM Generations with Validated Task Coverage

• arxiv url: http://arxiv.org/abs/2608.24228v1
• Date: Tue, 25 Aug 2026 08:32:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-26 14:09:34.871275
• Title: Evaluating Multiple LLM Generations with Validated Task Coverage
• Title（参考訳）: タスクカバレッジ検証による複数LCM生成の評価
• Abstract要約: 有限候補集合の評価のための5領域ベンチマークであるVTC-Benchを紹介する。 VTCは、$k$の試行で何つの異なる有用な結果が得られるかを測定する。 複数のモデルと推論設定にまたがって、ベンチマークは従来の評価とは異なる結論をもたらす。
• 参考スコア（独自算出の注目度）: 12.15293959091918
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Many LLM applications are most useful when they provide several candidate outputs for comparison, validation, or combination. Predominant evaluation settings, however, still focus on individual outputs or reduce multiple samples to a single success or selected answer. This can miss whether the outputs include several genuinely different useful results. We introduce VTC-Bench, a five-domain benchmark for this setting, together with Validated Task Coverage (VTC) as its core evaluation quantity. The benchmark is built from carefully selected real-data tasks where both output quality and task-relevant distinctness can be checked automatically and reproducibly, without model-based judges. VTC measures how many distinct useful results are obtained within $k$ attempts. Across multiple models and inference settings, the benchmark leads to different conclusions from conventional evaluation: configurations that look strongest from single-draw quality are not necessarily those with the best coverage, and simple measures of output variation do not reliably recover task-relevant coverage. These results show that finite candidate sets can be evaluated directly as objects of interest, revealing differences in model behavior that are not apparent from conventional per-output evaluation.
• Abstract（参考訳）: 多くのLLMアプリケーションは、比較、検証、組み合わせのためのいくつかの候補出力を提供するときに最も有用である。 しかし、優れた評価設定は、個々のアウトプットに焦点を当てたり、複数のサンプルを単一の成功または選択された回答に削減します。 これは、出力が真に異なるいくつかの有用な結果を含むかどうかを見逃す可能性がある。 この設定のための5ドメインベンチマークであるVTC-Benchと、そのコア評価量としてVTC(Validated Task Coverage)を紹介する。 このベンチマークは、モデルに基づく判断なしに、出力品質とタスク関連性の両方を自動かつ再現的にチェックできる、慎重に選択された実データタスクから構築される。 VTCは、$k$の試行で何つの異なる有用な結果が得られるかを測定する。 複数のモデルと推論設定にまたがって、ベンチマークは従来の評価と異なる結論をもたらす: 単一描画品質で最強に見える設定は必ずしも最高のカバレッジを持つものではないし、単純な出力変動測定はタスク関連カバレッジを確実に回復しない。 これらの結果は、有限候補集合を直接対象として評価できることを示し、従来の出力単位の評価から明らかでないモデル挙動の違いを明らかにした。

関連論文リスト

• Task-CoEvolve: Efficient Harness Optimization via Adaptive Validation Task Selection [51.39973047614183]
  本稿では,適応型検証タスク選択によるLLMの効率向上のための新しい手法を提案する。 $textbfTask-CoEvolve$.textbfTask-CoEvolve$.textbfTask-CoEvolve$.textbfTaskは、情報的タスクの選択と、部分的な評価からフルセットのパフォーマンスの推定という2つの課題に対処することで、ハーネスでバリデーションタスクを共進化させる。
  論文  参考訳（メタデータ） (2026-08-20T15:24:54Z)
• Training-free LLM Verification via Recycling Few-shot Examples [11.796208194946141]
  ReFeriはベイズのルールから動機付けられた2つの異なるスコアを組み合わせて生成した出力を評価し、その後候補を選択する。 3つの異なるLLMと7つの多様なタスクによる実験により、我々のフレームワークはLLMの精度を大幅に向上することを示した。
  論文  参考訳（メタデータ） (2025-06-08T10:02:07Z)
• Efficient Evaluation of Large Language Models via Collaborative Filtering [25.734508624520164]
  大規模言語モデル(LLM)は、異なるLLMの能力を測定し比較するために提案されている。 LLMの評価は、多数のテストインスタンスと遅い推論速度のためにコストがかかる。 与えられたベンチマーク上でモデルの実性能を効率的に推定する2段階手法を提案する。
  論文  参考訳（メタデータ） (2025-04-05T07:46:30Z)
• Add-One-In: Incremental Sample Selection for Large Language Models via a Choice-Based Greedy Paradigm [50.492124556982674]
  本稿では,新しい選択型サンプル選択フレームワークを提案する。 個々のサンプル品質の評価から、異なるサンプルのコントリビューション値の比較へと焦点をシフトする。 われわれのアプローチをより大きな医療データセットで検証し、現実の応用における実用性を強調した。
  論文  参考訳（メタデータ） (2025-03-04T07:32:41Z)
• Beyond the Singular: The Essential Role of Multiple Generations in Effective Benchmark Evaluation and Analysis [10.133537818749291]
  大規模言語モデル(LLM)は、現実世界のアプリケーションにおいて重要なユーティリティを実証している。 LLMの能力を評価するにはベンチマーク評価が不可欠である。
  論文  参考訳（メタデータ） (2025-02-13T03:43:33Z)
• SureMap: Simultaneous Mean Estimation for Single-Task and Multi-Task Disaggregated Evaluation [75.56845750400116]
  分散評価(disaggregated evaluation) -- 異なるサブポピュレーション上での機械学習モデルのパフォーマンスの推定 - は、AIシステムのパフォーマンスとグループフェアネスを評価する上で、中核的なタスクである。 ブラックボックスモデルの評価において,マルチタスクとシングルタスクの双方に対して高い推定精度を持つSureMapを開発した。 提案手法は, ウェル・チョーゼンを用いた最大後部推定と, スタインの非バイアスリスク推定(SURE)によるクロスバリデーションフリーチューニングを併用する。
  論文  参考訳（メタデータ） (2024-11-14T17:53:35Z)
• Active Evaluation Acquisition for Efficient LLM Benchmarking [18.85604491151409]
  学習ポリシを用いて,各ベンチマークからサンプルのサブセットを選択することにより,評価効率を向上させる戦略を検討する。 提案手法は,テスト例間の依存関係をモデル化し,残りの例に対する評価結果の正確な予測を可能にする。 実験の結果,提案手法は必要な評価プロンプトの数を大幅に削減することが示された。
  論文  参考訳（メタデータ） (2024-10-08T12:08:46Z)
• AIME: AI System Optimization via Multiple LLM Evaluators [79.03422337674664]
  AIME は複数の LLM を利用した評価プロトコルであり、それぞれが独立した基準で評価を生成し、結合を通してそれらを結合する。 コード生成タスクにおける AIME のベースラインメソッドのパフォーマンスは,LeetCodeHard と HumanEval データセットの単一 LLM 評価プロトコルよりも最大 62% 高いエラー検出率,最大 16% 高い成功率で向上している。
  論文  参考訳（メタデータ） (2024-10-04T04:03:24Z)
• On Speeding Up Language Model Evaluation [48.51924035873411]
  我々はこの空間を探索するために$textitadaptive$アプローチを提案する。 我々は、マルチアームの包帯に頼り、次の(メソッド、バリデーションサンプル)ペアを順次識別して評価する。 典型的資源の5～15%のみを用いて,トップパフォーマンスの手法を同定できることを示す。
  論文  参考訳（メタデータ） (2024-07-08T17:48:42Z)
• Benchmark Self-Evolving: A Multi-Agent Framework for Dynamic LLM Evaluation [51.99752147380505]
  本稿では,大規模言語モデル(LLM)を動的に評価するベンチマーク自己進化フレームワークを提案する。 マルチエージェントシステムを用いて、元のインスタンスのコンテキストや質問を操作し、信頼性の高い新しいインスタンスをフレーミングする。 我々のフレームワークは、異なるモデル間の性能の相違を拡大し、様々なタスクで同じモデル内で性能の相違を拡大します。
  論文  参考訳（メタデータ） (2024-02-18T03:40:06Z)
• Self-Evaluation Improves Selective Generation in Large Language Models [54.003992911447696]
  オープンエンド生成タスクをトークンレベルの予測タスクに再構成する。 我々はLSMに答えを自己評価するように指示する。 自己評価に基づくスコアリング手法をベンチマークする。
  論文  参考訳（メタデータ） (2023-12-14T19:09:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。