論文の概要: CoverSynth: Coverage-Guided Generation of Retrieval Evaluation Sets
- arxiv url: http://arxiv.org/abs/2610.15409v1
- Date: Sun, 11 Oct 2026 07:26:00 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-15 21:06:15.20876
- Title: CoverSynth: Coverage-Guided Generation of Retrieval Evaluation Sets
- Title（参考訳）: CoverSynth: 検索評価セットのカバレッジガイド生成
- Abstract要約: エンタープライズエージェントは、ドメイン固有の障害を公開し、開発者の効率的なデプロイメントトレードオフをガイドする検索評価セットが必要です。
専門家が認可したセットも、現在の合成生成方法も、必要な範囲、信頼性、効率、識別可能性を達成するための方法論を提供していない。
そこで我々は,これらの基準に対する評価セット評価フレームワークと,これらの基準を満たすように特別に設計されたジェネレータであるCover Synthを導入する。
- 参考スコア（独自算出の注目度）: 4.875207865068837
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Enterprise agents need retrieval evaluation sets that expose domain-specific failures and guide developers towards efficient deployment tradeoffs. Neither expert-human-authored sets nor current synthetic generation methods provide a methodology for achieving the necessary coverage, reliability, efficiency, and discriminability required for such decision-making. Simultaneously, the field does not have an assessment framework for determining when an evaluation set has satisfied these properties. We introduce an evaluation set assessment framework for these criteria and CoverSynth -- a generator specifically designed to satisfy these criteria without incurring the high cost of human expert labeling. Starting from an unannotated corpus, CoverSynth targets coverage across retrieval demands and system capabilities. Deterministic checks locate evidence quotes in their sources, while model-based checks assess semantic validity to guarantee reliable ground truth. Across five public enterprise-style corpora, our method provides informative variation in difficulty, revealing unseen failure modes such as an inability of agents to handle underspecified or ambiguous requests. On the RepLiQA corpus, 91\% of human-generated queries can be answered by all members on a panel of 12 retrieval systems, compared to only 12\% of CoverSynth-generated queries. Finally, in a repeated TechQA/RepLiQA study, 12 of 12 within-harness model contrasts have positive nominal 95\% intervals on generated sets, compared with 4 of 12 on human sets. CoverSynth makes coverage and evidence quality explicit construction objectives, producing corpus-grounded evaluations that reveal retrieval headroom and differences between agent configurations.
- Abstract（参考訳）: エンタープライズエージェントは、ドメイン固有の障害を公開し、開発者の効率的なデプロイメントトレードオフをガイドする検索評価セットが必要です。
専門家が認可したセットも、現在の合成生成手法も、そのような意思決定に必要な範囲、信頼性、効率、識別性を達成するための方法論を提供していない。
同時に、フィールドは評価セットがこれらの特性を満足するタイミングを決定するための評価フレームワークを持っていない。
そこで我々は,これらの基準に対する評価セット評価フレームワークと,これらの基準を満たすように特別に設計されたCoverSynthを紹介した。
注釈のないコーパスから始めると、CoverSynthは検索要求とシステム機能にわたるカバレッジをターゲットにしている。
決定論的チェックは、彼らの情報源にある証拠の引用を見つける一方で、モデルベースのチェックは、信頼できる土台真理を保証するために意味論的妥当性を評価する。
本手法は,5つの公共企業型コーパスにまたがって,不明瞭な要求や不明瞭な要求に対処するエージェントが存在しないような,目に見えない障害モードを明らかにする。
RepLiQAコーパスでは、CoverSynth生成クエリのわずか19%に対して、12の検索システムのパネル上のすべてのメンバによって、生成したクエリの91%が回答できる。
最後に、繰り返し行われたTechQA/RepLiQA研究では、12の内ハーネスモデルコントラストのうち12は、生成した集合に対して95\%の有意な名声間隔を持つ。
CoverSynthは,検索ヘッドルームとエージェント構成の差異を明らかにするコーパスグラウンド評価を行う。
関連論文リスト
- Are We Testing Too Much? A Survey of Benchmark Compression for Efficient Evaluation of Large Language Models [64.08197975922234]
多くの広く使用されているベンチマークは冗長であり、評価を必要以上に高価にする。ベンチマーク圧縮は、部分的な評価から完全なベンチマークスコアとランキングを推定することによって、このコストを下げる。
本稿では119の論文をレビューし,評価方法の選択方法,全ベンチマーク結果の回収方法,信頼性の検証方法について述べる。
我々は,ベンチマークスイート内,ベンチマークスイート内,適応評価中の圧縮をカバーした分類法を開発し,冗長性と信頼性について検討する。
論文 参考訳（メタデータ） (2026-10-13T12:15:07Z) - Inquesto Score: A reliability Protocol For Voice Agents [53.4810159595586]
Inquesto Score(IS)は、音声エージェントの信頼性を、固定バージョン評価集団における呼び出しの割合として測定するプロトコルである。
タイミングの失敗、セマンティック、および状態依存の失敗は、シナリオ述語、ツールトレース、ピン留めされたオープンモデル判定を用いて評価される。
Inquesto Score v0.1は、基準音声エージェントシステムの13構成に対して、30のシナリオ、3つの音響条件、4つの話者グループ、306の呼び出しを評価する。
論文 参考訳（メタデータ） (2026-09-24T20:07:53Z) - Metric Match: A Subset Selection Approach to Evaluating LLM Judge Reliability [28.15461581779256]
限定アノテーションからLLM判定器の相関に基づく信頼性指標を推定する手法を開発した。
Metric Matchは、サブセットが人口信頼度と一致するように、人間のアノテーションのためのサンプルのサブセットを選択する。
我々は,Metric Matchがランダムなサブセット選択に対して0.838の勝利率を達成することを実証的に示す。
論文 参考訳（メタデータ） (2026-06-12T23:54:16Z) - Refusal Evaluation in Coding LLMs and Code Agents: A Systematic Review of Thirteen Malicious-Code Prompt Corpora (2023-2025) [0.0]
既存の調査では、コードセキュリティ、ジェイルブレイク分類、または脆弱性検出を中心的な対象として扱い、パス時にのみこれらのコーパスに言及している。
本稿では,素早いデータセットを解析単位として扱う。
合成は3つの連続する方法論的ギャップを表面化する。
論文 参考訳（メタデータ） (2026-05-19T18:05:51Z) - Coverage, Not Averages: Semantic Stratification for Trustworthy Retrieval Evaluation [3.4588983513116065]
検索向上世代(RAG)における検索品質は精度とロバスト性の主要なボトルネックである
我々は,評価を統計的推定問題として定式化し,評価セットの構成によってメートル法信頼性が根本的に制限されていることを示す。
その結果,(1)検索のセマンティック・システマティクスにまたがる形式的カバレッジ保証,(2)検索の失敗モードへの解釈可能な可視性を実現した。
論文 参考訳（メタデータ） (2026-04-22T16:49:30Z) - DREAM: Deep Research Evaluation with Agentic Metrics [21.555357444628044]
本稿では,DREAM(Deep Research Evaluation with Agentic Metrics)を提案する。
DREAM構造評価は、クエリ非依存のメトリクスとツール呼び出しエージェントが生成する適応的なメトリクスを組み合わせた評価プロトコルを用いて行われる。
制御された評価は、DREAMが既存のベンチマークよりも事実や時間的劣化にかなり敏感であることを示している。
論文 参考訳（メタデータ） (2026-02-21T19:14:31Z) - Artificial Organisations [0.05343599014839717]
マルチエージェントAIシステムは、アーキテクチャ設計を通じて信頼性の高い結果を達成するための制度モデルに従うべきである。
文書合成のためのマルチエージェントシステムであるPerseverance Composition Engineを用いて,本手法を実証する。
474の構成課題(起草、検証、評価の離散サイクル)からの観察は、制度的仮説と整合したパターンを示す。
論文 参考訳（メタデータ） (2026-02-05T13:26:05Z) - DeepSynth-Eval: Objectively Evaluating Information Consolidation in Deep Survey Writing [53.85037373860246]
本稿では,情報統合能力を客観的に評価するためのベンチマークであるDeep Synth-Evalを紹介する。
一般チェックリスト(実例)と制約チェックリスト(構造体)を用いたきめ細かい評価プロトコルを提案する。
その結果,エージェント型プラン・アンド・ライトは単ターン生成よりも大幅に優れていた。
論文 参考訳（メタデータ） (2026-01-07T03:07:52Z) - PROXYQA: An Alternative Framework for Evaluating Long-Form Text Generation with Large Language Models [72.57329554067195]
ProxyQAは、長文生成を評価するための革新的なフレームワークである。
さまざまなドメインにまたがる詳細なヒューマンキュレートされたメタクエストで構成されており、それぞれに事前にアノテートされた回答を持つ特定のプロキシクエストが伴っている。
プロキシクエリに対処する際の評価器の精度を通じて、生成されたコンテンツの品質を評価する。
論文 参考訳（メタデータ） (2024-01-26T18:12:25Z) - Investigating Crowdsourcing Protocols for Evaluating the Factual
Consistency of Summaries [59.27273928454995]
要約に適用される現在の事前学習モデルは、ソーステキストを誤って表現したり、外部情報を導入したりする事実上の矛盾がちである。
評価ベースのLikertスケールとランキングベースのBest-Worst Scalingプロトコルを用いた,事実整合性のためのクラウドソーシング評価フレームワークを構築した。
ランキングベースのプロトコルは、データセット間の要約品質をより信頼性の高い尺度を提供するのに対して、Likertレーティングの信頼性はターゲットデータセットと評価設計に依存する。
論文 参考訳（メタデータ） (2021-09-19T19:05:00Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。