論文の概要: Coverage Under Contradiction: A Benchmark for Negation-Aware Retrieval

• arxiv url: http://arxiv.org/abs/2610.37162v1
• Date: Tue, 27 Oct 2026 12:54:48 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-28 21:04:31.627953
• Title: Coverage Under Contradiction: A Benchmark for Negation-Aware Retrieval
• Title（参考訳）: 反トラディション下のカバレッジ:否定認識検索のためのベンチマーク
• Abstract要約: 我々は、制御された矛盾を伴うナゲットベースのカバレッジベンチマークを増大させるプロセスを開発する。 各ナゲットに対して、否定する相手を作成し、その否定をサポートするためにサポートドキュメントを編集します。 CoverageBenchにこのプロセスを適用して、CoverageBench-Negateを作成し、6つのデータセットと約63,000のオリジナル編集されたエビデンスペアにまたがる。
• 参考スコア（独自算出の注目度）: 28.050741345094195
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Coverage-evaluation benchmarks quantify whether retrieved evidence covers the different pieces of information needed to satisfy an information need. Existing benchmarks mostly consider factual claims that may already be known to pretrained retrieval components, leaving open whether retrievers find corpus evidence when it contradicts those priors. We study how retrievers behave when their parametric knowledge and the information in a corpus disagree. To do so, we develop a process to augment a nugget-based coverage benchmark with controlled contradictions. For each nugget, we create a negated counterpart and edit its supporting documents to support that negation while preserving the context. Applying this process to CoverageBench, a benchmark measuring information coverage, we create CoverageBench-Negate, spanning six datasets and roughly 63,000 original-edited evidence pairs (one per nugget-document link). We attach rich construction metadata to every pair and additionally provide out-of-family LLM judgments over all pairs and a human audit of a sample. In baseline experiments, BM25 separates original from edited near-twin evidence substantially better than dense retrievers (Qwen3 and Jina), which stay near chance. We release the benchmark on Hugging Face Datasets (nuggets, documents, pairs) together with the construction materials, including the prompts used to create it.
• Abstract（参考訳）: カバレッジ評価ベンチマークは、検索された証拠が情報ニーズを満たすために必要な情報の異なる部分をカバーするかどうかを定量化する。 既存のベンチマークでは、既に事前訓練済みの検索コンポーネントで知られているかもしれない事実的主張を主に考慮しており、検索者がそれらの前例に矛盾するコーパスの証拠を見つけるかどうかを未確認のままにしている。 本研究では,レトリバーのパラメトリック知識とコーパス内の情報とが一致しない場合の行動について検討する。 そこで我々は,Nuggetベースのカバレッジベンチマークを,矛盾を制御して拡張する手法を開発した。 それぞれのナゲットに対して、無効化された相手を作成し、サポートドキュメントを編集し、コンテキストを保存しながら、その否定をサポートする。 このプロセスを情報カバレッジを測定するベンチマークである CoverageBench に適用して,CoverageBench-Negate を生成します。 各ペアにリッチな構成メタデータを付加し,全ペアに対して家族外のLCM判定とサンプルの人間監査を行う。 ベースライン実験では、BM25は、密度の高いレトリバー(Qwen3とJina)よりもかなり良い編集された近接双発の証拠からオリジナルを分離する。 私たちは、Hugging Face Datasets(ナゲット、ドキュメント、ペア)のベンチマークと、それを作成するためのプロンプトを含む、建設資材をリリースします。

関連論文リスト

• Parser, Chunking, and Embedding Interactions in Retrieval-Augmented Generation over Indian Government Regulatory Documents [0.42303492200814446]
  800の質問項目に対して評価した3s,3チャンキング戦略,5つの密埋モデルの因子分析を行った。 MPNet-baseは、テーブル由来の質問に対して深刻な障害モードを持つ一貫したアンダーパフォーマーである。 コーパスは98%以上のほぼ飽和したエビデンス保存天井を示しており、検索の違いは、摂取時の情報損失よりも、主にランキング品質によって引き起こされていることを示している。
  論文  参考訳（メタデータ） (2026-09-15T07:32:06Z)
• VisDocAgentBench: Benchmarking Agents for Visually Rich Document Retrieval [65.89247522243959]
  VisDocAgentBenchは、静的検索とエージェント検索を比較したクローズドコーパスベンチマークである。 100の文書から2,375ページ、120のユニークなターゲットクエリが直接、一橋、二橋のエビデンス構造でバランスを取っている。 強力な遅延対話型ビジュアルレトリバーは、直接アイテムで97.50%のRecall@1に達するが、2ブリッジアイテムでは2.50%に達し、関連性がコーパスコンテキストに依存する場合のクエリ-ターゲットマッチングの限界を明らかにする。
  論文  参考訳（メタデータ） (2026-08-18T15:23:06Z)
• E-MIA: Exam-Style Black-Box Membership Inference Attacks against RAG Systems [4.305347927600694]
  対象文書の検証可能なハードエビデンスを,客観的に段階的な4種類の質問タイプによる試験に変換するE-MIAを提案する。 E-MIAは、自然でステルスなクエリを保持しながら、厳密な設定でメンバ/非メンバ分離性を改善する。
  論文  参考訳（メタデータ） (2026-05-01T12:30:00Z)
• Multi-Sourced, Multi-Agent Evidence Retrieval for Fact-Checking [47.47518672198846]
  インターネット上に拡散する誤報は、社会と個人の両方に重大な脅威をもたらす。 これまでの方法は、トレーニングデータから学んだ意味的パターンと社会的コンテキスト的パターンに依存していた。 我々は、証拠のコアリソースとして認証されたオープンナレッジグラフを利用するWKGFCを提案する。
  論文  参考訳（メタデータ） (2026-02-27T19:29:01Z)
• Reconstructing Trust Embeddings from Siamese Trust Scores: A Direct-Sum Approach with Fixed-Point Semantics [0.0]
  本研究では,多くの分散セキュリティフレームワークが公開している1次元シームズ信頼スコアから高次元信頼埋め込みを再構築する逆問題について検討する。 合成ベンチマークのスイートは、ガウスノイズの存在下でも、回収された埋め込みはユークリッドとコサインの計測値によって測定されたデバイス間幾何学を保存することを確認している。 詳細な信頼スコアを公開することで、デバイスと評価モデルの両方に関する潜伏した行動情報が漏洩する可能性がある。
  論文  参考訳（メタデータ） (2025-08-02T20:19:22Z)
• Contrastive Learning to Improve Retrieval for Real-world Fact Checking [84.57583869042791]
  ファクト・チェッキング・リランカ(Contrastive Fact-Checking Reranker, CFR)を提案する。 我々はAVeriTeCデータセットを活用し、証拠文書からの人間による回答とクレームのサブクエストを注釈付けする。 データセットの精度は6%向上した。
  論文  参考訳（メタデータ） (2024-10-07T00:09:50Z)
• SparseCL: Sparse Contrastive Learning for Contradiction Retrieval [87.02936971689817]
  コントラディション検索(Contradiction Search)とは、クエリの内容に明示的に異を唱える文書を識別し、抽出することである。 類似性探索やクロスエンコーダモデルといった既存の手法には、大きな制限がある。 文間の微妙で矛盾したニュアンスを保存するために特別に訓練された文埋め込みを利用するSparseCLを導入する。
  論文  参考訳（メタデータ） (2024-06-15T21:57:03Z)
• Fact Checking Beyond Training Set [64.88575826304024]
  本稿では,レトリバーリーダが,あるドメインのラベル付きデータに基づいてトレーニングし,別のドメインで使用する場合,性能劣化に悩まされることを示す。 本稿では,レトリバー成分を分散シフトに対して頑健にするための逆アルゴリズムを提案する。 次に、これらのデータセットから8つの事実チェックシナリオを構築し、モデルと強力なベースラインモデルのセットを比較します。
  論文  参考訳（メタデータ） (2024-03-27T15:15:14Z)
• AmbiFC: Fact-Checking Ambiguous Claims with Evidence [57.7091560922174]
  実世界の情報ニーズから10kクレームを抽出したファクトチェックデータセットであるAmbiFCを提示する。 アンビFCの証拠に対する主張を比較する際に,曖昧さから生じる不一致を分析した。 我々は,このあいまいさをソフトラベルで予測するモデルを開発した。
  論文  参考訳（メタデータ） (2021-04-01T17:40:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。