論文の概要: Faithfulness-QA: A Counterfactual Entity Substitution Dataset for Training Context-Faithful RAG Models

• arxiv url: http://arxiv.org/abs/2604.25313v2
• Date: Wed, 29 Apr 2026 17:00:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-30 13:51:54.146661
• Title: Faithfulness-QA: A Counterfactual Entity Substitution Dataset for Training Context-Faithful RAG Models
• Title（参考訳）: Faithfulness-QA: コンテキスト指向RAGモデルのトレーニングのための対実エンティティ置換データセット
• Authors: Li Ju, Junzhe Wang, Qi Zhang,
• Abstract要約: Retrieval-Augmented Generationモデルは、検索されたコンテキストではなく、パラメトリックメモリにグラウンドされた回答を生成する。 本稿では,99,094サンプルの大規模データセットであるFithfulness-QAについて紹介する。
• 参考スコア（独自算出の注目度）: 13.478990954968316
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Retrieval-Augmented Generation (RAG) models frequently produce answers grounded in parametric memory rather than the retrieved context, undermining the core promise of retrieval augmentation. A fundamental obstacle to fixing this unfaithfulness is the lack of training data that explicitly requires models to prefer context over internal knowledge. We introduce Faithfulness-QA, a large-scale dataset of 99,094 samples constructed through counterfactual entity substitution. Starting from two established extractive QA benchmarks--SQuAD and TriviaQA--we automatically identify answer-bearing named entities in each context, replace them with type-consistent alternatives drawn from a curated bank of 76,953 entities, and thereby manufacture controlled knowledge conflicts between context and parametric memory. Rigorous quality filtering ensures 100% pass rates across four automated checks on random 200-sample audits. We release the full dataset, the construction pipeline, and a typed entity bank covering eight named entity categories. Faithfulness-QA is designed as a training resource for attention-based faithfulness objectives and as an evaluation benchmark for measuring context-grounding behavior in RAG systems. Data and code are available at https://github.com/qzhangFDU/faithfulness-qa-dataset.
• Abstract（参考訳）: Retrieval-Augmented Generation (RAG)モデルは、検索されたコンテキストではなく、パラメトリックメモリに基礎を置く回答を頻繁に生成し、検索強化のコア約束を損なう。 この不誠実さを修正するための根本的な障害は、内部知識よりもコンテキストを好むモデルを必要とするトレーニングデータの欠如である。 本稿では,99,094サンプルの大規模データセットであるFithfulness-QAについて紹介する。 SQuADとTriviaQAという2つの確立されたQAベンチマークから始めると、各コンテキストにおける応答を持つ名前付きエンティティを自動的に識別し、76,953個のキュレートされたバンクから引き出された型一貫性の代替品に置き換え、コンテキストとパラメトリックメモリ間の制御された知識衝突を発生させる。 厳格な品質フィルタリングにより、ランダムな200サンプル監査の4つの自動チェックで100%パスレートが保証される。 完全なデータセット、構築パイプライン、および8つの名前付きエンティティカテゴリをカバーする型付きエンティティバンクをリリースします。 Faithfulness-QAは、注意に基づく忠実度目標のためのトレーニングリソースとして設計され、RAGシステムにおけるコンテキストグラウンド動作を測定するための評価ベンチマークとして設計されている。 データとコードはhttps://github.com/qzhangFDU/faithfulness-qa-dataset.comで入手できる。

関連論文リスト

• VeriSciQA: An Auto-Verified Dataset for Scientific Visual Question Answering [53.662676566188175]
  重要なボトルネックは、パブリックで大規模で高品質なビジュアル質問回答(SVQA)データセットの欠如にある。 本稿では、まず、図形関連テクストコンテキストとQAペアを生成する検証中心のGenerate-then-Verifyフレームワークを提案する。 このフレームワークをインスタンス化し、20の科学的ドメインと12のフィギュアタイプからなる20,351のQAペアのデータセットであるVeriSciQAをキュレートします。
  論文  参考訳（メタデータ） (2025-11-25T04:14:52Z)
• Dynamic-KGQA: A Scalable Framework for Generating Adaptive Question Answering Datasets [9.785129730843435]
  知識グラフから適応的なQAデータセットを生成するスケーラブルなフレームワークであるDynamic-KGQAを紹介する。 固定ベンチマークとは異なり、Dynamic-KGQAは、基盤となるディストリビューションを保持しながら、実行毎に新しいデータセットバリアントを生成する。 Dynamic-KGQAは、KGQAモデルのトレーニングと評価を容易にするコンパクトでセマンティックなコヒーレントなサブグラフを生成する。
  論文  参考訳（メタデータ） (2025-03-06T23:58:01Z)
• Zero-shot Fact Verification by Claim Generation [85.27523983027471]
  我々は,堅牢な事実検証モデルをトレーニングするフレームワークであるQACGを開発した。 われわれは自動的に生成されたクレームを使って、Wikipediaのエビデンスからサポートしたり、反論したり、検証したりできる。 ゼロショットシナリオでは、QACGはRoBERTaモデルのF1を50%から77%に改善し、パフォーマンスは2K以上の手作業による例に相当する。
  論文  参考訳（メタデータ） (2021-05-31T03:13:52Z)
• Generating Diverse and Consistent QA pairs from Contexts with Information-Maximizing Hierarchical Conditional VAEs [62.71505254770827]
  非構造化テキストを文脈として与えられたQAペアを生成するための条件付き変分オートエンコーダ(HCVAE)を提案する。 我々のモデルは、トレーニングにわずかなデータしか使わず、両方のタスクの全てのベースラインに対して印象的なパフォーマンス向上が得られる。
  論文  参考訳（メタデータ） (2020-05-28T08:26:06Z)
• Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks [133.93803565077337]
  検索強化生成モデルは、事前訓練されたパラメトリックメモリと非パラメトリックメモリを組み合わせて言語生成を行う。 我々は、RAGモデルが、最先端パラメトリックのみのセク2セックベースラインよりも、より具体的で、多様で、現実的な言語を生成することを示す。
  論文  参考訳（メタデータ） (2020-05-22T21:34:34Z)
• Template-Based Question Generation from Retrieved Sentences for Improved Unsupervised Question Answering [98.48363619128108]
  擬似学習データを用いてQAモデルを訓練するための教師なしアプローチを提案する。 関連した検索文に簡単なテンプレートを適用してQA学習のための質問を生成すると、元の文脈文よりも、下流QAのパフォーマンスが向上することを示す。
  論文  参考訳（メタデータ） (2020-04-24T17:57:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。