論文の概要: DS@GT ARC at LongEval: Citation Integrity and Factual Grounding in Scientific QA

• arxiv url: http://arxiv.org/abs/2607.14400v1
• Date: Wed, 15 Jul 2026 22:35:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-17 17:01:32.923996
• Title: DS@GT ARC at LongEval: Citation Integrity and Factual Grounding in Scientific QA
• Title（参考訳）: DS@GT ARC at LongEval: Citation Integrity and Factual Grounding in Scientific QA
• Abstract要約: RAG QAシステムに適用した従来の自然言語評価指標と引用整合性の相違について検討する。 ベースラインおよびフロンティアモデルベンチマークRAG QAスコアに対して,CRAG(Corrective RAG)とCiteFixを用いた補正パイプラインの評価を行った。 信頼性の高いRAG QAの評価には厳格な回答の根拠を与える指標が必要であると提案する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This paper describes DS@GT ARC's submission to the CLEF 2026 LongEval Task 4 on Retrieval-Augmented Generation (RAG). In this submission, we examine a divergence between traditional natural language evaluation metrics and citation integrity as applied to RAG QA systems. We evaluate a corrective pipeline using Corrective RAG (CRAG) and CiteFix against baseline and frontier model benchmark RAG QA scores. While frontier models maximized answer relevance and fluency scores, our RAGAs LLM-as-judge diagnostics indicate that frontier models would correctly identify relevant documents without using their context in answer generation. Conversely, by filtering chunks pre-generation and enforcing strict entailment of generated claims to the cited material post-generation, our corrective pipeline marginally improved citation faithfulness and answer grounding. We propose that evaluation of trustworthy RAG QA requires metrics that reward strict answer grounding.
• Abstract（参考訳）: 本稿では,DS@GT ARC による CLEF 2026 LongEval Task 4 on Retrieval-Augmented Generation (RAG) の提出について述べる。 本稿では,従来の自然言語評価指標と,RAG QAシステムに適用された引用整合性との相違について検討する。 ベースラインおよびフロンティアモデルベンチマークRAG QAスコアに対して,CRAG(Corrective RAG)とCiteFixを用いた補正パイプラインの評価を行った。 また,フロンティアモデルでは,回答の関連性や頻度のスコアが最大化されているが,RAGAのLLM-as-judge診断では,フロンティアモデルが回答生成の文脈を使わずに関連文書を正しく識別できることが示唆された。 逆に,チャンクの事前生成をフィルタリングし,引用した素材に対する厳密なクレームを強制することにより,我々の補正パイプラインは引用の忠実さと答えの接点を極端に改善した。 信頼性の高いRAG QAの評価には厳格な回答の根拠を与える指標が必要であると提案する。

関連論文リスト

• Towards Query-Agnostic RAG Evaluation via Query Coverage and Claim Verifiability [29.6470498810458]
  本稿では,Q-CAREを提案する。Q-CAREはクエリに依存しない,完全な参照のないフレームワークで,詳細な評価を行う。 Q-CAREはクエリをサブクエリに分解し、回答をアトミックなクレームに分解する。 人間の注釈付きベンチマークでは、Q-CAREは既存の4つのRAG評価指標よりも、人間の判断と高い相関を達成している。
  論文  参考訳（メタデータ） (2026-07-31T09:21:43Z)
• MIRAGE: Defending Long-Form RAG Against Misinformation Pollution [87.40537931342082]
  我々は、長期RAGのためのトレーニング不要でモデルに依存しない防御システムであるMIRAGEを紹介した。 MIRAGEはNLIベースのクロスドキュメントクレームグラフを構築し、一貫性のあるマルチソースサポートサブセットの条件生成や、検索とパラメトリック応答のブロックにDefended-Claims Gateを適用している。
  論文  参考訳（メタデータ） (2026-07-06T13:36:12Z)
• Citation-Closure Retrieval and Per-Rule Attribution for Real-World Regulatory Compliance Question Answering [54.97384993676565]
  複雑な国内R&D規制から派生した運用知識グラフを特徴とする,新たなベンチマークであるRegOps-Benchを用いて,レギュレーションコンプライアンスQAを形式化する。 RefWalkはクロスドキュメントの引用を横切り、マックスベースのアグリゲーションを通じてマルチビュー候補を融合させ、ソースへのクレームを明示的にマッピングするためにルールごとの属性を強制する。
  論文  参考訳（メタデータ） (2026-05-28T10:38:38Z)
• ReAG: Reasoning-Augmented Generation for Knowledge-based Visual Question Answering [54.72902502486611]
  ReAG(Reasoning-Augmented Multimodal RAG)は、粗い部分ときめ細かい部分の検索と、無関係な通路をフィルタリングする批評家モデルを組み合わせた手法である。 ReAGは従来の手法よりも優れており、解答精度が向上し、検索された証拠に根ざした解釈可能な推論を提供する。
  論文  参考訳（メタデータ） (2025-11-27T19:01:02Z)
• Response Quality Assessment for Retrieval-Augmented Generation via Conditional Conformal Factuality [6.970520292379132]
  Conformal-RAGは、大規模言語モデル(LLM)における共形予測(CP)の最近の応用に触発された新しいフレームワークである。 精巧なサブステートの品質を統計的に保証し、真理の答えを必要とせずに応答信頼性を確保する。
  論文  参考訳（メタデータ） (2025-06-26T03:52:56Z)
• Retrieval is Not Enough: Enhancing RAG Reasoning through Test-Time Critique and Optimization [58.390885294401066]
  Retrieval-augmented Generation (RAG) は知識基底型大規模言語モデル(LLM)を実現するためのパラダイムとして広く採用されている。 RAGパイプラインは、モデル推論が得られた証拠と整合性を維持するのに失敗することが多く、事実上の矛盾や否定的な結論につながる。 批判駆動アライメント(CDA)に基づく新しい反復的枠組みであるAlignRAGを提案する。 AlignRAG-autoは、動的に洗練を終了し、批判的な反復回数を事前に指定する必要がなくなる自律的な変種である。
  論文  参考訳（メタデータ） (2025-04-21T04:56:47Z)
• Unanswerability Evaluation for Retrieval Augmented Generation [74.3022365715597]
  UAEval4RAGは、RAGシステムが解答不能なクエリを効果的に処理できるかどうかを評価するために設計されたフレームワークである。 我々は、6つの未解決カテゴリを持つ分類を定義し、UAEval4RAGは、多様で挑戦的なクエリを自動的に合成する。
  論文  参考訳（メタデータ） (2024-12-16T19:11:55Z)
• RuleRAG: Rule-Guided Retrieval-Augmented Generation with Language Models for Question Answering [18.59602224175808]
  ルール誘導型検索拡張生成方式(RuleRAG-ICL)を提案する。 RuleQAの実験では、Recall@10では+89.2%の検索品質が向上し、Exact Matchでは+103.1%の回答精度が向上した。 さらに、既存のRAGデータセット4つの実験では、ルールQAのルールを提供することで、ルールRAGが有効であることを示している。
  論文  参考訳（メタデータ） (2024-10-15T14:51:45Z)
• Contrastive Learning to Improve Retrieval for Real-world Fact Checking [84.57583869042791]
  ファクト・チェッキング・リランカ(Contrastive Fact-Checking Reranker, CFR)を提案する。 我々はAVeriTeCデータセットを活用し、証拠文書からの人間による回答とクレームのサブクエストを注釈付けする。 データセットの精度は6%向上した。
  論文  参考訳（メタデータ） (2024-10-07T00:09:50Z)
• RAGEval: Scenario Specific RAG Evaluation Dataset Generation Framework [66.93260816493553]
  本稿では,様々なシナリオにまたがってRAGシステムを評価するためのフレームワークであるRAGvalを紹介する。 事実の正確性に焦点をあてて,完全性,幻覚,不適切性の3つの新しい指標を提案する。 実験結果から, RAGEvalは, 生成した試料の明瞭度, 安全性, 適合性, 豊かさにおいて, ゼロショット法とワンショット法より優れていた。
  論文  参考訳（メタデータ） (2024-08-02T13:35:11Z)
• Ground Every Sentence: Improving Retrieval-Augmented LLMs with Interleaved Reference-Claim Generation [51.8188846284153]
  分散テキスト生成(ATG)は,RAGシステムにおける信頼性と妥当性を高めるために提案される。 本稿では,参照と回答を段階的に交互に生成する詳細なATG手法であるReClaimを提案する。 広範囲な実験により,ReClaimの有効性が検証され,90%の引用精度が得られた。
  論文  参考訳（メタデータ） (2024-07-01T20:47:47Z)
• Model Internals-based Answer Attribution for Trustworthy Retrieval-Augmented Generation [8.975024781390077]
  MIRAGE --Model Internals-based RAG Explanations -- このモデル内部を用いたプラグアンドプレイアプローチは、質問応答アプリケーションにおける忠実な回答属性である。 提案手法を多言語QAデータセット上で評価し,人間の回答属性と高い一致性を見いだした。
  論文  参考訳（メタデータ） (2024-06-19T16:10:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。