論文の概要: Semantically Similar, Logically Distinct: Diagnosing the Semantic-Answerability Gap in Table RAG
- arxiv url: http://arxiv.org/abs/2607.17742v1
- Date: Mon, 20 Jul 2026 09:36:10 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-21 18:48:37.575713
- Title: Semantically Similar, Logically Distinct: Diagnosing the Semantic-Answerability Gap in Table RAG
- Title(参考訳): 意味的類似・論理的同一性:テーブルRAGにおける意味-解答ギャップの診断
- Abstract要約: 検索されたテーブルは、問い合わせに答える十分な証拠がないかもしれない。
本稿では,RAGにおけるテーブルコンテンツレベルのアンサーバビリティの診断ベンチマークであるTCR-Benchを紹介する。
TCR-Benchでは, 連続解答ギャップが持続的に現れる。
我々は,AAR(Answerability-Aware Re rank)と呼ばれる軽量な2段階パイプラインが,直接クエリテーブル応答性判定を適用すれば,性能を回復できるかどうかを検証した。
- 参考スコア(独自算出の注目度): 19.520645305356066
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Tables are a critical knowledge source in retrieval-augmented generation (RAG), but a retrieved table may lack sufficient evidence to answer a query, a property we call answerability. While answerability broadly concerns whether a source or collection of sources contains sufficient evidence, retrieval models optimized for semantic relevance do not guarantee it even in the single-source case, creating a fundamental mismatch. To study this, we introduce TCR-Bench, a diagnostic benchmark for Table Content-level Answerability in RAG, built around sibling tables, i.e., tables with highly similar schemas but subtle content differences. On TCR-Bench, the dense retrievers we evaluate persistently exhibit a Semantic-Answerability Gap: they often retrieve the correct sibling group yet struggle to pinpoint the uniquely answerable table within it, dropping QA performance from 0.755 (oracle) to 0.330 (top-5 retrieved). Our analysis suggests this gap is associated with semantic accumulation, schema-level cue dependence, and weak row-column binding. As a diagnostic probe into the source of this gap, we test whether a lightweight two-stage pipeline, Answerability-Aware Reranking (AAR), applying direct query-table answerability judgment, can recover performance: it raises top-1 target retrieval from 18.2% to 57.4%, and this large gain is itself evidence that much of the observed failure reflects a missing answerability verification step, rather than an inherent limitation of model capacity alone.
- Abstract(参考訳): テーブルは、検索強化世代(RAG)において重要な知識源であるが、検索されたテーブルは、問い合わせに答える十分な証拠が不足している可能性がある。
応答性は、ソースまたはソースの集合が十分な証拠を含むかどうかを広く懸念するが、意味的関連性に最適化された検索モデルは、単一ソースの場合でさえそれを保証せず、根本的なミスマッチを生成する。
そこで本研究では,RAG におけるテーブルコンテンツレベルのアンサーバビリティの診断ベンチマークである TCR-Bench を紹介した。
TCR-Benchでは、評価した高密度検索器はセマンティック・アンサーバビリティ・ギャップ(Semantic-Answerability Gap)を持続的に示す。
分析の結果,このギャップはセマンティックな蓄積,スキーマレベルのキュー依存,行列結合の弱さと関連していることがわかった。
このギャップの源泉の診断調査として、直接クエリテーブルの応答可能性判定を適用した軽量な2段階パイプラインAnswerability-Aware Re rank (AAR) が、パフォーマンスを回復できるかどうかを検証した。これは18.2%から57.4%まで、トップ1のターゲット検索を上昇させ、この大きなゲインは、観測された障害の多くは、モデルキャパシティの固有の制限ではなく、欠落した応答可能性検証ステップを反映していることを示すものである。
関連論文リスト
- VisDocAgentBench: Benchmarking Agents for Visually Rich Document Retrieval [65.89247522243959]
VisDocAgentBenchは、静的検索とエージェント検索を比較したクローズドコーパスベンチマークである。
100の文書から2,375ページ、120のユニークなターゲットクエリが直接、一橋、二橋のエビデンス構造でバランスを取っている。
強力な遅延対話型ビジュアルレトリバーは、直接アイテムで97.50%のRecall@1に達するが、2ブリッジアイテムでは2.50%に達し、関連性がコーパスコンテキストに依存する場合のクエリ-ターゲットマッチングの限界を明らかにする。
論文 参考訳(メタデータ) (2026-08-18T15:23:06Z) - CQC-RAG: Robust Retrieval-Augmented Generation via Cross-Query Consistency [9.50454647525075]
CQC-RAGは,クエリレベルの多様性注入とクエリ間の一貫性の評価を共同設計するフレームワークである。
CQC-RAGは、元の質問を多様だが意味を保ったクエリに書き換える。
根拠に基づくプロトコルを適用して、回答と証拠のペアを抽出し、信頼性の安定性に応じて回答を選択する。
論文 参考訳(メタデータ) (2026-06-11T15:01:49Z) - RepoMirage: Probing Repository Context Reasoning in Code Agents with Perturbations [51.43574078961796]
本稿では,SWE-Bench Verified上に構築された2段階評価スイートRepoMirageを紹介する。
RepoMirage-Perturbは、リポジトリレベルの摂動を保存する3つのタイプのセマンティクスを適用している。
RepoAnchorは、下流の問題解決からリポジトリの探索を分離する構造第一のプロトタイプワークフローである。
論文 参考訳(メタデータ) (2026-05-25T06:26:43Z) - Beyond Relevance: On the Relationship Between Retrieval and RAG Information Coverage [89.58253972744531]
Retrieval-augmented Generation (RAG) システムは、文書検索と生成モデルを組み合わせて、レポート生成のような複雑な情報を求める課題に対処する。
我々は,上流の検索指標が,最終生成応答の情報カバレッジの信頼性の高い早期指標として機能するかどうかを検討する。
本研究は,トピックとシステムレベルの両方で生成した応答におけるカバレッジベース検索指標とナゲットカバレッジとの間に強い相関関係を示した。
論文 参考訳(メタデータ) (2026-03-09T18:20:20Z) - TraceBack: Multi-Agent Decomposition for Fine-Grained Table Attribution [11.133753556671392]
TraceBackは、シングルテーブルのQAにおけるスケーラブルでセルレベルの属性のためのフレームワークである。
ToTTo、FetaQA、AITQAから引き出されたフレーズ間アノテーションを備えたベンチマークであるCITEBenchをリリースする。
また、予測された細胞と答えから得られた原子事実を比較し、ヒトの細胞ラベルを使わずに属性の精度とリコールを推定する参照レス計量であるFairScoreを提案する。
論文 参考訳(メタデータ) (2026-02-13T16:13:36Z) - QUARK: Robust Retrieval under Non-Faithful Queries via Query-Anchored Aggregation [2.505352949111876]
QUARKは、非忠実なクエリの下で堅牢な検索を行うためのトレーニング不要のフレームワークである。
この設計により、QUIRKは堅牢性を犠牲にすることなくリコールとランキング品質を改善することができる。
論文 参考訳(メタデータ) (2026-01-28T21:14:49Z) - REaR: Retrieve, Expand and Refine for Effective Multitable Retrieval [46.38349148493421]
REAR(Retrieve, Expand and Refine)は、効率的な高忠実なマルチテーブル検索のための3段階のフレームワークである。
Rearはクエリ整列テーブルを検索し、構造的に結合可能なテーブルで拡張し、ノイズや弱い関係のある候補を抽出することでそれらを洗練する。
Rearはレトリバー非依存であり、複雑なテーブルQAデータセット上の高密度/スパースレトリバーを一貫して改善する。
論文 参考訳(メタデータ) (2025-11-02T05:01:04Z) - Eigen-1: Adaptive Multi-Agent Refinement with Monitor-Based RAG for Scientific Reasoning [53.45095336430027]
暗黙的な検索と構造化された協調を組み合わせた統合フレームワークを開発する。
Humanity's Last Exam (HLE) Bio/Chem Goldでは,48.3%の精度を実現している。
SuperGPQAとTRQAの結果はドメイン間の堅牢性を確認した。
論文 参考訳(メタデータ) (2025-09-25T14:05:55Z) - RAGentA: Multi-Agent Retrieval-Augmented Generation for Attributed Question Answering [4.224843546370802]
本稿では,大規模言語モデル(LLM)を用いた属性質問応答フレームワークであるRAGentAを提案する。
RAGentAは、信頼できる回答生成の目標として、質問と忠実性に対するカバレッジと関連性によって定義された回答の正しさを最適化することに焦点を当てている。
フレームワークの中心は、スパースと密集したメソッドを組み合わせたハイブリッド検索戦略であり、最高の単一検索モデルと比較して、Recall@20を12.5%改善している。
論文 参考訳(メタデータ) (2025-06-20T13:37:03Z) - Faithfulness-Aware Uncertainty Quantification for Fact-Checking the Output of Retrieval Augmented Generation [108.13261761812517]
本稿では,RAG出力における幻覚検出の新しい手法であるFRANQ(Fithfulness-based Retrieval Augmented Uncertainty Quantification)を紹介する。
本稿では,事実性と忠実性の両方に注釈を付したQAデータセットを提案する。
論文 参考訳(メタデータ) (2025-05-27T11:56:59Z) - Retrieval is Not Enough: Enhancing RAG Reasoning through Test-Time Critique and Optimization [58.390885294401066]
Retrieval-augmented Generation (RAG) は知識基底型大規模言語モデル(LLM)を実現するためのパラダイムとして広く採用されている。
RAGパイプラインは、モデル推論が得られた証拠と整合性を維持するのに失敗することが多く、事実上の矛盾や否定的な結論につながる。
批判駆動アライメント(CDA)に基づく新しい反復的枠組みであるAlignRAGを提案する。
AlignRAG-autoは、動的に洗練を終了し、批判的な反復回数を事前に指定する必要がなくなる自律的な変種である。
論文 参考訳(メタデータ) (2025-04-21T04:56:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。