論文の概要: Verification Without Sufficiency: Per-Chunk Filtering Fails on Multi-Hop RAG, and Decomposition Repairs It
- arxiv url: http://arxiv.org/abs/2608.00585v1
- Date: Sat, 01 Aug 2026 10:52:56 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-04 15:07:24.78752
- Title: Verification Without Sufficiency: Per-Chunk Filtering Fails on Multi-Hop RAG, and Decomposition Repairs It
- Title(参考訳): 有効性のない検証:マルチホップRAG上のブロックごとのフィルタ欠陥と分解修復
- Abstract要約: チャンク毎のスコアリングは、1つのチャンクが答えの十分な前提であると仮定する。
マルチホップ質問ではうまくいかないことを示し、何をするのかを示す。
- 参考スコア(独自算出の注目度): 0.9392167468538464
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Verification for retrieval-augmented generation usually scores each retrieved chunk and drops the ones that fail. We show this cannot work for multi-hop questions, and show what does. Per-chunk scoring assumes one chunk is a sufficient premise for the answer. Multi-hop questions are built so that none is, and the paragraph carrying the answer is the one the question does not name. Entailment scoring reaches 0.643, 0.523 and 0.560 AUC on HotpotQA, 2WikiMultihopQA and MuSiQue, against 0.951 on single-hop SQuAD. Seven controls rule out model capacity, premise length, hypothesis template, decision threshold, retriever, answer-matching criterion and prompt. End to end across three datasets, three generator sizes and two prompts, per-chunk gating is significantly worse than not filtering at all in every cell, and its penalty grows with generator capability. The repair is to condition verification on the decomposed sub-question rather than the original query. Using MuSiQue's gold decomposition, entailment on a later hop rises from 0.546, which is chance, to 0.840, a paired lift of +0.355 with a bootstrap interval of [0.331, 0.382]. An off-the-shelf Qwen2.5-7B decomposer, given the question and the top retrieved paragraph, reaches 0.637 and captures 31% of that ceiling; decomposing without retrieval reaches 0.533, below the original question. Iterative retrieval systems already produce such decompositions and discard them before verifying.
- Abstract(参考訳): 検索強化生成の検証は通常、取得したチャンク毎にスコアを取得し、失敗するチャンクをドロップする。
マルチホップ質問ではうまくいかないことを示し、何をするのかを示す。
チャンク毎のスコアリングは、1つのチャンクが答えの十分な前提であると仮定する。
マルチホップの質問は、誰もいないように構築され、答えを記載した段落は、質問が名前をつけないものである。
ホットポットQA, 2WikiMultihopQA, MuSiQueでは0.643, 0.523, 0.560 AUC、シングルホップSQuADでは0.951に達した。
7つのコントロールは、モデルキャパシティ、前提長、仮説テンプレート、決定しきい値、レトリバー、応答マッチング基準、プロンプトを除外する。
3つのデータセット、3つのジェネレータサイズ、2つのプロンプト、チャンク毎のゲーティングは、すべてのセルでフィルタリングを行わないよりも著しく悪く、そのペナルティはジェネレータ能力によって増大する。
修復は、元のクエリではなく、分解されたサブクエストの条件検証である。
MuSiQueの金の分解を利用すると、後続のホップのエンテーメントは0.546から0.840に上昇し、対のリフトは+0.355、ブートストラップ間隔は[0.331, 0.382]となる。
既成のQwen2.5-7B分解器は、疑問と最上位の段落が与えられたときに0.637に達し、その天井の31%を捕獲する。
反復検索システムはすでにそのような分解を生成し、検証する前に破棄している。
関連論文リスト
- LINE Conversation History Retrieval for Personal Memory RAG: Evaluating Search Representations and Hybrid Retrieval [0.0]
本研究では、あるユーザのLINE会話履歴に関する検索専用ケーススタディを提案する。
我々は358,896のメッセージを22,329の時間的コヒーレントなチャンクに分割し、3つの検索表現を構築した。
一つのアノテータで検証した100個の評価質問に対して,BM25,密度ベクトル検索,線形ハイブリッド検索を比較した。
論文 参考訳(メタデータ) (2026-08-28T00:52:11Z) - Same Agent, Different Answers: A Repeat-Aware Audit of Corpus-Induced Answer Churn in Retrieval-Augmented QA [0.4351760066527804]
検索強化されたQAシステムは、要求されたモデル識別子、プロンプト、検索ポリシー、エビデンス深さ、レンダリング、露出した生成制御が固定された場合でも、インデックス展開後に異なる回答を返すことができる。
我々は、隠れた現象の正確さを正解とみなし、クロスショットの相違から反則を減じて過剰な解答を推定するemphSnapshot Compatibility Auditを導入する。
論文 参考訳(メタデータ) (2026-08-24T06:40:09Z) - The Recall Trap: A Recall-Maximizing Retriever Configuration Reduces Issue Resolution in Fixed-Budget Code Context [45.88028371034407]
コード修復における制御ケーススタディを報告し,新しい現象ではない。
私たちは、同じスタック上の1つのフラグ(1チャンク毎の重複)を切り替えます。
BM25(3.2pp、重要なパラダイム間相互作用)を逆転させる。
厳格な固定予算では、ファイルごとのハードダイドプリケートや、タスクに対するA/Bパッケージングポリシは、メトリックフラグを調整しないことが示されます。
論文 参考訳(メタデータ) (2026-08-14T19:22:50Z) - When Should Multi-Round RAG Stop? Structured Stopping Judgments and Retrieval Reduction in Search-R1 [0.0]
マルチラウンド検索強化世代(RAG)は、証拠が蓄積されるにつれていつ検索を止めるかを決定する必要がある。
我々は,S2G-RAGの構造的充足性判定をフリーズしたサーチ-R1パイプラインに適用する。
我々は900のHotpotQA質問から3,009の州でQwen3.5-2B判事を訓練する。
論文 参考訳(メタデータ) (2026-08-13T13:42:48Z) - Support Operation Factorization: Compositional Readout of Frozen Vision Encoders under Controlled Interventions [87.95757610455173]
我々は、x演算グリッドとSO-OPFをサポートするために、インジェクティブに整合した残余セルアウトプロトコルを導入する。
グリッドが分かっているときにキャリアがホールドアウトバインディングを構成するかどうか、フラットなセルラベルからグリッドを回収できるかどうかという2つの質問を分離する。
論文 参考訳(メタデータ) (2026-08-06T15:38:55Z) - Relevant but Incomplete: Referential Dangling as a Paradigm-Level Failure Mode in Hard Prompt Compression [18.435649248662944]
保持されたテキストが応答を含む場合、削除されたテキストは、それを解釈するために必要なエンティティを定義し、結果参照ダングリングを呼び出します。
提案手法では, 省略文に対して, 保持テキストの解釈が必要か否かを判断し, アノテーションを推論時にサポートせずに上位候補を再試行する。
論文 参考訳(メタデータ) (2026-08-05T07:58:53Z) - Structure-Aware Semantic Chunking with Title-Chain Prefixes: A 1600-Query Evaluation and the Measurement Trap in Text-Transform Ablations [4.342406076796542]
3段階のチャンク側のみのセマンティックチャンクパイプラインを提示する。
タイトルチェーンは、生成された要約ではなく、文書のヘッダ階層を再利用する。
パイプラインは完全なセットでMRR@5を0.374から0.463に、答え可能なサブセットで0.828から0.925に改善する。
論文 参考訳(メタデータ) (2026-08-01T19:01:46Z) - Operational Proto-Introspection in Looped Language Models: Process-Quality Taps, Executable Branching, and the Readout-Control Boundary [0.0]
言語モデルは、進行中の計算の質を読み取ることができるか?
外部介入は、その読み出しをより良い結果に変えることができるか?
凍結した2.6Bループ変換器,Ouro-RLTTで両質問を検証した。
論文 参考訳(メタデータ) (2026-07-20T22:40:36Z) - Trust Before Fusion: QIMG-7 and Source-Aware Resolution for Polluted Multimodal RAG [45.88028371034407]
マルチモーダル検索拡張生成(RAG)はクリーンなエビデンスで評価されることが多いが、真の検索は、トポロジー的に関係があるが信頼できないコンテンツを返すことができる。
本稿では,多文事実QAにおけるマルチモーダル検索汚染のベンチマークであるQIMG-7を紹介する。
そこで本研究では,Parametric, Text-only, Full-MM の候補解と比較した学習自由な手法として,SATRを提案する。
論文 参考訳(メタデータ) (2026-07-12T15:13:09Z) - Probe, Don't Prompt: A Hidden-State Probe for Metadata Filtering in Multi-Meta-RAG [2.1127261244588156]
メタデータ(ニュースソース)上にベクターストアをフィルタリングすることで,マルチメタRAGによるマルチホップ質問応答の検索の改善
我々は、このプロプライエタリな自由形式抽出器を、小さなオープンソース言語モデルの隠れ状態に基づいて訓練された局所的決定論的プローブに置き換えることができることを示した。
論文 参考訳(メタデータ) (2026-07-04T15:47:38Z) - VeriEvol: Scaling Multimodal Mathematical Reasoning via Verifiable Evol-Instruct [71.22358682581215]
ビジュアルな数学的推論のための強化学習のスケーリングは、難しい質問を生成すること以上のものを必要とします。
これは2つのコンポーネントからなる反復的なフレームワークであるVeriEvolとしてインスタンス化します。
5ベンチマークのビジュアル・マス・スイートでは、10Kから250KサンプルまでのSFTデータのスケーリングが平均精度を35.42から54.73に引き上げている。
論文 参考訳(メタデータ) (2026-06-22T16:17:30Z) - Transforming Questions and Documents for Semantically Aligned Retrieval-Augmented Generation [1.223779595809275]
マルチホップ質問応答に適した新しい検索拡張世代(RAG)フレームワークを提案する。
本システムは,大規模言語モデル(LLM)を用いて,複雑なマルチホップ質問を文書検索を導く単一ホップ要求列に分解する。
生文書やチャンクを直接埋め込む代わりに、Qwen3-8Bを使って各文書チャンクから回答可能な質問を生成し、これらの生成された質問を埋め込んで、質問-問合せの類似性を通じて関連チャンクを検索する。
論文 参考訳(メタデータ) (2025-08-13T12:35:04Z) - Knowledge Compression via Question Generation: Enhancing Multihop Document Retrieval without Fine-tuning [42.35305639777465]
本研究では,細調整や従来のチャンキングを必要とせずに,検索強化生成(RAG)システムを改善する質問ベースの知識符号化手法を提案する。
テキストコンテンツは語彙空間と意味空間にまたがって生成された質問を用いてエンコードされ、ターゲット検索キューと独自の構文再構成手法が組み合わさって生成される。
109件の科学論文のシングルホップ検索では、Recall@3が0.84となり、従来のチャンキング手法よりも60%向上した。
論文 参考訳(メタデータ) (2025-06-09T16:15:11Z) - Complex Reading Comprehension Through Question Decomposition [48.256818683923626]
本稿では,言語モデルによる難解なマルチホップ質問の理解を支援する新しい学習手法を提案する。
我々のモデルはまず、訓練可能な質問分解器によって、各マルチホップ質問をいくつかのサブクエストに分解することを学ぶ。
我々は,シーケンス・ツー・シーケンス方式で解答を予測するために,読解理解モデルを活用する。
論文 参考訳(メタデータ) (2022-11-07T02:54:04Z) - Multi-hop Question Generation with Graph Convolutional Network [58.31752179830959]
マルチホップ質問生成(Multi-hop Question Generation, QG)は,異なる段落から散在する複数の証拠を集約・推論することで,回答に関連する質問を生成することを目的とする。
複数のホップでコンテキストエンコーディングを行うMulQG(Multi-Hop volution Fusion Network for Question Generation)を提案する。
提案モデルでは,高い完全性を有する流動的な質問を生成することができ,マルチホップ評価において,最強のベースラインを20.8%向上させることができる。
論文 参考訳(メタデータ) (2020-10-19T06:15:36Z) - Is Multihop QA in DiRe Condition? Measuring and Reducing Disconnected
Reasoning [50.114651561111245]
モデルは、しばしば、複数のサポート事実をまたいで情報を接続することなく、正しい回答を生成するためにデータセットアーティファクトを利用する。
我々は、支持事実のサブセットにまたがる不連結推論のような望ましくない振る舞いを定式化する。
実験によると、読書理解設定においてマルチホップQAがあまり進歩していないことが示唆されている。
論文 参考訳(メタデータ) (2020-05-02T11:01:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。