論文の概要: Answer Presence Drives RAG Rewriting Gains
- arxiv url: http://arxiv.org/abs/2606.05633v1
- Date: Thu, 04 Jun 2026 03:00:42 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-06 06:55:34.631191
- Title: Answer Presence Drives RAG Rewriting Gains
- Title(参考訳): アンサー・プレゼンス氏:RAGの書き直しが増加
- Authors: Yuejie Li, Yueying Hua, Ke Yang, Li Zhang, Yueping He, Yueping He, Ruiqi Li, Bolin Chen, Tao Wang, Bowen Li, Chengjun Mao,
- Abstract要約: 検索可能な増補QAパイプラインは、小さい読み手より前に、LLMエンプレライターを介して取得した経路をルートすることが多い。
我々は、リライトコンテキストに現れる金の応答文字列によって、リフトが因果的に駆動されるかどうかを問う。
- 参考スコア(独自算出の注目度): 21.554301305644156
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Retrieval-augmented QA pipelines often route retrieved passages through an LLM \emph{rewriter} before a smaller reader, lifting F1 by tens of points on multi-hop benchmarks; this gain is typically credited to improved evidence quality. We ask whether that lift is causally driven by the gold answer string appearing in the rewritten context rather than by curation per se, using a controlled intervention audit. For each rewritten context we re-run the reader after one of four controlled edits to the compile output: removing the gold answer span, replacing a length-matched random non-answer span (placebo), or injecting the gold into rewrites where it was absent (at the prefix or at a midpoint sentence boundary). Across twelve completed (cell, baseline) intervention runs spanning three reader families (Qwen2.5-7B, Qwen3.5-35B, GLM-4.7), two datasets (HotpotQA, 2WikiMultihopQA), and three compiler arrangements (MA-only, MB-only, MA$+$verify), removing the gold answer drops reader F1 by $28$ to $64$ points beyond the length-matched placebo on paired \texttt{answer-in-compile} strata, and prepending the gold into rewrites that lacked it raises F1 by $+0.7$ to $+9.7$ points in $10$ of $12$ (cell, baseline) combinations. A companion five-sentinel audit shows the conventional single-\texttt{[MASK]} probe is itself sentinel-fragile: on 2Wiki it reports a $+4.12$~F1 ``non-leakage residual'' that flips to $-3.33$ to $-7.81$~F1 under four alternative sentinels and fails an equivalence test for three of those four ($1/4$~pass). We do not propose a new rewriter or mitigation; we release the intervention runner and the sentinel panel so that other rewriter-gain claims can be tested against the same standard.
- Abstract(参考訳): Retrieval-augmented QA pipelines often routeed passages through a LLM \emph{rewriter} before a small reader, lifting F1 by tens of points on multi-hop benchmarks; この利得は典型的には証拠品質の向上に寄与している。
制御された介入監査を用いて、リライトコンテキストに現れる金の応答文字列によってリフトが因果的に駆動されるかどうかを問う。
各書き直されたコンテキストに対して、私たちは4つのコントロールされた編集のうちの1つをコンパイル出力に再実行します。つまり、金の応答スパンを削除し、長さにマッチしたランダムな非回答スパン(placebo)を置き換えたり、金が欠落している箇所(プレフィックスまたは中点文境界)に書き直しに注入したりします。
12の完了した(セル、ベースライン)介入は、3つの読み取りファミリ(Qwen2.5-7B、Qwen3.5-35B、GLM-4.7)、2つのデータセット(HotpotQA、2WikiMultihopQA)、3つのコンパイラアレンジ(MA-only、MB-only、MA$+$verify)、ゴールドの回答ドロップリーダーF1を280ドルから644ドルまで取り除き、ペアの \texttt{answer-in-compile} ストラタにマッチしたプラセボを超えて金をプリセットし、F1を0.7ドルから9.7ドル(セル、ベースライン)のリライトにプリセットする。
2Wikiでは、$+4.12$~F1 ``non-leakage residual' と報告され、4つの代替センチネルの下で$-3.33$から$-7.81$~F1に跳ね上がり、これら4つのうち3つが$1/4$~passで同値テストに失敗する。
介入ランナーとセンチネルパネルを解放し、他のリライタ-ゲインクレームを同じ標準に対してテストできるようにします。
関連論文リスト
- Which Defense Closes Which Threat? Attributing OWASP-LLM-Top-10 Coverage and Its Brittleness Under Paraphrasing [51.56484100374058]
プロダクションLLMアプリケーションは、いくつかの防衛ファミリを積み重ねる -- 拒絶フレーズフィルタ、トークンバッジコントロール、モデル許容度リスト、レート制限、ツール登録認証 -- が、BASベンチマークでは、単一の集計カバレッジ番号を報告している。
21エージェントベースラインスキャナに4つのLLM-Top-10対応エージェントを追加し、4つの合成LDMエンドポイントの格子をターゲットとした。
論文 参考訳(メタデータ) (2026-06-01T19:39:25Z) - The Chain Holds, the Answer Folds: Trace-Answer Dissociation in Reasoning Models Under Adversarial Pressure [8.86745721473138]
推論モデルはシングルターンベンチマークで評価されるが、マルチターンダイアログにデプロイされる。
われわれはこの不信な降伏(UC)を2ドル(約2万2000円)のラテント・ヴァース・ビヘイビア・フレームワークで分離し、指標のフリップレートとシングルターンプローブの両方を見逃す。
論文 参考訳(メタデータ) (2026-05-27T20:41:08Z) - Pre-Registering the Detectable Effect: A Paired-MDE Budget for 4-bit Quantization Benchmarks, with a Pilot Audit [0.30586855806896046]
古典的なペア化されたサンプルサイズ計算を量子化ベンチマークに適用する。
境界は「私の量子化の主張はどの程度信頼できるのか?」を1行の予算に転換する。
5行の事前登録テンプレートで境界を補完する。
論文 参考訳(メタデータ) (2026-05-25T07:13:35Z) - StepGap: A Hybrid NLI-LLM Checker for Step-Level Evidence-Gap Detectionin Multi-Hop Question Answering [28.730693625995215]
StepGapは、マルチホップQAにおけるステップレベルのエビデンスギャップを検出するハイブリッドNLI-LLM決定ツリーである。
Qwen2.5-7B-Instruct Exact Matchを32.1pm0.3$から35.4pm0.9$に改良した。
論文 参考訳(メタデータ) (2026-05-23T20:57:19Z) - MTR-Suite: A Framework for Evaluating and Synthesizing Conversational Retrieval Benchmarks [68.78064578688809]
MTR-Suiteは、監査、合成、ベンチマーク検索のための統合されたフレームワークである。
1)従来のベンチマークでアライメントギャップを定量化するためのLCMベースの監査装置であるMTR-Eval,(2)グリーディクラスタリングを用いたマルチエージェントシステムであるMTR-Pipeline,(3)厳格な一般ベンチマークであるMTR-Benchなどが特徴である。
論文 参考訳(メタデータ) (2026-05-20T05:26:35Z) - Block-Wise Differentiable Sinkhorn Attention: Tail-Refinement Gradients with a Gap-Aware Dustbin Bridge [0.0]
本稿では,TPUハードウェア上での長期的コンテキストバランスによる最適輸送注意度を,停止ベース,固定深部テールリファインメントサロゲートを用いて検討する。
本稿では, 局所的代理バイアスバウンド, 後部バイアス証明書, および, 厳密な正の能動ブロックに対する射影収縮証明書を提供する。
合成マスク問題では、最適化された置換基の正確なオートディフは10〜5ドル-10〜10ドルである。
論文 参考訳(メタデータ) (2026-04-28T19:01:11Z) - Copy-as-Decode: Grammar-Constrained Parallel Prefill for LLM Editing [2.6382975801439836]
LLMは、入力中にほとんどのトークンが冗長に見える場合でも、全出力を自動回帰的に再生することでテキストとコードを編集する。
Copy-as-Decodeは、2プリミティブ文法上の構造化復号化として生成を再キャストする復号化機構である。
論文 参考訳(メタデータ) (2026-04-20T12:29:53Z) - PAR$^2$-RAG: Planned Active Retrieval and Reasoning for Multi-Hop Question Answering [57.89576196160413]
大規模言語モデル (LLM) はマルチホップ質問応答 (MHQA) において脆弱のままである。
textbfPlanned Active Retrieval and Reasoning RAG (PAR$2-RAG)を提案する。
論文 参考訳(メタデータ) (2026-03-30T23:52:54Z) - A$^2$Search: Ambiguity-Aware Question Answering with Reinforcement Learning [46.81869577197105]
A$2$Searchはアノテーションのないエンドツーエンドのトレーニングフレームワークで、曖昧さを認識し、扱います。
8つのオープンドメインQAベンチマークの実験では、A$2$Searchが新しい最先端のパフォーマンスを実現している。
論文 参考訳(メタデータ) (2025-10-09T08:53:31Z) - Reinforcement Learning with Verifiable yet Noisy Rewards under Imperfect Verifiers [90.50039419576807]
RLVR(Reinforcement Learning with Verifiable Rewards)は、人為的なラベル付けを避けるために、自動検証に対するポリシーを訓練する。
認証ハッキングの脆弱性を軽減するため、多くのRLVRシステムはトレーニング中にバイナリ$0,1$の報酬を破棄する。
この選択にはコストがかかる:textitfalse negatives(正しい回答、FNを拒絶)とtextitfalse positives(間違った回答、FPを受け入れる)を導入する。
論文 参考訳(メタデータ) (2025-10-01T13:56:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。