論文の概要: DeclineCraft: A RAG Abstention Benchmark for Jointly Measuring Combined Retrieval and Parametric Knowledge
- arxiv url: http://arxiv.org/abs/2610.28340v1
- Date: Tue, 20 Oct 2026 15:07:19 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-21 21:58:47.878654
- Title: DeclineCraft: A RAG Abstention Benchmark for Jointly Measuring Combined Retrieval and Parametric Knowledge
- Title（参考訳）: DeclineCraft: 検索とパラメトリックの知識を組み合わせた共同計測のためのRAG回避ベンチマーク
- Abstract要約: 信頼性の高い検索強化世代(RAG)は、検索された文書やパラメトリック知識が回答を支持していないことを認識する必要がある。
CAR(Correct Abstention Rate)は、解答不能な質問や解答不能な回避率、解答精度について、モデルが不十分な知識を認識する頻度を計測する。
シングルショット検索は,40設定中38項目(モデルと思考設定)において,検索なしでCARを著しく向上させることがわかった。
反復RAGは、モデルがそのコンテキストを自己評価し、さらに2回の検索ラウンドを要求できる。
- 参考スコア（独自算出の注目度）: 9.780728847165385
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Reliable retrieval-augmented generation (RAG) requires recognizing when neither retrieved documents nor parametric knowledge supports an answer. We introduce DeclineCraft, a dynamic abstention benchmark whose unanswerable questions target Minecraft feature additions after a corpus cut-off, with audits of possible parametric exposure. Later cut-offs support evaluation of future models. Across 27 LLMs, we measure Correct Abstention Rate (CAR; how often models acknowledge insufficient knowledge on unanswerable questions), Answerable Attempt Rate and Answer Accuracy. We find that (1) single-shot retrieval significantly raises CAR in 38 of 40 configurations (model and thinking setting) versus no retrieval. (2) Iterative RAG, in which the model self-assesses its context and can request up to two further retrieval rounds, significantly lowers CAR versus single-shot RAG in 30 of 40 configurations (mean 46.4%), with little change in Answer Accuracy (68.5% to 69.3%). Adding query rewriting and reranking to hybrid (dense & sparse) retrieval lowers CAR for all 12 models tested. (3) Larger models answer more accurately (Spearman $ρ= +0.60$ with total parameters), but neither model size nor release date shows a significant association with CAR. (4) Without retrieval, enabling thinking on the same weights lowers CAR significantly for 8 of 13 models (by 14% points on average), and the responses shift from acknowledged uncertainty to premise denial.
- Abstract（参考訳）: 信頼性の高い検索強化世代(RAG)は、検索された文書やパラメトリック知識が回答を支持していないことを認識する必要がある。
我々は,コーパスカット後にMinecraftの機能追加を対象とする動的禁忌ベンチマークであるDeclineCraftを紹介し,パラメトリック露光の可能性を監査した。
後のカットオフは将来のモデルの評価をサポートする。
27 LLM にまたがって,CAR (Correct Abstention Rate) と Answerable Attempt Rate と Answer Accuracy を計測した。
その結果,(1)単発検索は,40構成中38項目(モデルと思考設定)において,検索なしでCARを有意に上昇させることがわかった。
2)モデルがコンテキストを自己評価し、さらに2回の検索ラウンドを要求できる反復RAGは、40構成中30項目(平均46.4%)においてCAR対単発RAGを著しく低下させ、アンサー精度(68.5%から69.3%)はほとんど変化しない。
ハイブリッド(dense & sparse)検索にクエリの書き直しと書き直しを加えると、テスト対象の12モデルすべてでCARが低下する。
(3) より大規模なモデルはより正確に答える(Spearman $ρ= +0.60$ with total parameters)が、モデルのサイズもリリース日もCARと大きく関連している。
(4) 検索がなければ,同じ重みを考慮すれば,13モデル中8モデルにおいてCARが有意に低下する(平均14%)。
関連論文リスト
- TerraAgent: Demonstration-Grounded Multi-Agent Reasoning for Long-Context Remote Sensing Visual Question Answering [2.681087131751671]
AVAはフリーのフレームワークで、凍結したRS MLLMを3つのモジュールでラップする。
それぞれのクエリをエビデンス型サブクエストDAGに分解し、サブクエストを適切な認識ツールにルーティングし、バウンド再認識を伴う共有エビデンス台帳に記録する。
RSVQA-LR/HR、VRSBench、LHRS-Benchでは、AVAは最強の同セットベースラインよりも平均精度を2.40ポイント向上させる。
論文 参考訳（メタデータ） (2026-10-07T19:50:09Z) - Knowing When Thinking Is Not Enough: Teaching Small Reasoning Models to Reason Beyond Their Parametric Knowledge [63.752287291668786]
テスト時間計算のスケールは、言語モデル推論を改善する強力な方法である。
自己閉じ込めは、既に現在の状態から到達可能な解に確率質量を大半を凝縮することを示す。
選択的なクエリフレームワークであるFlyByを導入し、まず4Bと8Bの変種をトレーニングする。
論文 参考訳（メタデータ） (2026-09-28T05:07:24Z) - Evidence-Inference Reconstruction: When The Evidence Is Recalled But The Reasoning Goes Wrong [46.421744167883986]
本稿では、構造化状態を用いて1つの検索軌跡を案内するEvidence-Inference Reconstruction (EIR)を紹介する。
EIRは、たとえ誤った証拠が混ざったとしても、単一の最終モデルコールで正しい答えを生成することができる。
また, エージェントSSRでは35.29, 反射では12.41に対して, EIRは平均4.85回, モデルコール数は35.29回であった。
論文 参考訳（メタデータ） (2026-09-27T17:20:41Z) - Metadata, Structure, or Strategy? A Decomposition of RAG Context Enrichment [3.2058241360543254]
検索可能な生成システムは、品質メタデータを付加し、明示的なレコードに構造化し、ステップ間で証拠を蓄積するマルチホップ検索戦略を採用することで、検索されたパスを豊かにする傾向にある。
これらの変更は、よりリッチなコンテキストがより良い回答をもたらすと仮定するが、既存の評価では、これらを一度に3つの要因すべてを変えるため、テストすることはできない。
我々は,6つのベンチマーク,3つのファミリーの4つのモデル,5つのエンリッチメントレベルのコントロール実験において,各因子を分離し,合計24,000以上の回答を得た。
回答の品質を決定するのは、コンテキストがどれだけメタデータを持ち込むかではなく、与えられたタスクに対してモデルがそれを実行できるかどうかです。
論文 参考訳（メタデータ） (2026-06-28T23:26:28Z) - Off-the-Shelf LLMs as Process Scorers: Training-Free Alternative to PRMs for Mathematical Reasoning [51.88950852117154]
Chunk-Level Guided Generationは、既製の大規模言語モデルをプロセススコアラとして使用する、トレーニング不要の代替手段である。
本研究では,系統的な長さバイアスのため,大モデル確率の可変長推論ステップが信頼できないことを示す。
Chunk-Level Guided Generation は PRM guided search よりもかなり短い推論トレースを生成する。
論文 参考訳（メタデータ） (2026-06-01T04:43:36Z) - Can Small Language Models Use What They Retrieve? An Empirical Study of Retrieval Utilization Across Model Scale [0.0]
アーキテクチャファミリSmolLM2 Qwen2.5とLlama 3.1の5つのモデルサイズを360Mから8Bまで評価した。
その結果、7Bパラメータ以下のモデルでは、RAGの主な制限は、検索品質よりもコンテキスト利用であることがわかった。
論文 参考訳（メタデータ） (2026-03-12T03:59:42Z) - ACAR: Adaptive Complexity Routing for Multi-Model Ensembles with Auditable Decision Traces [3.151184728006369]
本稿では,聴覚条件下でのマルチモデルオーケストレーションのための測定フレームワークACARを提案する。
ACARは、N=3プローブサンプルから計算した自己整合分散(sigma)を使用して、単一モデル、2モデル、3モデル実行モードでタスクをルーティングする。
我々は4つのベンチマークにまたがる1,510のタスクに対してACARを評価し、7,550以上の監査可能な実行を生成した。
論文 参考訳（メタデータ） (2026-02-06T23:27:17Z) - HuggingR$^{4}$: A Progressive Reasoning Framework for Discovering Optimal Model Companions [50.61510609116118]
HuggingR$4$は、Reasoning、Retrieval、Refinement、Reflectionを組み合わせて効率的にモデルを選択する新しいフレームワークである。
作業性率は92.03%、理性率は82.46%に達し、それぞれ26.51%、33.25%を超える。
論文 参考訳（メタデータ） (2025-11-24T03:13:45Z) - Retro-Search: Exploring Untaken Paths for Deeper and Efficient Reasoning [84.2749507577386]
MCTSにインスパイアされた検索アルゴリズムであるRetro-Searchを導入し,大規模モデルから高品質な推論経路を抽出する。
Retro-Searchは、より良い、しかし短いトレースを見つけるための推論パスをふりかえりに修正する。
当社のアプローチでは,モデルが独自のRetro-Search-edトレースに基づいて微調整される自己改善と,弱いから強い改善の2つのユースケースを実現しています。
論文 参考訳（メタデータ） (2025-04-06T06:23:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。