論文の概要: Knowing Before Answering: Decoding Language Models for Reliable RAG
- arxiv url: http://arxiv.org/abs/2608.27661v1
- Date: Thu, 27 Aug 2026 19:48:41 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-31 17:16:04.136279
- Title: Knowing Before Answering: Decoding Language Models for Reliable RAG
- Title（参考訳）: 回答前を知る:信頼性の高いRAGのための言語モデルをデコードする
- Abstract要約: 検索は、質問に答えるために必要な不十分な情報または矛盾する情報を提供することができる。
これは3方向の分類問題とみなすことができる。
モデルの内部信号を用いて、提供された情報が十分、不十分、あるいは矛盾するものとして分類できるかどうかを判断する。
- 参考スコア（独自算出の注目度）: 4.884819106277247
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In Retrieval-Augmented Generation (RAG), retrieval may provide insufficient or conflicting information needed to answer a question. The system should not only know when to answer but also be able to identify cases in which the documents provided in RAG are insufficient or contain conflicting information. This can be framed as a three-way classification problem, where we use the model's internal signals to determine whether the provided information in the input can be classified as sufficient, insufficient, or conflicting. We create a controlled benchmark dataset that replicates a RAG setup with fictitious information and labels each instance as answerable, insufficient, or conflicting. We use hidden activations and attention-derived features as inputs to train a lightweight linear model to distinguish among the three classes. Across 16 language models spanning different architectures and a range of model sizes, our feature-based router consistently outperforms prompting-based baselines and the performance of specialised RAG-models. We further conduct analyses into the information dynamics of the models. We show that the most informative signals for the classification are available in the middle layers, with hidden activation states being more effective than attention values or the MLP-feature outputs in most of the tested models. Overall, our results suggest that language models internally encode whether retrieved evidence is sufficient to support answering, and that this signal can be decoded reliably for RAG triage.
- Abstract（参考訳）: Retrieval-Augmented Generation (RAG)では、検索は質問に答えるために必要な不十分な情報や矛盾する情報を提供する。
システムは、いつ答えるべきかを知るだけでなく、RAGが提供する文書が不十分である場合や、矛盾する情報を含む場合の特定も行なわなければならない。
これは3方向の分類問題であり、入力に与えられた情報が十分、不十分、あるいは矛盾するものとして分類できるかどうかを決定するために、モデルの内部信号を使用する。
私たちは制御されたベンチマークデータセットを作成し、RAGセットアップを架空の情報で複製し、各インスタンスを応答可能、不十分、あるいは競合するものとしてラベル付けします。
隠れアクティベーションと注目に起因した特徴を入力として用いて、3つのクラスを区別するために軽量線形モデルを訓練する。
異なるアーキテクチャとさまざまなモデルサイズにまたがる16の言語モデルに対して、我々の機能ベースのルータは、プロンプトベースのベースラインと特殊化されたRAGモデルの性能を一貫して上回ります。
さらに、モデルの情報力学を解析する。
実験対象のモデルでは, 注意値やMLP-Feature出力よりも, 隠れ活性化状態の方が効果的であることが確認された。
以上の結果から,検索された証拠が回答を支援するのに十分であるか否かを言語モデルで内部的に符号化し,RAGトリアージのためにこの信号を確実に復号化できることが示唆された。
関連論文リスト
- The RAT: A Unified Bayesian Model for RAG Evaluation [8.650407684623714]
本稿では,検索成功,棄却行動,回答正当性を共同でモデル化するベイズ評価フレームワークを提案する。
フレームワークを3つのデータセット、3つのレトリバー、3つのジェネレータにわたる27のRAG構成に適用する。
我々は、LLM-as-a-judgeアノテーションをキャリブレーションされたノイズ観測として組み込むようモデルを拡張した。
論文 参考訳（メタデータ） (2026-08-25T15:54:30Z) - A-RAG: Scaling Agentic Retrieval-Augmented Generation via Hierarchical Retrieval Interfaces [34.59674580962045]
本稿では,階層型検索インタフェースを直接モデルに公開するエージェントRAGフレームワークであるA-RAGを紹介する。
A-RAGはキーワード検索、セマンティック検索、チャンク読み取りという3つの検索ツールを提供する。
複数のオープンドメインQAベンチマークの実験は、A-RAGが既存のアプローチを同等または低いトークンで一貫して上回っていることを示している。
論文 参考訳（メタデータ） (2026-02-03T12:07:21Z) - OpenDecoder: Open Large Language Model Decoding to Incorporate Document Quality in RAG [32.31189584872992]
一般に、検索された情報は、その質問に関連していると仮定される。
回答生成における検索情報の関連性を考慮することが重要である。
我々は,検索した情報の明示的な評価を,生成のための品質指標として活用する新しい手法であるOpenDecoderを提案する。
論文 参考訳（メタデータ） (2026-01-13T23:26:30Z) - ReAG: Reasoning-Augmented Generation for Knowledge-based Visual Question Answering [54.72902502486611]
ReAG(Reasoning-Augmented Multimodal RAG)は、粗い部分ときめ細かい部分の検索と、無関係な通路をフィルタリングする批評家モデルを組み合わせた手法である。
ReAGは従来の手法よりも優れており、解答精度が向上し、検索された証拠に根ざした解釈可能な推論を提供する。
論文 参考訳（メタデータ） (2025-11-27T19:01:02Z) - MARAG-R1: Beyond Single Retriever via Reinforcement-Learned Multi-Tool Agentic Retrieval [50.30107119622642]
大規模言語モデル(LLM)は推論と生成において優れているが、本質的には静的事前学習データによって制限されている。
Retrieval-Augmented Generation (RAG)は、LLMを外部知識に基盤を置くことでこの問題に対処する。
MarAG-R1は、LLMが複数の検索機構を動的に調整できる強化学習型マルチツールRAGフレームワークである。
論文 参考訳（メタデータ） (2025-10-31T15:51:39Z) - Every Step Counts: Decoding Trajectories as Authorship Fingerprints of dLLMs [63.82840470917859]
本稿では,dLLMの復号化機構をモデル属性の強力なツールとして利用できることを示す。
本稿では、デコードステップ間の構造的関係を捉え、モデル固有の振る舞いをよりよく明らかにする、DDM(Directed Decoding Map)と呼ばれる新しい情報抽出手法を提案する。
論文 参考訳（メタデータ） (2025-10-02T06:25:10Z) - DynamicRAG: Leveraging Outputs of Large Language Model as Feedback for Dynamic Reranking in Retrieval-Augmented Generation [23.060355911225923]
リランカは、生成品質と説明可能性を高めるために、検索した文書の精錬において重要な役割を果たす。
本稿では,リランカが検索した文書の順序と数の両方を動的に調整する新しいRAGフレームワークであるDynamicRAGを提案する。
論文 参考訳（メタデータ） (2025-05-12T05:19:01Z) - Unsupervised Model Diagnosis [49.36194740479798]
本稿では,ユーザガイドを使わずに,意味論的対実的説明を生成するために,Unsupervised Model Diagnosis (UMO)を提案する。
提案手法は意味論における変化を特定し可視化し,その変化を広範囲なテキストソースの属性と照合する。
論文 参考訳（メタデータ） (2024-10-08T17:59:03Z) - RAGEval: Scenario Specific RAG Evaluation Dataset Generation Framework [66.93260816493553]
本稿では,様々なシナリオにまたがってRAGシステムを評価するためのフレームワークであるRAGvalを紹介する。
事実の正確性に焦点をあてて,完全性,幻覚,不適切性の3つの新しい指標を提案する。
実験結果から, RAGEvalは, 生成した試料の明瞭度, 安全性, 適合性, 豊かさにおいて, ゼロショット法とワンショット法より優れていた。
論文 参考訳（メタデータ） (2024-08-02T13:35:11Z) - Benchmarking the Robustness of LiDAR Semantic Segmentation Models [78.6597530416523]
本稿では,LiDARセマンティックセグメンテーションモデルのロバスト性を,様々な汚職の下で包括的に解析することを目的とする。
本稿では,悪天候,計測ノイズ,デバイス間不一致という3つのグループで16のドメイン外LiDAR破損を特徴とするSemanticKITTI-Cというベンチマークを提案する。
我々は、単純だが効果的な修正によってロバスト性を大幅に向上させるロバストLiDARセグメンテーションモデル(RLSeg)を設計する。
論文 参考訳（メタデータ） (2023-01-03T06:47:31Z) - Attentive Prototypes for Source-free Unsupervised Domain Adaptive 3D
Object Detection [85.11649974840758]
3Dオブジェクト検出ネットワークは、トレーニングされたデータに対してバイアスを受ける傾向がある。
そこで本研究では,ライダーを用いた3次元物体検出器のソースレス・教師なし領域適応のための単一フレーム手法を提案する。
論文 参考訳（メタデータ） (2021-11-30T18:42:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。