論文の概要: Sieve and Sage: Efficient Distraction Filtering for Reliable RALM Abstention
- arxiv url: http://arxiv.org/abs/2609.35794v1
- Date: Thu, 17 Sep 2026 04:59:56 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-05 14:48:16.269379
- Title: Sieve and Sage: Efficient Distraction Filtering for Reliable RALM Abstention
- Title(参考訳): Sieve and Sage: Reliable RALM Absstention のための高効率ディストラクションフィルタ
- Abstract要約: 我々は、検索障害を、2つの異なる状態に分解する: (i) 要求された証拠が欠落している不可解な状態、 (ii) 関連する証拠が矛盾、否定、または敵対的な情報と混在している注意深い状態。
この分解に基づいて、我々は検索した文書集合をスクリーニングして証拠を逸脱させる軽量モジュール(Sieve)を導入し、そこでは、グラウンドドジェネレーションと棄権のためのコストの高いLCM(Sage)を起動する。
我々のSieveとSageフレームワークは、一般的なドメインと高いドメインの両方で評価され、意図的にノイズを検知し、システム精度を最大69.4ポイント改善し、Macro-F1を5倍改善します。
- 参考スコア(独自算出の注目度): 10.160540819250295
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Just as Socrates recognized the limits of his own knowledge, Retrieval-Augmented Language Models (RALMs) should learn to abstain when the retrieved evidence cannot support a reliable response. Existing approaches largely rely on monolithic LLMs to handle heterogeneous retrieval failures in a single step, resulting in limited abstention performance and high computational costs. We instead decompose retrieval failures into two distinct states: (i) the unanswerable state, where the required evidence is absent, and (ii) the distracted state, where relevant evidence is mixed with conflicting, negated, or adversarial information. Based on this decomposition, we introduce a lightweight module (Sieve) that screens retrieved document sets for distracting evidence before invoking a costly LLM (Sage) for grounded generation and abstention. Evaluated across both general and high-stakes expert domains, our Sieve and Sage framework preemptively detects distracting noise, improving system accuracy by up to 69.4 percentage points and Macro-F1 by 55.2 percentage points compared to one-stage baselines. Furthermore, it achieves up to a 1.99x speedup, establishing a highly efficient and reliable abstention pipeline for RALM with abstention.
- Abstract(参考訳): ソクラテスが自身の知識の限界を認識したように、検索された証拠が信頼できる応答をサポートできない場合に、検索言語モデル(RALMs)は断念することを学ぶべきである。
既存のアプローチは、単一ステップで不均一な検索障害を処理するために、モノリシックなLLMに大きく依存している。
代わりに、検索失敗を2つの異なる状態に分解する。
一 必要な証拠が欠如している不可解な状態
二 関係する証拠が対立、否定又は敵対する情報と混ざり合っている注意散らされた状態
この分解に基づいて、我々は検索した文書集合をスクリーニングして証拠を逸脱させる軽量モジュール(Sieve)を導入し、そこでは、グラウンドドジェネレーションと棄権のためのコストの高いLCM(Sage)を起動する。
我々のSieveとSageフレームワークは、一般的な専門家ドメインと高い専門家ドメインの両方で評価され、事前にノイズを検知し、システム精度を69.4ポイント改善し、Macro-F1は1段ベースラインに比べて55.2ポイント向上した。
さらに、最大1.99倍のスピードアップを実現し、高効率で信頼性の高いALMの停止パイプラインを確立する。
関連論文リスト
- DuplexSpeechBench-Document Grounding: Benchmarking Document Grounding and Hallucinations in Voice Agents [79.7243119806208]
本稿では,音声エージェントにおける文書のグラウンド化を評価するベンチマークであるDSB-Document GroundingBench(DSB-Document Grounding)を紹介する。
ベンチマークには、5つの専門ドメインをカバーする50の文書を逆検証した1,636のQAペアが含まれている。
論文 参考訳(メタデータ) (2026-09-29T01:43:55Z) - Beyond Saying Less: Fine-Grained Alignment for Informative and Faithful Vision-Language Models [71.46915245859357]
物体幻覚は、大きな視覚言語モデルにとって依然として大きな課題である。
本稿では,データレベルでの高密度報酬信号と,アルゴリズムレベルでの正確な信用割当を結合する微粒化アライメントフレームワークを提案する。
本手法は, 識別評価において, 顕著な性能向上を図りながら, 生成タスクにおける高情報かつ忠実な記述を生成する。
論文 参考訳(メタデータ) (2026-09-28T14:37:33Z) - Exploring and Bridging Knowledge Holes in Unlearned Multimodal Large Language Models [23.51933427959403]
そこで本研究では,ベニグニグニグニグニグニグニグニグニグニグニグニグニグニグニグニグニグニグニグニグニグニグニグニグニグニグニグナグニグニグニグニグニグニグニグナグニグナグニグナグニグニグナグニグナグナグニグ
また、アンコール型正規化による選択的保護を提案し、アンカー型アクティベーションフィルタリングにより一般的なパターンを保護する。
SafeEraserの実験では,標準ベースラインの50%以下に比べ,SPARがバニラ応答品質の98%以上を回復することが示された。
論文 参考訳(メタデータ) (2026-08-03T07:57:34Z) - BALTO: Balanced Token-Level Policy Optimization for Hallucination Mitigation [51.22170603236523]
幻覚緩和のためのバランスドトークンレベルの政策最適化フレームワークを提案する。
BalTOはチェック可能な事実クレームを抽出し、参照コンテキストに対して検証し、トークンレベルのラベルに対するクレームレベルの判断をプロジェクトする。
ConFiQA、RAGTruth、FinLLM-Evalの実験では、BALTOは6つのモデルで最高の忠実さを達成している。
論文 参考訳(メタデータ) (2026-06-14T16:25:59Z) - Towards Lightweight Reliability: Using Soft Prompts for Hallucination Mitigation in Large Language Models [5.019869660665509]
大規模言語モデル(LLM)は様々な領域で広く採用されているが、その信頼性はしばしば幻覚によって損なわれている。
高リスク領域では、これらのエラーは信頼を減らし、現実世界のリスクをもたらす。
本稿では、ソフトプロンプトを用いて幻覚的コンテンツを緩和し、責任ある棄権を促進するパラメータ効率のアプローチを提案する。
論文 参考訳(メタデータ) (2026-05-30T23:02:33Z) - Knowing When Not to Answer: Evaluating Abstention in Multimodal Reasoning Systems [52.83669998269706]
テキストのみの設定で研究されてきたが、まだマルチモーダルに探索されていない。
現在のベンチマークでは、未解決性を無視するか、現実的な障害モードを見逃す粗末なメソッドに依存している。
MM-AQAは、2つの軸に沿った変換によって解答不能なインスタンスを解答可能なインスタンスから構築するベンチマークである。
論文 参考訳(メタデータ) (2026-04-16T09:23:22Z) - GRACE: Reinforcement Learning for Grounded Response and Abstention under Contextual Evidence [9.80421132842862]
Retrieval-Augmented Generation (RAG)は、外部知識を統合してLarge Language Models (LLM)を強化する
RAGは、明確な根拠のない正しい答えを提供することと、検索された文脈が不十分な場合に製造された応答を生成するという2つの重大な欠陥に感受性がある。
本稿では,両方の欠陥を同時に軽減する強化学習フレームワークGRACEを提案する。
論文 参考訳(メタデータ) (2026-01-08T02:47:33Z) - FaStfact: Faster, Stronger Long-Form Factuality Evaluations in LLMs [34.87719459551127]
textbfFaStfactは評価フレームワークであり、人間の評価と時間/時間効率を最大限に調整する。
FaStfactはまず、信頼に基づく事前検証と統合されたチャンクレベルのクレーム抽出を採用する。
検索と検証のために、クロールされたWebページから文書レベルの証拠を収集し、検証中に選択的に検索する。
論文 参考訳(メタデータ) (2025-10-13T19:00:15Z) - GRAIT: Gradient-Driven Refusal-Aware Instruction Tuning for Effective Hallucination Mitigation [62.63014905981601]
Refusal-Aware Instruction Tuning (RAIT) は、Large Language Models (LLM) を強化することを目的としている。
効果的なRAITは、幻覚を最小化するために、未知の質問を効果的に拒否すること、正しく答えられる質問が拒否されないように過度に拒否すること、の2つの主要な課題に対処しなければならない。
GraITは幻覚を効果的に最小化するために勾配駆動型サンプル選択を採用し、(2)微調整中に適応的な重み付け機構を導入し、過剰な拒絶のリスクを低減する。
論文 参考訳(メタデータ) (2025-02-09T14:11:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。