論文の概要: After Retrieval, Before Generation: Enhancing the Trustworthiness of Large Language Models in RAG

• arxiv url: http://arxiv.org/abs/2505.17118v1
• Date: Wed, 21 May 2025 16:29:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-26 18:08:33.580683
• Title: After Retrieval, Before Generation: Enhancing the Trustworthiness of Large Language Models in RAG
• Title（参考訳）: RAGにおける大規模言語モデルの信頼性向上
• Authors: Xinbang Dai, Huikang Hu, Yuncheng Hua, Jiaqi Li, Yongrui Chen, Rihui Jin, Nan Hu, Guilin Qi,
• Abstract要約: RAGシステムは、内部(パラメトリック)と外部(検索)の知識のバランスをとる際の課題に直面します。 本稿では,大規模言語モデルの包括的応答戦略を動的に決定するBRIDGEフレームワークを提案する。 実験では、BRIDGEはすべてのシナリオでバランスの取れたパフォーマンスを維持しながら、ベースラインを5～15%精度で上回っている。
• 参考スコア（独自算出の注目度）: 13.603907803297561
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Retrieval-augmented generation (RAG) systems face critical challenges in balancing internal (parametric) and external (retrieved) knowledge, especially when these sources conflict or are unreliable. To analyze these scenarios comprehensively, we construct the Trustworthiness Response Dataset (TRD) with 36,266 questions spanning four RAG settings. We reveal that existing approaches address isolated scenarios-prioritizing one knowledge source, naively merging both, or refusing answers-but lack a unified framework to handle different real-world conditions simultaneously. Therefore, we propose the BRIDGE framework, which dynamically determines a comprehensive response strategy of large language models (LLMs). BRIDGE leverages an adaptive weighting mechanism named soft bias to guide knowledge collection, followed by a Maximum Soft-bias Decision Tree to evaluate knowledge and select optimal response strategies (trust internal/external knowledge, or refuse). Experiments show BRIDGE outperforms baselines by 5-15% in accuracy while maintaining balanced performance across all scenarios. Our work provides an effective solution for LLMs' trustworthy responses in real-world RAG applications.
• Abstract（参考訳）: Retrieval-augmented Generation (RAG) システムは、内部(パラメトリック)と外部(検索)の知識のバランスをとる上で重要な課題に直面している。 これらのシナリオを包括的に分析するために、4つのRAG設定にまたがる36,266の質問でTRD(Trustworthiness Response Dataset)を構築した。 既存のアプローチでは,独立したシナリオに対処し,ひとつの知識ソースを優先的に統合するか,あるいは回答を拒否する。 そこで本研究では,大規模言語モデル(LLM)の包括的応答戦略を動的に決定するBRIDGEフレームワークを提案する。 BRIDGEは、ソフトバイアスと呼ばれる適応的な重み付け機構を利用して知識収集を誘導し、続いて最大ソフトバイアス決定木を用いて知識を評価し、最適な応答戦略を選択する。 実験では、BRIDGEはすべてのシナリオでバランスの取れたパフォーマンスを維持しながら、ベースラインを5～15%精度で上回っている。 我々の研究は、現実のRAGアプリケーションにおいてLLMの信頼できる応答に有効なソリューションを提供する。

関連論文リスト

• Trust, But Verify: A Self-Verification Approach to Reinforcement Learning with Verifiable Rewards [67.86091419220816]
  大規模言語モデル(LLM)は複雑な推論において非常に有望である。 一般的な問題は表面的な自己回帰であり、モデルが自身の出力をしっかりと検証できない。 本稿では、RISE(Reinforce Reasoning with Self-Verification)という新しいオンラインRLフレームワークについて紹介する。
  論文  参考訳（メタデータ） (2025-05-19T17:59:31Z)
• On the Influence of Context Size and Model Choice in Retrieval-Augmented Generation Systems [5.69361786082969]
  Retrieval-augmented Generation (RAG)は、大規模言語モデル(LLM)の拡張手法として登場した。 我々は,様々なコンテキストサイズ,BM25,セマンティック検索を検索として評価し,8つの基本LLMについて検討した。 以上の結果から, 最終QA成績は最大15スニペットで着実に改善するが, 停滞あるいは低下がみられた。
  論文  参考訳（メタデータ） (2025-02-20T17:34:34Z)
• CER: Confidence Enhanced Reasoning in LLMs [2.4392539322920763]
  本稿では,大規模言語モデル応答の精度向上を目的とした不確実性認識フレームワークを提案する。 数理推論における数値結果や開領域生成における固有名詞などの中間回答の信頼度を定量化する。 その結果,新しい信頼度集計法の有効性を一貫して検証した。
  論文  参考訳（メタデータ） (2025-02-20T15:16:42Z)
• Unanswerability Evaluation for Retrieval Augmented Generation [74.3022365715597]
  UAEval4RAGは、RAGシステムが解答不能なクエリを効果的に処理できるかどうかを評価するために設計されたフレームワークである。 我々は、6つの未解決カテゴリを持つ分類を定義し、UAEval4RAGは、多様で挑戦的なクエリを自動的に合成する。
  論文  参考訳（メタデータ） (2024-12-16T19:11:55Z)
• Controlling Risk of Retrieval-augmented Generation: A Counterfactual Prompting Framework [77.45983464131977]
  我々は、RAGモデルの予測が誤りであり、現実のアプリケーションにおいて制御不能なリスクをもたらす可能性がどの程度あるかに焦点を当てる。 本研究は,RAGの予測に影響を及ぼす2つの重要な潜伏要因を明らかにする。 我々は,これらの要因をモデルに誘導し,その応答に与える影響を解析する,反実的プロンプトフレームワークを開発した。
  論文  参考訳（メタデータ） (2024-09-24T14:52:14Z)
• Trustworthiness in Retrieval-Augmented Generation Systems: A Survey [59.26328612791924]
  Retrieval-Augmented Generation (RAG)は、大規模言語モデル(LLM)の開発において、急速に重要なパラダイムへと成長してきた。 本稿では,RAGシステムの信頼性を,事実性,堅牢性,公正性,透明性,説明責任,プライバシの6つの面で評価する統一的な枠組みを提案する。
  論文  参考訳（メタデータ） (2024-09-16T09:06:44Z)
• Pistis-RAG: Enhancing Retrieval-Augmented Generation with Human Feedback [41.88662700261036]
  RAGシステムは、セマンティックな関連性だけでは生成品質の向上を保証していない場合に制限に直面している。 我々は、LLMと人間の嗜好をよりよく整合させるために、コンテンツ中心のアプローチで設計された新しいRAGフレームワークであるPristis-RAGを提案する。
  論文  参考訳（メタデータ） (2024-06-21T08:52:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。