論文の概要: RbFT: Robust Fine-tuning for Retrieval-Augmented Generation against Retrieval Defects

• arxiv url: http://arxiv.org/abs/2501.18365v1
• Date: Thu, 30 Jan 2025 14:15:09 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-31 15:15:26.174053
• Title: RbFT: Robust Fine-tuning for Retrieval-Augmented Generation against Retrieval Defects
• Title（参考訳）: RbFT:検索欠陥に対する検索強化ジェネレーションのためのロバストファインチューニング
• Authors: Yiteng Tu, Weihang Su, Yujia Zhou, Yiqun Liu, Qingyao Ai,
• Abstract要約: 本稿では,検索欠陥に対する大規模言語モデルのレジリエンスを高めるために,Robust Fine-Tuning (RbFT)を提案する。 実験の結果,RbFTは多様な検索条件におけるRAGシステムのロバスト性を大幅に向上させることがわかった。
• 参考スコア（独自算出の注目度）: 12.5122702720856
• License:
• Abstract: Retrieval-augmented generation (RAG) enhances large language models (LLMs) by integrating external knowledge retrieved from a knowledge base. However, its effectiveness is fundamentally constrained by the reliability of both the retriever and the knowledge base. In real-world scenarios, imperfections in these components often lead to the retrieval of noisy, irrelevant, or misleading counterfactual information, ultimately undermining the trustworthiness of RAG systems. To address this challenge, we propose Robust Fine-Tuning (RbFT), a method designed to enhance the resilience of LLMs against retrieval defects through two targeted fine-tuning tasks. Experimental results demonstrate that RbFT significantly improves the robustness of RAG systems across diverse retrieval conditions, surpassing existing methods while maintaining high inference efficiency and compatibility with other robustness techniques.
• Abstract（参考訳）: Retrieval-augmented Generation (RAG)は、知識ベースから取得した外部知識を統合することにより、大規模言語モデル(LLM)を強化する。 しかし、その有効性は、検索者と知識ベースの両方の信頼性によって根本的に制約されている。 現実のシナリオでは、これらのコンポーネントの不完全性は、しばしばノイズ、無関係、または誤認を招き、RAGシステムの信頼性を損なう。 この課題に対処するために,LLMの検索欠陥に対するレジリエンスを高める手法であるRobust Fine-Tuning (RbFT) を提案する。 実験の結果,RbFTは様々な検索条件にまたがるRAGシステムのロバスト性を大幅に向上し,既存の手法を超越し,高い推論効率と他のロバスト性技術との整合性を維持した。

関連論文リスト

• Adversarial Robustness Overestimation and Instability in TRADES [4.063518154926961]
  TRADES は多クラス分類タスクにおける AutoAttack テストの精度と比較して,PGD の検証精度が極めて高い場合が多い。 この矛盾は、勾配マスキングに結びつく可能性のある、これらのインスタンスに対するロバストネスのかなりの過大評価を浮き彫りにする。
  論文  参考訳（メタデータ） (2024-10-10T07:32:40Z)
• Astute RAG: Overcoming Imperfect Retrieval Augmentation and Knowledge Conflicts for Large Language Models [20.605487145370752]
  現実的な条件下での制御分析により,不完全検索の増大は避けられず,極めて有害である可能性が示唆された。 本稿では,LLMの内部知識から必須情報を適応的に抽出する新しいRAG手法であるAstute RAGを提案する。 さらに分析した結果, Astute RAG は知識紛争を効果的に解決し,RAG システムの信頼性と信頼性を向上させることが判明した。
  論文  参考訳（メタデータ） (2024-10-09T17:59:58Z)
• UncertaintyRAG: Span-Level Uncertainty Enhanced Long-Context Modeling for Retrieval-Augmented Generation [93.38604803625294]
  IncertaintyRAG, a novel approach for long-context Retrieval-Augmented Generation (RAG)について紹介する。 我々は、SNR(Signal-to-Noise Ratio)ベースのスパン不確実性を用いて、テキストチャンク間の類似性を推定する。 不確かさRAGはLLaMA-2-7Bでベースラインを2.03%上回り、最先端の結果を得る。
  論文  参考訳（メタデータ） (2024-10-03T17:39:38Z)
• Controlling Risk of Retrieval-augmented Generation: A Counterfactual Prompting Framework [77.45983464131977]
  我々は、RAGモデルの予測が誤りであり、現実のアプリケーションにおいて制御不能なリスクをもたらす可能性がどの程度あるかに焦点を当てる。 本研究は,RAGの予測に影響を及ぼす2つの重要な潜伏要因を明らかにする。 我々は,これらの要因をモデルに誘導し,その応答に与える影響を解析する,反実的プロンプトフレームワークを開発した。
  論文  参考訳（メタデータ） (2024-09-24T14:52:14Z)
• Trustworthiness in Retrieval-Augmented Generation Systems: A Survey [59.26328612791924]
  Retrieval-Augmented Generation (RAG)は、大規模言語モデル(LLM)の開発において、急速に重要なパラダイムへと成長してきた。 本稿では,RAGシステムの信頼性を,事実性,堅牢性,公正性,透明性,説明責任,プライバシの6つの面で評価する統一的な枠組みを提案する。
  論文  参考訳（メタデータ） (2024-09-16T09:06:44Z)
• RAGEval: Scenario Specific RAG Evaluation Dataset Generation Framework [69.4501863547618]
  本稿では,様々なシナリオにまたがってRAGシステムを評価するためのフレームワークであるRAGvalを紹介する。 事実の正確性に着目し, 完全性, 幻覚, 不適切性の3つの新しい指標を提案する。 実験結果から, RAGEvalは, 生成した試料の明瞭度, 安全性, 適合性, 豊かさにおいて, ゼロショット法とワンショット法より優れていた。
  論文  参考訳（メタデータ） (2024-08-02T13:35:11Z)
• Synchronous Faithfulness Monitoring for Trustworthy Retrieval-Augmented Generation [96.78845113346809]
  Retrieval-augmented Language Model (RALMs) は、知識集約型タスクにおいて、高い性能と幅広い適用性を示している。 本稿では,非偽文の検出に微細な復号力学を利用する軽量モニタであるSynCheckを提案する。 また、長文検索拡張生成のためのビームサーチによって導かれる忠実度指向の復号アルゴリズムであるFODを導入する。
  論文  参考訳（メタデータ） (2024-06-19T16:42:57Z)
• Complexity-Aware Deep Symbolic Regression with Robust Risk-Seeking Policy Gradients [20.941908494137806]
  本稿では,データ駆動型数式発見の堅牢性と解釈可能性を高めるための,新しい記号回帰手法を提案する。 DSRは最先端の手法であるDSRの成功にもかかわらず、リカレントニューラルネットワーク上に構築されており、純粋にデータ適合性によってガイドされている。 学習性能を向上させるために,トランスフォーマーとブロードスファーストサーチを併用した。
  論文  参考訳（メタデータ） (2024-06-10T19:29:10Z)
• Not All Contexts Are Equal: Teaching LLMs Credibility-aware Generation [47.42366169887162]
  Credibility-Aware Generation (CAG) は、信頼性に基づいて情報を識別・処理する能力を備えたモデルを提供することを目的としている。 提案モデルは,生成に対する信頼性を効果的に理解し活用し,検索強化により他のモデルよりも大幅に優れ,ノイズの多い文書による破壊に対するレジリエンスを示す。
  論文  参考訳（メタデータ） (2024-04-10T07:56:26Z)
• Towards Safe Reinforcement Learning via Constraining Conditional Value-at-Risk [30.229387511344456]
  本稿では,CVaR を所定の閾値以下に保ち,リスクに敏感な制約付き最適化問題を定式化する CVaR-Proximal-Policy-Optimization (CPPO) の新たな強化学習アルゴリズムを提案する。 実験の結果,CPPOは高い累積報酬を達成し,観察および遷移障害に対してより堅牢であることがわかった。
  論文  参考訳（メタデータ） (2022-06-09T11:57:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。