論文の概要: Controlling Risk of Retrieval-augmented Generation: A Counterfactual Prompting Framework

• arxiv url: http://arxiv.org/abs/2409.16146v1
• Date: Tue, 24 Sep 2024 14:52:14 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-26 05:27:07.047774
• Title: Controlling Risk of Retrieval-augmented Generation: A Counterfactual Prompting Framework
• Title（参考訳）: 検索強化ジェネレーションのリスク制御--実効的プロンプティングフレームワーク
• Authors: Lu Chen, Ruqing Zhang, Jiafeng Guo, Yixing Fan, Xueqi Cheng,
• Abstract要約: 我々は、RAGモデルの予測が誤りであり、現実のアプリケーションにおいて制御不能なリスクをもたらす可能性がどの程度あるかに焦点を当てる。 本研究は,RAGの予測に影響を及ぼす2つの重要な潜伏要因を明らかにする。 我々は,これらの要因をモデルに誘導し,その応答に与える影響を解析する,反実的プロンプトフレームワークを開発した。
• 参考スコア（独自算出の注目度）: 77.45983464131977
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Retrieval-augmented generation (RAG) has emerged as a popular solution to mitigate the hallucination issues of large language models. However, existing studies on RAG seldom address the issue of predictive uncertainty, i.e., how likely it is that a RAG model's prediction is incorrect, resulting in uncontrollable risks in real-world applications. In this work, we emphasize the importance of risk control, ensuring that RAG models proactively refuse to answer questions with low confidence. Our research identifies two critical latent factors affecting RAG's confidence in its predictions: the quality of the retrieved results and the manner in which these results are utilized. To guide RAG models in assessing their own confidence based on these two latent factors, we develop a counterfactual prompting framework that induces the models to alter these factors and analyzes the effect on their answers. We also introduce a benchmarking procedure to collect answers with the option to abstain, facilitating a series of experiments. For evaluation, we introduce several risk-related metrics and the experimental results demonstrate the effectiveness of our approach.
• Abstract（参考訳）: Retrieval-augmented Generation (RAG) は、大規模言語モデルの幻覚を緩和するための一般的なソリューションとして登場した。 しかしながら、RAGに関する既存の研究は予測の不確実性の問題、すなわちRAGモデルの予測が誤りであり、現実の応用において制御不能なリスクをもたらす可能性がほとんどない。 本研究では,リスク管理の重要性を強調し,RAGモデルが信頼性の低い質問に対して積極的に回答を拒むことを確実にする。 本研究は,RAGの予測における信頼性に影響を及ぼす2つの重要な潜伏要因を同定した。 これら2つの要因に基づいてRAGモデルを信頼度の評価に導くために,これらの因子をモデルに誘導し,その応答に与える影響を解析するファクトファクトプロンプトフレームワークを開発した。 また、一連の実験を円滑に実施し、回答を棄却するオプションで回答を収集するベンチマーク手順も導入する。 評価には,いくつかのリスク関連指標を導入し,提案手法の有効性を実証した。

関連論文リスト

• Toward Robust RALMs: Revealing the Impact of Imperfect Retrieval on Retrieval-Augmented Language Models [5.10832476049103]
  提案手法では,ALMを実世界の実例と混同しうるシナリオを3つ同定する。 我々は,新たな敵攻撃法,生成モデルに基づくADVersarial attack (GenADV) と,付加文書(RAD)に基づく新しい計量ロバストネスを提案する。 以上の結果から,ALMは文書集合の未解決性や矛盾を識別できないことが多く,幻覚につながることが多かった。
  論文  参考訳（メタデータ） (2024-10-19T13:40:33Z)
• Trustworthiness in Retrieval-Augmented Generation Systems: A Survey [59.26328612791924]
  Retrieval-Augmented Generation (RAG)は、大規模言語モデル(LLM)の開発において、急速に重要なパラダイムへと成長してきた。 本稿では,RAGシステムの信頼性を,事実性,堅牢性,公正性,透明性,説明責任,プライバシの6つの面で評価する統一的な枠組みを提案する。
  論文  参考訳（メタデータ） (2024-09-16T09:06:44Z)
• RAGEval: Scenario Specific RAG Evaluation Dataset Generation Framework [69.4501863547618]
  本稿では,様々なシナリオにまたがってRAGシステムを評価するためのフレームワークであるRAGvalを紹介する。 事実の正確性に着目し, 完全性, 幻覚, 不適切性の3つの新しい指標を提案する。 実験結果から, RAGEvalは, 生成した試料の明瞭度, 安全性, 適合性, 豊かさにおいて, ゼロショット法とワンショット法より優れていた。
  論文  参考訳（メタデータ） (2024-08-02T13:35:11Z)
• Black-Box Opinion Manipulation Attacks to Retrieval-Augmented Generation of Large Language Models [21.01313168005792]
  我々は、意見操作のためのブラックボックス攻撃に直面した場合、検索強化生成(RAG)モデルの脆弱性を明らかにする。 このような攻撃がユーザの認知と意思決定に与える影響について検討する。
  論文  参考訳（メタデータ） (2024-07-18T17:55:55Z)
• Challenges and Considerations in the Evaluation of Bayesian Causal Discovery [49.0053848090947]
  因果発見の不確実性を表現することは、実験設計において重要な要素であり、より広く、安全で信頼性の高い因果決定のために重要である。 単一の推定因果グラフとモデルパラメータによる評価に依存する非ベイズ因果発見とは異なり、因果発見はその量の性質に起因する課題を提示する。 評価に最も適した指標についてのコンセンサスはない。
  論文  参考訳（メタデータ） (2024-06-05T12:45:23Z)
• C-RAG: Certified Generation Risks for Retrieval-Augmented Language Models [57.10361282229501]
  RAGモデルの生成リスクを認証する最初のフレームワークであるC-RAGを提案する。 具体的には、RAGモデルに対して共形リスク分析を行い、生成リスクの上限以上の信頼度を認定する。 検索モデルと変圧器の品質が非自明な場合, RAG は単一の LLM よりも低い共形生成リスクを達成できることを示す。
  論文  参考訳（メタデータ） (2024-02-05T16:46:16Z)
• Less is More: Mitigate Spurious Correlations for Open-Domain Dialogue Response Generation Models by Causal Discovery [52.95935278819512]
  本研究で得られたCGDIALOGコーパスに基づくオープンドメイン応答生成モデルのスプリアス相関に関する最初の研究を行った。 因果探索アルゴリズムに着想を得て,反応生成モデルの学習と推論のための新しいモデル非依存手法を提案する。
  論文  参考訳（メタデータ） (2023-03-02T06:33:48Z)
• Two steps to risk sensitivity [4.974890682815778]
  条件付きバリュー・アット・リスク(CVaR)は、人間と動物の計画のモデル化のためのリスク尺度である。 CVaRに対する従来の分布的アプローチを逐次的に導入し、人間の意思決定者の選択を再分析する。 次に,リスク感度,すなわち時間的整合性,さらに重要な特性について考察し,CVaRの代替案を示す。
  論文  参考訳（メタデータ） (2021-11-12T16:27:47Z)
• Feedback Effects in Repeat-Use Criminal Risk Assessments [0.0]
  リスクは、単発テストで捉えられていない方法で、シーケンシャルな決定を伝達できることを示します。 リスクアセスメントツールは、非常に複雑でパスに依存したプロセスで動作し、歴史的な不平等が引き起こされる。
  論文  参考訳（メタデータ） (2020-11-28T06:40:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。