Fugu-MT 論文翻訳(概要): Trustworthiness in Retrieval-Augmented Generation Systems: A Survey

論文の概要: Trustworthiness in Retrieval-Augmented Generation Systems: A Survey

arxiv url: http://arxiv.org/abs/2409.10102v1
Date: Mon, 16 Sep 2024 09:06:44 GMT
ステータス: 処理完了
システム内更新日: 2024-09-17 16:09:48.758709
Title: Trustworthiness in Retrieval-Augmented Generation Systems: A Survey
Title（参考訳）: 検索型世代システムにおける信頼感:調査
Authors: Yujia Zhou, Yan Liu, Xiaoxi Li, Jiajie Jin, Hongjin Qian, Zheng Liu, Chaozhuo Li, Zhicheng Dou, Tsung-Yi Ho, Philip S. Yu,
Abstract要約: Retrieval-Augmented Generation (RAG)は、大規模言語モデル(LLM)の開発において、急速に重要なパラダイムへと成長してきた。本稿では,RAGシステムの信頼性を,事実性,堅牢性,公正性,透明性,説明責任,プライバシの6つの面で評価する統一的な枠組みを提案する。
参考スコア（独自算出の注目度）: 59.26328612791924
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Retrieval-Augmented Generation (RAG) has quickly grown into a pivotal paradigm in the development of Large Language Models (LLMs). While much of the current research in this field focuses on performance optimization, particularly in terms of accuracy and efficiency, the trustworthiness of RAG systems remains an area still under exploration. From a positive perspective, RAG systems are promising to enhance LLMs by providing them with useful and up-to-date knowledge from vast external databases, thereby mitigating the long-standing problem of hallucination. While from a negative perspective, RAG systems are at the risk of generating undesirable contents if the retrieved information is either inappropriate or poorly utilized. To address these concerns, we propose a unified framework that assesses the trustworthiness of RAG systems across six key dimensions: factuality, robustness, fairness, transparency, accountability, and privacy. Within this framework, we thoroughly review the existing literature on each dimension. Additionally, we create the evaluation benchmark regarding the six dimensions and conduct comprehensive evaluations for a variety of proprietary and open-source models. Finally, we identify the potential challenges for future research based on our investigation results. Through this work, we aim to lay a structured foundation for future investigations and provide practical insights for enhancing the trustworthiness of RAG systems in real-world applications.
Abstract（参考訳）: Retrieval-Augmented Generation (RAG) は、Large Language Models (LLM) の開発において、急速に重要なパラダイムへと成長してきた。この分野における現在の研究の多くは、特に精度と効率の観点からパフォーマンス最適化に重点を置いているが、RAGシステムの信頼性はいまだ探究中である。肯定的な観点から、RAGシステムは、巨大な外部データベースから有用かつ最新の知識を提供することで、LLMを強化することを約束しており、長期にわたる幻覚の問題を緩和している。ネガティブな視点では、RAGシステムは、検索された情報が不適切であるか、あるいは不十分である場合、望ましくないコンテンツを生成するリスクがある。これらの懸念に対処するため、我々は、現実性、堅牢性、公正性、透明性、説明責任、プライバシーの6つの主要な側面にわたるRAGシステムの信頼性を評価する統一的なフレームワークを提案する。本フレームワークでは,各次元の既存文献を網羅的にレビューする。さらに,6次元評価ベンチマークを作成し,各種プロプライエタリおよびオープンソースモデルの総合評価を行う。最後に, 今後の研究課題について, 調査結果に基づいて検討する。本研究は,今後の研究の基盤を築き,実世界のアプリケーションにおけるRAGシステムの信頼性を高めるための実践的な洞察を提供することを目的としている。

関連論文リスト

Towards Trustworthy Retrieval Augmented Generation for Large Language Models: A Survey [92.36487127683053]
Retrieval-Augmented Generation (RAG)は、AIGC(AIGC)の課題に対処するために設計された高度な技術である。 RAGは信頼性と最新の外部知識を提供し、幻覚を減らし、幅広いタスクで関連するコンテキストを保証する。 RAGの成功と可能性にもかかわらず、最近の研究により、RAGパラダイムはプライバシーの懸念、敵対的攻撃、説明責任の問題など、新たなリスクももたらしていることが示されている。
論文参考訳（メタデータ） (2025-02-08T06:50:47Z)
Unanswerability Evaluation for Retrieval Augmented Generation [74.3022365715597]
UAEval4RAGは、RAGシステムが解答不能なクエリを効果的に処理できるかどうかを評価するために設計されたフレームワークである。我々は、6つの未解決カテゴリを持つ分類を定義し、UAEval4RAGは、多様で挑戦的なクエリを自動的に合成する。
論文参考訳（メタデータ） (2024-12-16T19:11:55Z)
Towards Understanding Retrieval Accuracy and Prompt Quality in RAG Systems [7.457969700747294]
我々は、RAGシステムのメカニズムをよりよく理解するために、初期の探索的研究を行う。本稿では,検索用文書の種類,検索用リコール,文書選択,プロンプト技術という4つの設計要素に着目した。本研究は,各因子がシステム正当性と信頼にどのように影響するかを明らかにし,正確で信頼性の高いRAGシステムの開発に有用な知見を提供する。
論文参考訳（メタデータ） (2024-11-29T04:25:31Z)
Towards Knowledge Checking in Retrieval-augmented Generation: A Representation Perspective [48.40768048080928]
Retrieval-Augmented Generation (RAG) システムは,Large Language Models (LLM) の性能向上を約束している。本研究の目的は,RAGシステムにおける知識チェックに関する体系的研究を提供することである。
論文参考訳（メタデータ） (2024-11-21T20:39:13Z)
CoFE-RAG: A Comprehensive Full-chain Evaluation Framework for Retrieval-Augmented Generation with Enhanced Data Diversity [23.48167670445722]
Retrieval-Augmented Generation (RAG) は、外部知識ソースから取得したコンテキストの助けを借りて、より正確で信頼性の高い回答を生成することを目的としている。これらのシステムの評価は, 以下の問題により, 依然として重要な研究領域である。 RAGパイプライン全体にわたって徹底的な評価を容易にするために,包括的全チェーン評価(CoFE-RAG)フレームワークを提案する。
論文参考訳（メタデータ） (2024-10-16T05:20:32Z)
Controlling Risk of Retrieval-augmented Generation: A Counterfactual Prompting Framework [77.45983464131977]
我々は、RAGモデルの予測が誤りであり、現実のアプリケーションにおいて制御不能なリスクをもたらす可能性がどの程度あるかに焦点を当てる。本研究は,RAGの予測に影響を及ぼす2つの重要な潜伏要因を明らかにする。我々は,これらの要因をモデルに誘導し,その応答に与える影響を解析する,反実的プロンプトフレームワークを開発した。
論文参考訳（メタデータ） (2024-09-24T14:52:14Z)
RAGEval: Scenario Specific RAG Evaluation Dataset Generation Framework [69.4501863547618]
本稿では,様々なシナリオにまたがってRAGシステムを評価するためのフレームワークであるRAGvalを紹介する。事実の正確性に着目し, 完全性, 幻覚, 不適切性の3つの新しい指標を提案する。実験結果から, RAGEvalは, 生成した試料の明瞭度, 安全性, 適合性, 豊かさにおいて, ゼロショット法とワンショット法より優れていた。
論文参考訳（メタデータ） (2024-08-02T13:35:11Z)
The Power of Noise: Redefining Retrieval for RAG Systems [19.387105120040157]
Retrieval-Augmented Generation (RAG) は、大規模言語モデルの事前学習知識を超えて拡張する方法として登場した。我々は、RAGソリューションが取得すべきパスIRシステムの種類に焦点を当てる。
論文参考訳（メタデータ） (2024-01-26T14:14:59Z)
Retrieval-Augmented Generation for Large Language Models: A Survey [17.82361213043507]
大きな言語モデル(LLM)には印象的な能力があるが、幻覚のような課題に直面している。 Retrieval-Augmented Generation (RAG) は,外部データベースからの知識を取り入れた,有望なソリューションとして登場した。
論文参考訳（メタデータ） (2023-12-18T07:47:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。