論文の概要: ATM: Adversarial Tuning Multi-agent System Makes a Robust Retrieval-Augmented Generator
- arxiv url: http://arxiv.org/abs/2405.18111v1
- Date: Tue, 28 May 2024 12:18:50 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-29 18:48:53.597589
- Title: ATM: Adversarial Tuning Multi-agent System Makes a Robust Retrieval-Augmented Generator
- Title(参考訳): ATM: 逆調整マルチエージェントシステムでロバストな検索用発電機を作る
- Authors: Junda Zhu, Lingyong Yan, Haibo Shi, Dawei Yin, Lei Sha,
- Abstract要約: 大言語モデル(LLM)は、知識集約的な質問に直面する幻覚の緩和において、検索の増強から多くの恩恵を受けていることが証明されている。
Retrieval-augmented Generation (RAG) は、意味関連文書をジェネレータの入力コンテキストとして利用するIRベースの手法を採用する。
- 参考スコア(独自算出の注目度): 22.81784849762196
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large language model (LLM) has proven to benefit a lot from retrieval augmentation in alleviating hallucinations confronted with knowledge-intensive questions. Retrieval-augmented generation (RAG) adopts IR-based techniques utilizing semantic-relevant documents as the generator's input context and realizes external knowledge injection. However, on today's Internet which is flooded with content generated by LLMs, there are too many "related yet useless" documents or even fake knowledge fabricated by LLMs, which will introduce extra noise to the generator and distract it from giving correct results. To this end, we regard the training of the RAG generator model as a multi-agent adversarial-defensive system, guiding the generator to have a better taste of whether a specific document helps answer the question through the Adversarial Tuning in a Multi-agent (ATM) system to strengthen the generator's robustness in an RAG pipeline. After rounds of multi-agent iterative tuning, we find that the ATM Generator can eventually discriminate useful documents amongst LLM fabrications and achieve better performance than strong baselines.
- Abstract(参考訳): 大言語モデル(LLM)は、知識集約的な質問に直面する幻覚の緩和において、検索の増強から多くの恩恵を受けていることが証明されている。
Retrieval-augmented Generation (RAG)は、意味関連文書をジェネレータの入力コンテキストとして利用し、外部知識注入を実現する。
しかし、LLMが生成したコンテンツが溢れている今日のインターネットでは、LLMが生成した「関連性はあるが役に立たない」文書や、LLMが作成した偽の知識が多すぎるため、ジェネレータに余分なノイズを発生させ、正しい結果を出すのを妨げてしまう。
そこで本研究では,RAG生成モデルのトレーニングをマルチエージェント対逆防御システムとみなし,RAGパイプラインにおけるジェネレータのロバスト性を高めるために,ATM(Adversarial Tuning)システムにおいて,特定の文書が質問に答えるのに役立つかどうかを判断する。
マルチエージェント反復チューニングのラウンドの後、ATMジェネレータは最終的にLDM製造において有用な文書を識別し、強力なベースラインよりも優れた性能を達成できることがわかった。
関連論文リスト
- Speculative RAG: Enhancing Retrieval Augmented Generation through Drafting [68.90949377014742]
Speculative RAG(投機的RAG)は、より大規模なジェネラリストLMを利用して、より小さな蒸留専門のLMによって並列に生成された複数のRAGドラフトを効率よく検証するフレームワークである。
提案手法は,より小さな専門家のLMにドラフト作成を委譲することでRAGを加速し,より大きなジェネラリストのLMがドラフトに1回の検証パスを実行する。
PubHealthの従来のRAGシステムと比較して、レイテンシを51%削減しながら、最大12.97%の精度向上を実現している。
論文 参考訳(メタデータ) (2024-07-11T06:50:19Z) - Towards a Search Engine for Machines: Unified Ranking for Multiple Retrieval-Augmented Large Language Models [21.115495457454365]
uRAGは、複数の下流検索拡張生成システム(RAG)を提供する統合検索エンジンを備えたフレームワークである。
我々は、訓練に従事する18のRAGシステムと、uRAGを検索エンジンの新規ユーザとして使用する18の未知のRAGシステムからなる大規模な実験エコシステムを構築した。
論文 参考訳(メタデータ) (2024-04-30T19:51:37Z) - D$^3$: Scaling Up Deepfake Detection by Learning from Discrepancy [11.239248133240126]
我々は、より一般化と堅牢性のある普遍的なディープフェイク検出システムに向けた一歩を踏み出した。
本稿では,複数のジェネレータから汎用的なアーティファクトを学習することを目的として,Drepancy Deepfake Detectorフレームワークを提案する。
本フレームワークは,ID性能を維持しながら,現在のSOTA法と比較してOOD検査の精度を5.3%向上させる。
論文 参考訳(メタデータ) (2024-04-06T10:45:02Z) - Evaluating Robustness of Generative Search Engine on Adversarial Factual Questions [89.35345649303451]
生成検索エンジンは、人々がオンラインで情報を求める方法を変える可能性を秘めている。
しかし,既存の大規模言語モデル(LLM)が支援する生成検索エンジンからの応答は必ずしも正確ではない。
検索強化世代は、敵がシステム全体を回避できるため、安全上の懸念を増す。
論文 参考訳(メタデータ) (2024-02-25T11:22:19Z) - Corrective Retrieval Augmented Generation [39.371798735872865]
Retrieval-augmented Generation (RAG) は、検索された文書の関連性に大きく依存しており、検索が失敗した場合のモデルがどのように振る舞うかについての懸念を提起する。
生成の堅牢性を改善するために,CRAG(Corrective Retrieval Augmented Generation)を提案する。
CRAGはプラグアンドプレイであり、様々なRAGベースのアプローチとシームレスに結合できる。
論文 参考訳(メタデータ) (2024-01-29T04:36:39Z) - CCA: Collaborative Competitive Agents for Image Editing [59.54347952062684]
本稿では,CCA(Collaborative Competitive Agents)の新たな生成モデルを提案する。
複数のLarge Language Models (LLM) ベースのエージェントを使って複雑なタスクを実行する。
この論文の主な貢献は、制御可能な中間ステップと反復最適化を備えたマルチエージェントベースの生成モデルの導入である。
論文 参考訳(メタデータ) (2024-01-23T11:46:28Z) - Self-RAG: Learning to Retrieve, Generate, and Critique through
Self-Reflection [74.51523859064802]
我々は、自己回帰検索拡張生成(Self-RAG)と呼ばれる新しいフレームワークを導入する。
自己RAGは、検索と自己回帰によってLMの品質と事実性を高める。
様々なタスクセットにおいて、最先端のLCMや検索強化モデルよりも大幅に優れています。
論文 参考訳(メタデータ) (2023-10-17T18:18:32Z) - Retrieval-Generation Alignment for End-to-End Task-Oriented Dialogue
System [40.33178881317882]
本稿では、応答生成からの信号を利用して、知覚的レトリバーの学習に最大限の限界確率を適用することを提案する。
本稿では,T5とChatGPTをバックボーンモデルとして用いた3つのタスク指向対話データセットについて検討する。
論文 参考訳(メタデータ) (2023-10-13T06:03:47Z) - Enhancing Retrieval-Augmented Large Language Models with Iterative
Retrieval-Generation Synergy [164.83371924650294]
検索と生成を反復的に同期させるIter-RetGenと呼ばれる手法により,高い性能が得られることを示す。
モデル出力は、タスクを完了するために必要なものを示し、より関連する知識を取得するための情報的コンテキストを提供する。
Iter-RetGenプロセスは、すべての知識を全体として取得し、構造的な制約なしに生成時の柔軟性をほとんど保持します。
論文 参考訳(メタデータ) (2023-05-24T16:17:36Z) - Generation-Augmented Retrieval for Open-domain Question Answering [134.27768711201202]
GAR(Generation-Augmented Retrieval)は、オープンドメインの質問に答える機能である。
クエリーに対して多様なコンテキストを生成することは、結果の融合が常により良い検索精度をもたらすので有益であることを示す。
GARは、抽出読取装置を備えた場合、抽出QA設定の下で、自然質問およびトリビアQAデータセットの最先端性能を達成する。
論文 参考訳(メタデータ) (2020-09-17T23:08:01Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。