論文の概要: RAG and RAU: A Survey on Retrieval-Augmented Language Model in Natural Language Processing

• arxiv url: http://arxiv.org/abs/2404.19543v1
• Date: Tue, 30 Apr 2024 13:14:51 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-01 14:05:41.219136
• Title: RAG and RAU: A Survey on Retrieval-Augmented Language Model in Natural Language Processing
• Title（参考訳）: RAGとRAU:自然言語処理における検索言語モデルの検討
• Authors: Yucheng Hu, Yuxing Lu,
• Abstract要約: 本稿では,検索言語モデル (RALM) に関する総合的な概要の欠如について論じる。 本稿では、Retrievers、Language Models、Augmentationsなど、ALMの本質的なコンポーネントについて論じる。 RALMは、翻訳や対話システムから知識集約アプリケーションまで、様々なタスクにおいて有用性を示す。
• 参考スコア（独自算出の注目度）: 0.2302001830524133
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large Language Models (LLMs) have catalyzed significant advancements in Natural Language Processing (NLP), yet they encounter challenges such as hallucination and the need for domain-specific knowledge. To mitigate these, recent methodologies have integrated information retrieved from external resources with LLMs, substantially enhancing their performance across NLP tasks. This survey paper addresses the absence of a comprehensive overview on Retrieval-Augmented Language Models (RALMs), both Retrieval-Augmented Generation (RAG) and Retrieval-Augmented Understanding (RAU), providing an in-depth examination of their paradigm, evolution, taxonomy, and applications. The paper discusses the essential components of RALMs, including Retrievers, Language Models, and Augmentations, and how their interactions lead to diverse model structures and applications. RALMs demonstrate utility in a spectrum of tasks, from translation and dialogue systems to knowledge-intensive applications. The survey includes several evaluation methods of RALMs, emphasizing the importance of robustness, accuracy, and relevance in their assessment. It also acknowledges the limitations of RALMs, particularly in retrieval quality and computational efficiency, offering directions for future research. In conclusion, this survey aims to offer a structured insight into RALMs, their potential, and the avenues for their future development in NLP. The paper is supplemented with a Github Repository containing the surveyed works and resources for further study: https://github.com/2471023025/RALM_Survey.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、自然言語処理(NLP)の大幅な進歩を触媒しているが、幻覚やドメイン固有の知識の必要性といった課題に直面している。 これらを緩和するために、最近の方法論は外部リソースからLLMから取得した情報を統合し、NLPタスク間での性能を大幅に向上させた。 本稿では、検索言語モデル(ALM)、検索言語モデル(RAG)、検索言語モデル(RAU)について概観する。 本稿では、Retrievers、Language Models、Augmentationsを含むRALMsの本質的なコンポーネントと、それらの相互作用がモデル構造やアプリケーションにどのように影響するかについて論じる。 RALMは、翻訳や対話システムから知識集約アプリケーションまで、様々なタスクにおいて有用性を示す。 この調査には、ALMの評価方法がいくつか含まれており、その評価におけるロバスト性、正確性、および関連性の重要性を強調している。 また、ALMの限界、特に検索品質と計算効率の限界を認め、将来の研究の方向性を提供する。 結論として、この調査は、ALM、その可能性、そして今後のNLP開発への道のりについて、構造化された洞察を提供することを目的としている。 この論文には、調査対象の作業とリソースを含むGithubリポジトリが補足されている。

関連論文リスト

• Retrieval-Augmented Generation for Natural Language Processing: A Survey [25.11304732038443]
  検索強化生成(RAG)は、外部知識データベースを利用して大きな言語モデルを拡張する。 本稿では,RAGの重要技術,特に検索器と検索融合について概説する。 RAGは、自然言語処理のタスクや産業シナリオで使われる。
  論文  参考訳（メタデータ） (2024-07-18T06:06:53Z)
• Retrieval-Enhanced Machine Learning: Synthesis and Opportunities [60.34182805429511]
  検索エンハンスメントは機械学習(ML)の幅広い範囲に拡張できる この研究は、MLの様々な領域の文献を、現在の文献から欠落している一貫した表記で合成することで、このパラダイムの正式なフレームワークであるRetrieval-Enhanced Machine Learning (REML)を導入する。 本研究の目的は、様々な分野の研究者に対して、検索強化モデルの包括的、正式に構造化された枠組みを付与し、学際的な将来の研究を促進することである。
  論文  参考訳（メタデータ） (2024-07-17T20:01:21Z)
• A Survey on RAG Meeting LLMs: Towards Retrieval-Augmented Large Language Models [71.25225058845324]
  大規模言語モデル(LLM)は、言語理解と生成において革命的な能力を示している。 Retrieval-Augmented Generation (RAG)は、信頼性と最新の外部知識を提供する。 RA-LLMは、モデルの内部知識に頼るのではなく、外部および権威的な知識ベースを活用するために登場した。
  論文  参考訳（メタデータ） (2024-05-10T02:48:45Z)
• A Survey on Retrieval-Augmented Text Generation for Large Language Models [1.4579344926652844]
  Retrieval-Augmented Generation (RAG)は、検索手法とディープラーニングの進歩を融合する。 本稿では,RAGパラダイムを検索前,検索後,検索後,生成の4つのカテゴリに分類する。 RAGの進化を概説し、重要な研究の分析を通して分野の進歩について論じている。
  論文  参考訳（メタデータ） (2024-04-17T01:27:42Z)
• Exploring the Potential of Large Language Models in Computational Argumentation [54.85665903448207]
  大規模言語モデル (LLM) は、文脈を理解し、自然言語を生成するという印象的な能力を実証している。 この研究は、ChatGPT、Flanモデル、LLaMA2モデルなどのLLMをゼロショットと少数ショットの両方で評価することを目的としている。
  論文  参考訳（メタデータ） (2023-11-15T15:12:15Z)
• Trends in Integration of Knowledge and Large Language Models: A Survey and Taxonomy of Methods, Benchmarks, and Applications [42.61727038213399]
  大規模言語モデル(LLM)は、様々な自然言語処理において優れた性能を示すが、時代遅れのデータやドメイン固有の制限から生じる問題の影響を受けやすい。 本稿では,手法,ベンチマーク,応用の分類など,知識モデルと大規模言語モデルの統合の動向を論じるレビューを提案する。
  論文  参考訳（メタデータ） (2023-11-10T05:24:04Z)
• Benchmarking Large Language Models in Retrieval-Augmented Generation [53.504471079548]
  大規模言語モデルに対する検索拡張生成の影響を系統的に検討する。 我々は、RAGに必要な4つの基本能力で、異なる大規模言語モデルの性能を解析する。 RGB(Retrieval-Augmented Generation Benchmark)は、英語と中国語の両方でRAG評価を行うための新しいコーパスである。
  論文  参考訳（メタデータ） (2023-09-04T08:28:44Z)
• Large Language Models for Information Retrieval: A Survey [57.7992728506871]
  情報検索は、項ベースの手法から高度なニューラルモデルとの統合へと進化してきた。 近年の研究では、大規模言語モデル(LLM)を活用してIRシステムの改善が試みられている。 LLMとIRシステムの合流点を探索し、クエリリライト、リトリバー、リランカー、リーダーといった重要な側面を含む。
  論文  参考訳（メタデータ） (2023-08-14T12:47:22Z)
• Synergistic Interplay between Search and Large Language Models for Information Retrieval [141.18083677333848]
  InteRにより、RMはLLM生成した知識コレクションを使用してクエリの知識を拡張することができる。 InteRは、最先端手法と比較して総合的に優れたゼロショット検索性能を実現する。
  論文  参考訳（メタデータ） (2023-05-12T11:58:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。