論文の概要: Active Retrieval Augmented Generation

• arxiv url: http://arxiv.org/abs/2305.06983v2
• Date: Sun, 22 Oct 2023 00:11:13 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-25 12:32:53.669553
• Title: Active Retrieval Augmented Generation
• Title（参考訳）: アクティブ検索強化世代
• Authors: Zhengbao Jiang, Frank F. Xu, Luyu Gao, Zhiqing Sun, Qian Liu, Jane Dwivedi-Yu, Yiming Yang, Jamie Callan, Graham Neubig
• Abstract要約: 外部知識資源から情報を取得することで、大きな言語モデル(LM)を拡張することは、有望な解決策である。 ほとんどの既存の検索拡張LMは、入力に基づいて一度だけ情報を検索する検索と生成のセットアップを採用している。 本稿では,将来的な内容を予測するために,文の予測を反復的に利用する汎用手法であるフォワード・フォワード・アクティブ・レトリヴァル・ジェネレーション・ジェネレーション(FLARE)を提案する。
• 参考スコア（独自算出の注目度）: 123.68874416084499
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Despite the remarkable ability of large language models (LMs) to comprehend and generate language, they have a tendency to hallucinate and create factually inaccurate output. Augmenting LMs by retrieving information from external knowledge resources is one promising solution. Most existing retrieval augmented LMs employ a retrieve-and-generate setup that only retrieves information once based on the input. This is limiting, however, in more general scenarios involving generation of long texts, where continually gathering information throughout generation is essential. In this work, we provide a generalized view of active retrieval augmented generation, methods that actively decide when and what to retrieve across the course of the generation. We propose Forward-Looking Active REtrieval augmented generation (FLARE), a generic method which iteratively uses a prediction of the upcoming sentence to anticipate future content, which is then utilized as a query to retrieve relevant documents to regenerate the sentence if it contains low-confidence tokens. We test FLARE along with baselines comprehensively over 4 long-form knowledge-intensive generation tasks/datasets. FLARE achieves superior or competitive performance on all tasks, demonstrating the effectiveness of our method. Code and datasets are available at https://github.com/jzbjyb/FLARE.
• Abstract（参考訳）: 大きな言語モデル(LM)が言語を理解して生成する驚くべき能力にもかかわらず、彼らは幻覚を与え、事実的に不正確な出力を作り出す傾向にある。 外部知識資源から情報を取得することでlmsを増強することは有望な解決策である。 ほとんどの既存の検索拡張LMは、入力に基づいて一度だけ情報を検索する検索生成設定を採用している。 しかし、長いテキストを生成する一般的なシナリオでは、世代を通して継続的に情報を集めることが不可欠である。 本研究は, アクティブ検索拡張生成の汎用的ビューを提供し, 生成過程をまたいでいつ, どのように検索するかを積極的に決定する手法を提案する。 提案するFLARE(Forward-Looking Active Retrieval augmented generation, FLARE)は,近日中の文の予測を反復的に使用して将来の内容を予測し,低信頼トークンを含む場合,関連する文書を検索して文を再生するクエリとして利用する汎用手法である。 FLAREを4つの長い知識集約型タスク/データセットに包括的にベースラインとともにテストする。 FLAREは,全タスクにおいて優れた,あるいは競争的な性能を達成し,本手法の有効性を実証する。 コードとデータセットはhttps://github.com/jzbjyb/flareで入手できる。

関連論文リスト

• Retrieve-Plan-Generation: An Iterative Planning and Answering Framework for Knowledge-Intensive LLM Generation [47.22520829950929]
  大規模言語モデル(LLM)のためのリトリーブ・プラン生成(RPG)フレームワークを提案する。 RPGはプラントークンを生成し、プランステージの後の世代をガイドする。 解答段階では、その計画に基づいて関連きめ細かい段落を選択し、さらに解答生成に使用する。
  論文  参考訳（メタデータ） (2024-06-21T08:45:52Z)
• DRAGIN: Dynamic Retrieval Augmented Generation based on the Information Needs of Large Language Models [12.580730377998158]
  大規模言語モデル(LLM)のリアルタイム情報要求に基づく動的検索拡張生成を導入する。 本フレームワークは,テキスト生成プロセスにおいて,LLMのリアルタイム情報要求に基づいて,いつ,何を取得するかを決定するように設計されている。 実験の結果,DRAGINは全タスクにおいて優れた性能を示し,本手法の有効性を実証した。
  論文  参考訳（メタデータ） (2024-03-15T07:45:37Z)
• ARKS: Active Retrieval in Knowledge Soup for Code Generation [18.22108704150575]
  本稿では,コードのための大規模言語モデルを一般化するための高度な戦略である,知識検索におけるActive Retrieval(ARKS)を紹介する。 我々は、クエリを反復的に洗練し、知識のスープを更新するアクティブな検索戦略を採用している。 ChatGPTとCodeLlamaの実験結果から,LDM上でのARKSの平均実行精度が大幅に向上した。
  論文  参考訳（メタデータ） (2024-02-19T17:37:28Z)
• Large Language Models for Generative Information Extraction: A Survey [89.71273968283616]
  大規模言語モデル(LLM)は、テキスト理解と生成において顕著な能力を示した。 各種IEサブタスクと技術の観点から,これらの作品を分類して概観する。 我々は,最も先進的な手法を実証的に分析し,LLMによるIEタスクの出現傾向を明らかにする。
  論文  参考訳（メタデータ） (2023-12-29T14:25:22Z)
• Contextual Knowledge Pursuit for Faithful Visual Synthesis [33.191847768674826]
  大きな言語モデル(LLM)では、幻覚を減らすための一般的な戦略は、外部データベースから事実知識を取得することである。 本稿では,外部知識とパラメトリック知識の相補的強みを利用して,生成元が信頼できる視覚コンテンツを生成できるようにするフレームワークであるコンパラメトリック知識探索法(CKPT)を提案する。
  論文  参考訳（メタデータ） (2023-11-29T18:51:46Z)
• DIVKNOWQA: Assessing the Reasoning Ability of LLMs via Open-Domain Question Answering over Knowledge Base and Text [73.68051228972024]
  大きな言語モデル(LLM)は印象的な生成能力を示すが、内部知識に依存すると幻覚に悩まされる。 検索拡張LDMは、外部知識においてLLMを基盤とする潜在的な解決策として出現している。
  論文  参考訳（メタデータ） (2023-10-31T04:37:57Z)
• RegaVAE: A Retrieval-Augmented Gaussian Mixture Variational Auto-Encoder for Language Modeling [79.56442336234221]
  可変オートエンコーダ(VAE)に基づく検索拡張言語モデルであるRegaVAEを紹介する。 テキストコーパスを潜在空間にエンコードし、ソースとターゲットの両方のテキストから現在と将来の情報をキャプチャする。 各種データセットに対する実験結果から,テキスト生成品質と幻覚除去の大幅な改善が示された。
  論文  参考訳（メタデータ） (2023-10-16T16:42:01Z)
• Enhancing Retrieval-Augmented Large Language Models with Iterative Retrieval-Generation Synergy [164.83371924650294]
  検索と生成を反復的に同期させるIter-RetGenと呼ばれる手法により,高い性能が得られることを示す。 モデル出力は、タスクを完了するために必要なものを示し、より関連する知識を取得するための情報的コンテキストを提供する。 Iter-RetGenプロセスは、すべての知識を全体として取得し、構造的な制約なしに生成時の柔軟性をほとんど保持します。
  論文  参考訳（メタデータ） (2023-05-24T16:17:36Z)
• Generate rather than Retrieve: Large Language Models are Strong Context Generators [74.87021992611672]
  本稿では,文書検索を大規模言語モデル生成器に置き換えることで,知識集約型タスクを解く新しい視点を提案する。 我々は,提案手法をgenRead (genRead) と呼び,まず大きな言語モデルに対して,与えられた質問に基づいて文脈文書を生成し,次に生成された文書を読み出して最終回答を生成する。
  論文  参考訳（メタデータ） (2022-09-21T01:30:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。