論文の概要: Retrieve-Plan-Generation: An Iterative Planning and Answering Framework for Knowledge-Intensive LLM Generation

• arxiv url: http://arxiv.org/abs/2406.14979v2
• Date: Tue, 08 Oct 2024 06:03:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-10 14:28:21.628286
• Title: Retrieve-Plan-Generation: An Iterative Planning and Answering Framework for Knowledge-Intensive LLM Generation
• Title（参考訳）: Retrieve-Plan-Generation:知識集中型LLM生成のための反復的計画と解答フレームワーク
• Authors: Yuanjie Lyu, Zihan Niu, Zheyong Xie, Chao Zhang, Tong Xu, Yang Wang, Enhong Chen,
• Abstract要約: 大規模言語モデル(LLM)のためのリトリーブ・プラン生成(RPG)フレームワークを提案する。 RPGはプラントークンを生成し、プランステージの後の世代をガイドする。 解答段階では、その計画に基づいて関連きめ細かい段落を選択し、さらに解答生成に使用する。
• 参考スコア（独自算出の注目度）: 47.22520829950929
• License:
• Abstract: Despite the significant progress of large language models (LLMs) in various tasks, they often produce factual errors due to their limited internal knowledge. Retrieval-Augmented Generation (RAG), which enhances LLMs with external knowledge sources, offers a promising solution. However, these methods can be misled by irrelevant paragraphs in retrieved documents. Due to the inherent uncertainty in LLM generation, inputting the entire document may introduce off-topic information, causing the model to deviate from the central topic and affecting the relevance of the generated content. To address these issues, we propose the Retrieve-Plan-Generation (RPG) framework. RPG generates plan tokens to guide subsequent generation in the plan stage. In the answer stage, the model selects relevant fine-grained paragraphs based on the plan and uses them for further answer generation. This plan-answer process is repeated iteratively until completion, enhancing generation relevance by focusing on specific topics. To implement this framework efficiently, we utilize a simple but effective multi-task prompt-tuning method, enabling the existing LLMs to handle both planning and answering. We comprehensively compare RPG with baselines across 5 knowledge-intensive generation tasks, demonstrating the effectiveness of our approach.
• Abstract（参考訳）: 様々なタスクにおいて大きな言語モデル(LLM)が著しく進歩しているにもかかわらず、内部知識が限られているため、しばしば事実エラーが発生する。 Retrieval-Augmented Generation (RAG)は、LLMを外部の知識ソースで拡張し、有望なソリューションを提供する。 しかし、これらの方法は検索された文書の無関係な段落によって誤解されることがある。 LLM生成における本質的な不確実性のため、文書全体を入力すると、オフトピック情報が導入され、モデルが中心トピックから逸脱し、生成された内容の関連性に影響を与える可能性がある。 これらの問題に対処するため、我々はRetrieve-Plan-Generation (RPG)フレームワークを提案する。 RPGはプラントークンを生成し、プランステージの後の世代をガイドする。 解答段階では、その計画に基づいて関連きめ細かい段落を選択し、さらに解答生成に使用する。 この計画回答プロセスは、完了まで反復的に繰り返され、特定のトピックに焦点をあてて生成関連性を高める。 このフレームワークを効率的に実装するために,既存のLCMが計画と回答の両方を扱えるように,シンプルで効果的なマルチタスクプロンプトチューニング手法を用いる。 RPGと5つの知識集約型タスクのベースラインを総合的に比較し、アプローチの有効性を実証する。

関連論文リスト

• Integrating Planning into Single-Turn Long-Form Text Generation [66.08871753377055]
  長文コンテンツを生成するための計画案を提案する。 私たちの主な新規性は、複数のプロンプトや計画のラウンドを必要としない単一の補助的なタスクにあります。 実験では,LLMを補助タスクで微調整し,高品質な文書を生成する,異なる領域からの2つのデータセットを実証した。
  論文  参考訳（メタデータ） (2024-10-08T17:02:40Z)
• P-RAG: Progressive Retrieval Augmented Generation For Planning on Embodied Everyday Task [94.08478298711789]
  Embodied Everyday Taskは、インボディードAIコミュニティで人気のあるタスクである。 自然言語命令は明示的なタスクプランニングを欠くことが多い。 タスク環境に関する知識をモデルに組み込むには、広範囲なトレーニングが必要である。
  論文  参考訳（メタデータ） (2024-09-17T15:29:34Z)
• Learning to Plan for Retrieval-Augmented Large Language Models from Knowledge Graphs [59.76268575344119]
  知識グラフ(KG)から得られた計画データを用いて,大規模言語モデル(LLM)計画能力を向上するための新しいフレームワークを提案する。 KGデータで微調整されたLLMは、計画能力を向上し、検索を含む複雑なQAタスクを処理するのがより適している。
  論文  参考訳（メタデータ） (2024-06-20T13:07:38Z)
• Peering into the Mind of Language Models: An Approach for Attribution in Contextual Question Answering [9.86691461253151]
  大規模言語モデル(LLM)の隠れ状態表現を利用した文脈質問応答における帰属手法を提案する。 提案手法は,より詳細な属性を提供し,生成した回答の質を保ちながら,広範囲なモデル再訓練および検索モデルオーバーヘッドの必要性を回避している。 本稿では,LLM世代に対するトークンレベルのアノテーションを文脈質問応答設定に有する属性データセットであるVerifiability-granularを提案する。
  論文  参考訳（メタデータ） (2024-05-28T09:12:44Z)
• Consolidating Trees of Robotic Plans Generated Using Large Language Models to Improve Reliability [6.4111574364474215]
  LLM(Large Language Models)の固有の確率論的性質は、予測不可能な要素を導入している。 本稿では,多様な現実の要求やシナリオに対して,適切なロボットタスク計画を作成することを目的とした,革新的なアプローチを提案する。
  論文  参考訳（メタデータ） (2024-01-15T18:01:59Z)
• Understanding the Capabilities of Large Language Models for Automated Planning [24.37599752610625]
  この研究は、複雑な計画問題の解決におけるLLMの能力に光を当てようとしている。 この文脈で LLM を使用するための最も効果的なアプローチに関する洞察を提供する。
  論文  参考訳（メタデータ） (2023-05-25T15:21:09Z)
• RET-LLM: Towards a General Read-Write Memory for Large Language Models [53.288356721954514]
  RET-LLMは、大規模な言語モデルに一般的な読み書きメモリユニットを装備する新しいフレームワークである。 デビッドソンのセマンティクス理論に触発され、三重項の形で知識を抽出し保存する。 本フレームワークは,時間に基づく質問応答タスクの処理において,堅牢な性能を示す。
  論文  参考訳（メタデータ） (2023-05-23T17:53:38Z)
• Active Retrieval Augmented Generation [123.68874416084499]
  外部知識資源から情報を取得することで、大きな言語モデル(LM)を拡張することは、有望な解決策である。 ほとんどの既存の検索拡張LMは、入力に基づいて一度だけ情報を検索する検索と生成のセットアップを採用している。 本稿では,将来的な内容を予測するために,文の予測を反復的に利用する汎用手法であるフォワード・フォワード・アクティブ・レトリヴァル・ジェネレーション・ジェネレーション(FLARE)を提案する。
  論文  参考訳（メタデータ） (2023-05-11T17:13:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。