論文の概要: Learning to Plan for Retrieval-Augmented Large Language Models from Knowledge Graphs

• arxiv url: http://arxiv.org/abs/2406.14282v1
• Date: Thu, 20 Jun 2024 13:07:38 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-21 13:42:16.083237
• Title: Learning to Plan for Retrieval-Augmented Large Language Models from Knowledge Graphs
• Title（参考訳）: 知識グラフを用いた検索型大規模言語モデル構築のための学習
• Authors: Junjie Wang, Mingyang Chen, Binbin Hu, Dan Yang, Ziqi Liu, Yue Shen, Peng Wei, Zhiqiang Zhang, Jinjie Gu, Jun Zhou, Jeff Z. Pan, Wen Zhang, Huajun Chen,
• Abstract要約: 知識グラフ(KG)から得られた計画データを用いて,大規模言語モデル(LLM)計画能力を向上するための新しいフレームワークを提案する。 KGデータで微調整されたLLMは、計画能力を向上し、検索を含む複雑なQAタスクを処理するのがより適している。
• 参考スコア（独自算出の注目度）: 59.76268575344119
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Improving the performance of large language models (LLMs) in complex question-answering (QA) scenarios has always been a research focal point. Recent studies have attempted to enhance LLMs' performance by combining step-wise planning with external retrieval. While effective for advanced models like GPT-3.5, smaller LLMs face challenges in decomposing complex questions, necessitating supervised fine-tuning. Previous work has relied on manual annotation and knowledge distillation from teacher LLMs, which are time-consuming and not accurate enough. In this paper, we introduce a novel framework for enhancing LLMs' planning capabilities by using planning data derived from knowledge graphs (KGs). LLMs fine-tuned with this data have improved planning capabilities, better equipping them to handle complex QA tasks that involve retrieval. Evaluations on multiple datasets, including our newly proposed benchmark, highlight the effectiveness of our framework and the benefits of KG-derived planning data.
• Abstract（参考訳）: 複雑な質問応答(QA)シナリオにおける大規模言語モデル(LLM)の性能向上は、常に研究の焦点となっている。 近年,ステップワイズ計画と外部検索を組み合わせたLCMの性能向上が試みられている。 GPT-3.5のような先進的なモデルでは有効であるが、より小さなLCMは複雑な問題を分解し、教師付き微調整を必要とする。 これまでの研究は、教師のLSMから手作業による注釈と知識の蒸留に依存してきた。 本稿では,知識グラフ(KG)に基づく計画データを用いて,LLMの計画能力を高めるための新しいフレームワークを提案する。 このデータによって微調整されたLLMは計画能力を向上し、検索を含む複雑なQAタスクの処理能力が改善された。 新たに提案したベンチマークを含む複数のデータセットの評価では,フレームワークの有効性とKG由来の計画データの有用性が注目されている。

関連論文リスト

• Non-myopic Generation of Language Models for Reasoning and Planning [45.75146679449453]
  本稿では,モデル予測制御を利用した予測復号化手法を提案する。 我々の実験では、数学、コーディング、エージェントの幅広いタスクにおいて、大幅な改善が示されている。
  論文  参考訳（メタデータ） (2024-10-22T17:13:38Z)
• Learning to Reduce: Towards Improving Performance of Large Language Models on Structured Data [39.29778853025738]
  大規模言語モデル(LLM)は、幅広い下流タスクにおいて有能なパフォーマンスを実現している。 本稿では、オン・ポリシー・ラーニングを用いて言語モデルを微調整し、入力された構造化データの縮小版を生成するフレームワークであるLearning to Reduceを提案する。
  論文  参考訳（メタデータ） (2024-07-03T01:51:50Z)
• Retrieve-Plan-Generation: An Iterative Planning and Answering Framework for Knowledge-Intensive LLM Generation [47.22520829950929]
  大規模言語モデル(LLM)のためのリトリーブ・プラン生成(RPG)フレームワークを提案する。 RPGはプラントークンを生成し、プランステージの後の世代をガイドする。 解答段階では、その計画に基づいて関連きめ細かい段落を選択し、さらに解答生成に使用する。
  論文  参考訳（メタデータ） (2024-06-21T08:45:52Z)
• Q*: Improving Multi-step Reasoning for LLMs with Deliberative Planning [53.6472920229013]
  大規模言語モデル(LLM)は多くの自然言語タスクにおいて印象的な能力を示している。 LLMは多段階推論を行う際にエラー、幻覚、矛盾する文を生成する傾向がある。 本稿では,LLMの復号化過程を検討計画で導くためのフレームワークであるQ*を紹介する。
  論文  参考訳（メタデータ） (2024-06-20T13:08:09Z)
• Exploring and Benchmarking the Planning Capabilities of Large Language Models [57.23454975238014]
  この研究は、大規模言語モデル(LLM)の計画能力を改善するための基礎を築いた。 我々は、古典的な計画ベンチマークと自然言語シナリオの両方を含む包括的なベンチマークスイートを構築した。 本研究は,LLM計画の強化を目的としたマルチショットインコンテキスト学習について検討し,文脈長の増大と計画性能の向上の関係について検討する。
  論文  参考訳（メタデータ） (2024-06-18T22:57:06Z)
• Large Language Models are Learnable Planners for Long-Term Recommendation [59.167795967630305]
  即時利益と長期利益の両方の計画が、勧告においてますます重要になる。 既存手法では,長期的推薦に対する累積報酬を最大化することにより,計画能力の学習に強化学習を適用している。 本稿では,長期的推薦のために,大規模言語モデルのスパースデータよりも優れた計画能力を活用することを提案する。
  論文  参考訳（メタデータ） (2024-02-29T13:49:56Z)
• Understanding the planning of LLM agents: A survey [98.82513390811148]
  本調査では, LLMをベースとしたエージェント計画の体系的考察を行い, 計画能力の向上を目的とした最近の成果について報告する。 各方向について総合的な分析を行い、研究分野におけるさらなる課題について論じる。
  論文  参考訳（メタデータ） (2024-02-05T04:25:24Z)
• Integrating Graphs with Large Language Models: Methods and Prospects [68.37584693537555]
  大規模言語モデル (LLMs) が最前線として登場し、様々なアプリケーションにおいて非並列の長所を示している。 LLMとグラフ構造化データを組み合わせることは、非常に興味深いトピックです。 本稿では、そのような統合を2つの主要なカテゴリに分岐する。
  論文  参考訳（メタデータ） (2023-10-09T07:59:34Z)
• Understanding the Capabilities of Large Language Models for Automated Planning [24.37599752610625]
  この研究は、複雑な計画問題の解決におけるLLMの能力に光を当てようとしている。 この文脈で LLM を使用するための最も効果的なアプローチに関する洞察を提供する。
  論文  参考訳（メタデータ） (2023-05-25T15:21:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。