論文の概要: Can Graph Learning Improve Planning in LLM-based Agents?

• arxiv url: http://arxiv.org/abs/2405.19119v3
• Date: Sat, 26 Oct 2024 07:41:36 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-29 12:13:27.121408
• Title: Can Graph Learning Improve Planning in LLM-based Agents?
• Title（参考訳）: グラフ学習はLLMエージェントの計画を改善するか?
• Authors: Xixi Wu, Yifei Shen, Caihua Shan, Kaitao Song, Siwei Wang, Bohang Zhang, Jiarui Feng, Hong Cheng, Wei Chen, Yun Xiong, Dongsheng Li,
• Abstract要約: 言語エージェントにおけるタスクプランニングは、大規模言語モデル(LLM)の開発とともに重要な研究トピックとして浮上している。 本稿では,課題計画のためのグラフ学習に基づく手法について検討する。 我々のグラフ学習への関心は、注意のバイアスと自己回帰的損失が、グラフ上の意思決定を効果的にナビゲートするLLMの能力を妨げているという理論的な発見に起因している。
• 参考スコア（独自算出の注目度）: 61.47027387839096
• License:
• Abstract: Task planning in language agents is emerging as an important research topic alongside the development of large language models (LLMs). It aims to break down complex user requests in natural language into solvable sub-tasks, thereby fulfilling the original requests. In this context, the sub-tasks can be naturally viewed as a graph, where the nodes represent the sub-tasks, and the edges denote the dependencies among them. Consequently, task planning is a decision-making problem that involves selecting a connected path or subgraph within the corresponding graph and invoking it. In this paper, we explore graph learning-based methods for task planning, a direction that is orthogonal to the prevalent focus on prompt design. Our interest in graph learning stems from a theoretical discovery: the biases of attention and auto-regressive loss impede LLMs' ability to effectively navigate decision-making on graphs, which is adeptly addressed by graph neural networks (GNNs). This theoretical insight led us to integrate GNNs with LLMs to enhance overall performance. Extensive experiments demonstrate that GNN-based methods surpass existing solutions even without training, and minimal training can further enhance their performance. The performance gain increases with a larger task graph size.
• Abstract（参考訳）: 言語エージェントにおけるタスクプランニングは、大規模言語モデル(LLM)の開発とともに重要な研究トピックとして浮上している。 自然言語の複雑なユーザリクエストを、解決可能なサブタスクに分解して、元の要求を満たすことを目指している。 この文脈では、サブタスクはグラフとして自然に見ることができ、ノードはサブタスクを表し、エッジはそれらの間の依存関係を表す。 したがって、タスクプランニングは、対応するグラフ内で接続されたパスやサブグラフを選択し、それを呼び出して決定する問題である。 本稿では,課題計画のためのグラフ学習に基づく手法について検討する。 注意のバイアスと自己回帰的損失は、グラフニューラルネットワーク(GNN)によって十分に対処されるグラフ上の意思決定を効果的にナビゲートするLLMの能力を妨げます。 この理論的な洞察により、GNNとLLMを統合することで、全体的なパフォーマンスが向上しました。 大規模な実験では、GNNベースの手法がトレーニングなしでも既存のソリューションを超えることが示され、最小限のトレーニングはパフォーマンスをさらに向上させる。 タスクグラフのサイズが大きくなればパフォーマンスが向上する。

関連論文リスト

• Plan-over-Graph: Towards Parallelable LLM Agent Schedule [53.834646147919436]
  大規模言語モデル(LLM)はタスク計画の推論において例外的な能力を示した。 本稿では,まず実生活のテキストタスクを実行可能なサブタスクに分解し,抽象的なタスクグラフを構築する,新しいパラダイムであるプランオーバーグラフを提案する。 モデルはこのタスクグラフを入力として理解し、並列実行計画を生成する。
  論文  参考訳（メタデータ） (2025-02-20T13:47:51Z)
• Are Large Language Models In-Context Graph Learners? [31.172657860606297]
  大規模言語モデル(LLM)は、幅広いタスクにまたがる顕著なコンテキスト内推論機能を持つ。 しかし、非ユークリッド構造に対する理解の欠如のため、グラフのような構造化データを扱うのに苦労している。 グラフデータの学習は、検索強化生成(RAG)プロセスとして概念化できることを示す。 グラフ学習タスクにおけるLLMの文脈内学習能力を高めるための一連のRAGフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-02-19T09:14:19Z)
• Towards Graph Foundation Models: Learning Generalities Across Graphs via Task-Trees [50.78679002846741]
  グラフにおけるクロスタスクの一般性を学習するための新しいアプローチを提案する。 グラフ上のタスク空間を整列させるための基本的な学習インスタンスとしてタスクツリーを提案する。 その結果,グラフニューラルネットワークが多種多様なタスクツリーで事前訓練された場合,伝達可能な知識を取得することが示唆された。
  論文  参考訳（メタデータ） (2024-12-21T02:07:43Z)
• NT-LLM: A Novel Node Tokenizer for Integrating Graph Structure into Large Language Models [26.739650151993928]
  グラフは、現実世界のシナリオにおける関係を表現するための基本的なデータ構造である。 グラフ関連のタスクにLLM(Large Language Models)を適用することは、大きな課題となる。 我々は,グラフ構造を効率的にエンコードする新しいフレームワークNT-LLM(Node Tokenizer for Large Language Models)を紹介する。
  論文  参考訳（メタデータ） (2024-10-14T17:21:57Z)
• Let's Ask GNN: Empowering Large Language Model for Graph In-Context Learning [28.660326096652437]
  本稿では,逐次テキスト処理とグラフ構造化データのギャップを埋める新しいアプローチであるAskGNNを紹介する。 AskGNNはグラフニューラルネットワーク(GNN)を利用した構造強化レトリバーを使用して、グラフをまたいだラベル付きノードを選択する。 3つのタスクと7つのLLMにわたる実験は、グラフタスクのパフォーマンスにおいてAskGNNが優れていることを示す。
  論文  参考訳（メタデータ） (2024-10-09T17:19:12Z)
• MuseGraph: Graph-oriented Instruction Tuning of Large Language Models for Generic Graph Mining [41.19687587548107]
  グラフニューラルネットワーク(GNN)は、異なるグラフタスクやデータセットに適用されるたびに、再トレーニングされる必要がある。 GNNとLarge Language Models(LLM)の強みをシームレスに統合する新しいフレームワークMusteGraphを提案する。 実験結果から,異なるグラフタスクの大幅な改善が示された。
  論文  参考訳（メタデータ） (2024-03-02T09:27:32Z)
• SimTeG: A Frustratingly Simple Approach Improves Textual Graph Learning [131.04781590452308]
  テキストグラフ学習におけるフラストレーションに富んだアプローチであるSimTeGを提案する。 まず、下流タスクで予め訓練されたLM上で、教師付きパラメータ効率の微調整(PEFT)を行う。 次に、微調整されたLMの最後の隠れ状態を用いてノード埋め込みを生成する。
  論文  参考訳（メタデータ） (2023-08-03T07:00:04Z)
• Can Language Models Solve Graph Problems in Natural Language? [51.28850846990929]
  大型言語モデル (LLM) は暗黙的なグラフィカル構造を持つ様々なタスクに採用されている。 自然言語をシミュレーションするグラフベース問題解決のベンチマークであるNLGraphを提案する。
  論文  参考訳（メタデータ） (2023-05-17T08:29:21Z)
• Graph-ToolFormer: To Empower LLMs with Graph Reasoning Ability via Prompt Augmented by ChatGPT [10.879701971582502]
  我々は,複雑なグラフデータに対する推論能力を備えた大規模言語モデル(LLM)の開発を目指している。 最新のChatGPTおよびToolformerモデルに触発された我々は、外部グラフ推論APIツールを使用するために、ChatGPTによって強化されたプロンプトでLLM自体を教えるためのGraph-ToolFormerフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-04-10T05:25:54Z)
• Graph Ordering: Towards the Optimal by Learning [69.72656588714155]
  グラフ表現学習は、ノード分類、予測、コミュニティ検出など、多くのグラフベースのアプリケーションで顕著な成功を収めている。 しかし,グラフ圧縮やエッジ分割などのグラフアプリケーションでは,グラフ表現学習タスクに還元することは極めて困難である。 本稿では,このようなアプリケーションの背後にあるグラフ順序付け問題に対して,新しい学習手法を用いて対処することを提案する。
  論文  参考訳（メタデータ） (2020-01-18T09:14:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。