論文の概要: Can Graph Learning Improve Planning in LLM-based Agents?
- arxiv url: http://arxiv.org/abs/2405.19119v2
- Date: Fri, 11 Oct 2024 08:03:04 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-10-14 15:16:56.676059
- Title: Can Graph Learning Improve Planning in LLM-based Agents?
- Title(参考訳): グラフ学習はLLMエージェントの計画を改善するか?
- Authors: Xixi Wu, Yifei Shen, Caihua Shan, Kaitao Song, Siwei Wang, Bohang Zhang, Jiarui Feng, Hong Cheng, Wei Chen, Yun Xiong, Dongsheng Li,
- Abstract要約: 言語エージェントにおけるタスクプランニングは、大規模言語モデル(LLM)の開発とともに重要な研究トピックとして浮上している。
本稿では,課題計画のためのグラフ学習に基づく手法について検討する。
我々のグラフ学習への関心は、注意のバイアスと自己回帰的損失が、グラフ上の意思決定を効果的にナビゲートするLLMの能力を妨げているという理論的な発見に起因している。
- 参考スコア(独自算出の注目度): 61.47027387839096
- License:
- Abstract: Task planning in language agents is emerging as an important research topic alongside the development of large language models (LLMs). It aims to break down complex user requests in natural language into solvable sub-tasks, thereby fulfilling the original requests. In this context, the sub-tasks can be naturally viewed as a graph, where the nodes represent the sub-tasks, and the edges denote the dependencies among them. Consequently, task planning is a decision-making problem that involves selecting a connected path or subgraph within the corresponding graph and invoking it. In this paper, we explore graph learning-based methods for task planning, a direction that is orthogonal to the prevalent focus on prompt design. Our interest in graph learning stems from a theoretical discovery: the biases of attention and auto-regressive loss impede LLMs' ability to effectively navigate decision-making on graphs, which is adeptly addressed by graph neural networks (GNNs). This theoretical insight led us to integrate GNNs with LLMs to enhance overall performance. Extensive experiments demonstrate that GNN-based methods surpass existing solutions even without training, and minimal training can further enhance their performance. The performance gain increases with a larger task graph size.
- Abstract(参考訳): 言語エージェントにおけるタスクプランニングは、大規模言語モデル(LLM)の開発とともに重要な研究トピックとして浮上している。
自然言語の複雑なユーザリクエストを、解決可能なサブタスクに分解して、元の要求を満たすことを目指している。
この文脈では、サブタスクはグラフとして自然に見ることができ、ノードはサブタスクを表し、エッジはそれらの間の依存関係を表す。
したがって、タスクプランニングは、対応するグラフ内で接続されたパスやサブグラフを選択し、それを呼び出して決定する問題である。
本稿では,課題計画のためのグラフ学習に基づく手法について検討する。
注意のバイアスと自己回帰的損失は、グラフニューラルネットワーク(GNN)によって十分に対処されるグラフ上の意思決定を効果的にナビゲートするLLMの能力を妨げます。
この理論的な洞察により、GNNとLLMを統合することで、全体的なパフォーマンスが向上しました。
大規模な実験では、GNNベースの手法がトレーニングなしでも既存のソリューションを超えることが示され、最小限のトレーニングはパフォーマンスをさらに向上させる。
タスクグラフのサイズが大きくなればパフォーマンスが向上する。
関連論文リスト
- MuseGraph: Graph-oriented Instruction Tuning of Large Language Models
for Generic Graph Mining [41.19687587548107]
グラフニューラルネットワーク(GNN)は、異なるグラフタスクやデータセットに適用されるたびに、再トレーニングされる必要がある。
GNNとLarge Language Models(LLM)の強みをシームレスに統合する新しいフレームワークMusteGraphを提案する。
実験結果から,異なるグラフタスクの大幅な改善が示された。
論文 参考訳(メタデータ) (2024-03-02T09:27:32Z) - HetGPT: Harnessing the Power of Prompt Tuning in Pre-Trained
Heterogeneous Graph Neural Networks [24.435068514392487]
HetGPTは、グラフニューラルネットワークのトレーニング後プロンプトフレームワークである。
半教師付きノード分類における最先端HGNNの性能を向上させる。
論文 参考訳(メタデータ) (2023-10-23T19:35:57Z) - ULTRA-DP: Unifying Graph Pre-training with Multi-task Graph Dual Prompt [67.8934749027315]
本稿では,タスク識別と位置識別をGNNに注入する,グラフハイブリッド事前学習のための統合フレームワークを提案する。
また,約$k$-nearest隣人のグループに基づいた,新しい事前学習パラダイムを提案する。
論文 参考訳(メタデータ) (2023-10-23T12:11:13Z) - SimTeG: A Frustratingly Simple Approach Improves Textual Graph Learning [131.04781590452308]
テキストグラフ学習におけるフラストレーションに富んだアプローチであるSimTeGを提案する。
まず、下流タスクで予め訓練されたLM上で、教師付きパラメータ効率の微調整(PEFT)を行う。
次に、微調整されたLMの最後の隠れ状態を用いてノード埋め込みを生成する。
論文 参考訳(メタデータ) (2023-08-03T07:00:04Z) - GraphPrompt: Unifying Pre-Training and Downstream Tasks for Graph Neural
Networks [16.455234748896157]
GraphPromptは、グラフに関する新しい事前トレーニングおよびプロンプトフレームワークである。
トレーニング済みタスクとダウンストリームタスクを共通タスクテンプレートに統合する。
また、トレーニング前のモデルから最も関連性の高い知識を見つけるために、下流タスクを支援するための学習可能なプロンプトも採用している。
論文 参考訳(メタデータ) (2023-02-16T02:51:38Z) - Towards Unsupervised Deep Graph Structure Learning [67.58720734177325]
本稿では,学習したグラフトポロジを外部ガイダンスなしでデータ自身で最適化する,教師なしグラフ構造学習パラダイムを提案する。
具体的には、元のデータから"アンカーグラフ"として学習目標を生成し、対照的な損失を用いてアンカーグラフと学習グラフとの一致を最大化する。
論文 参考訳(メタデータ) (2022-01-17T11:57:29Z) - Graph Representation Learning for Multi-Task Settings: a Meta-Learning
Approach [5.629161809575013]
メタ学習に基づくグラフ表現学習のための新しい学習戦略を提案する。
本手法は,複数タスクの同時実行学習において発生する問題を回避する。
我々は,本手法で訓練したモデルが生成した埋め込みを,単一タスクとマルチタスクの両エンドツーエンドモデルに匹敵する,あるいは驚くほど高いパフォーマンスで複数のタスクを実行できることを示す。
論文 参考訳(メタデータ) (2022-01-10T12:58:46Z) - GCC: Graph Contrastive Coding for Graph Neural Network Pre-Training [62.73470368851127]
グラフ表現学習は現実世界の問題に対処する強力な手法として登場した。
自己教師付きグラフニューラルネットワーク事前トレーニングフレームワークであるGraph Contrastive Codingを設計する。
3つのグラフ学習タスクと10のグラフデータセットについて実験を行った。
論文 参考訳(メタデータ) (2020-06-17T16:18:35Z) - Graph Ordering: Towards the Optimal by Learning [69.72656588714155]
グラフ表現学習は、ノード分類、予測、コミュニティ検出など、多くのグラフベースのアプリケーションで顕著な成功を収めている。
しかし,グラフ圧縮やエッジ分割などのグラフアプリケーションでは,グラフ表現学習タスクに還元することは極めて困難である。
本稿では,このようなアプリケーションの背後にあるグラフ順序付け問題に対して,新しい学習手法を用いて対処することを提案する。
論文 参考訳(メタデータ) (2020-01-18T09:14:16Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。