Fugu-MT 論文翻訳(概要): Path-LLM: A Shortest-Path-based LLM Learning for Unified Graph Representation

論文の概要: Path-LLM: A Shortest-Path-based LLM Learning for Unified Graph Representation

arxiv url: http://arxiv.org/abs/2408.05456v1
Date: Sat, 10 Aug 2024 06:35:11 GMT
ステータス: 処理完了
システム内更新日: 2024-08-13 18:51:22.713870
Title: Path-LLM: A Shortest-Path-based LLM Learning for Unified Graph Representation
Title（参考訳）: Path-LLM:一元化グラフ表現のための最短パスベースLLM学習
Authors: Wenbo Shang, Xuliang Zhu, Xin Huang,
Abstract要約: 統一グラフ表現を学習するための新しいパス-LLMモデルを提案する。まず,長短経路(L2SP)選択のための新しいメカニズムを提案する。そして、L2SPベースのトレーニングテキストを得るために経路テキスト化を設計する。次に,テキストを自己教師型LLM学習プロセスに入力し,埋め込み学習を行う。
参考スコア（独自算出の注目度）: 6.401420962078335
License: http://creativecommons.org/licenses/by-nc-sa/4.0/
Abstract: Unified graph representation learning aims to produce node embeddings, which can be applied to multiple downstream applications. However, existing studies based on graph neural networks and language models either suffer from the limitations of numerous training needed toward specific downstream predictions or have shallow semantic features. In this work, we propose a novel Path-LLM model to learn unified graph representation, which leverages a powerful large language model (LLM) to incorporate our proposed path features. Our Path-LLM framework consists of several well-designed techniques. First, we develop a new mechanism of long-to-short shortest path (L2SP) selection, which covers essential connections between different dense groups. An in-depth comparison of different path selection plans is offered to illustrate the strength of our designed L2SP. Then, we design path textualization to obtain L2SP-based training texts. Next, we feed the texts into a self-supervised LLM training process to learn embeddings. Extensive experiments on benchmarks validate the superiority of Path-LLM against the state-of-the-art WalkLM method on two classical graph learning tasks (node classification and link prediction) and one NP-hard graph query processing task (keyword search), meanwhile saving more than 90% of training paths.
Abstract（参考訳）: 統一グラフ表現学習は、複数の下流アプリケーションに適用可能なノード埋め込みを生成することを目的としている。しかし、グラフニューラルネットワークと言語モデルに基づく既存の研究は、特定の下流予測に必要な多くのトレーニングの制限に悩まされるか、あるいは浅い意味的特徴を持つ。本研究では,我々の提案したパス特徴を組み込むために,強力な大規模言語モデル(LLM)を利用する統一グラフ表現を学習するための新しいパス-LLMモデルを提案する。 Path-LLMフレームワークは、よく設計されたいくつかのテクニックで構成されています。まず,L2SP(Long-to-Short Shortest Path)の選択機構について検討した。設計したL2SPの強度を示すため,異なる経路選択計画の詳細な比較を行った。そして、L2SPベースのトレーニングテキストを得るために経路テキスト化を設計する。次に,テキストを自己教師型LLM学習プロセスに入力し,埋め込み学習を行う。ベンチマークによる広範囲な実験により、2つの古典的なグラフ学習タスク(ノード分類とリンク予測)と1つのNPハードグラフクエリ処理タスク(キーワード検索)において、最先端のWalkLM法に対するPath-LLMの優位性を検証し、同時にトレーニングパスの90%以上を節約した。

関連論文リスト

Looking Beyond Text: Reducing Language bias in Large Vision-Language Models via Multimodal Dual-Attention and Soft-Image Guidance [67.26434607115392]
大規模視覚言語モデル(LVLM)は様々な視覚言語タスクにおいて印象的な成果を上げている。 LVLMは言語バイアスによる幻覚に悩まされ、画像や非効果的な視覚的理解に焦点が当てられなくなった。 MDA (Multimodal duAl-attention meChanIsm) aNd soft-image Guidance (IFG) を用いたLVLMの言語バイアスに対処するためのLACingを提案する。
論文参考訳（メタデータ） (2024-11-21T16:33:30Z)
LLMs as Zero-shot Graph Learners: Alignment of GNN Representations with LLM Token Embeddings [7.302176015732192]
Token Embedding-Aligned Graph Language Model (TEA-GLM) という新しいフレームワークを紹介する。我々はGNNを事前訓練し、その表現をLLMのトークン埋め込みと整列する。次に、GNNの表現を固定数のグラフトークン埋め込みに変換する線形プロジェクタを訓練する。
論文参考訳（メタデータ） (2024-08-25T04:32:45Z)
SSP-GNN: Learning to Track via Bilevel Optimization [3.1889516673296807]
マルチオブジェクトトラッキング(MOT)のためのグラフベースのトラッキング形式を提案する。本手法は,一組のフレーム上で定義された追跡グラフに対して,逐次最短経路 (SSP) アルゴリズムを適用した。この追跡グラフのエッジコストは、グラフニューラルネットワーク(GNN)の変種であるメッセージパスネットワークを介して計算される。
論文参考訳（メタデータ） (2024-07-05T07:23:51Z)
Can Graph Learning Improve Planning in LLM-based Agents? [61.47027387839096]
言語エージェントにおけるタスクプランニングは、大規模言語モデル(LLM)の開発とともに重要な研究トピックとして浮上している。本稿では,課題計画のためのグラフ学習に基づく手法について検討する。我々のグラフ学習への関心は、注意のバイアスと自己回帰的損失が、グラフ上の意思決定を効果的にナビゲートするLLMの能力を妨げているという理論的な発見に起因している。
論文参考訳（メタデータ） (2024-05-29T14:26:24Z)
Test-Time Training on Graphs with Large Language Models (LLMs) [68.375487369596]
グラフニューラルネットワーク(GNN)をトレーニングするための有望なアプローチとして,TTT(Test-Time Training)が提案されている。テキスト分散グラフ(TAG)上でのLLM(Large Language Models)の優れたアノテーション能力に着想を得て,LLMをアノテータとしてグラフ上でのテスト時間トレーニングを強化することを提案する。 2段階のトレーニング戦略は、限定的でノイズの多いラベルでテストタイムモデルを調整するように設計されている。
論文参考訳（メタデータ） (2024-04-21T08:20:02Z)
GraSAME: Injecting Token-Level Structural Information to Pretrained Language Models via Graph-guided Self-Attention Mechanism [10.573861741540853]
本研究では,事前学習型言語モデルのためのグラフ誘導型自己注意機構GraSAMEを提案する。 GraSAMEはトークンレベルの構造情報をPLMにシームレスに組み込む。グラフからテキストへの生成タスクの実験では,GraSAMEがベースラインモデルより優れ,WebNLGデータセット上での最先端(SOTA)モデルに匹敵する結果が得られることを示した。
論文参考訳（メタデータ） (2024-04-10T11:03:57Z)
A Language Model based Framework for New Concept Placement in Ontologies [33.31096456574208]
言語モデルを用いて,テキストから抽出した概念をオントロジーに挿入する作業について検討する。本稿では,埋め込み型手法とコントラスト学習を応用したニューラルネットワーク手法を提案する。 SNOMED CTとMedMentionsエンティティリンクベンチマークを用いて作成した最近のデータセットの手法を評価する。
論文参考訳（メタデータ） (2024-02-27T21:27:35Z)
SimTeG: A Frustratingly Simple Approach Improves Textual Graph Learning [131.04781590452308]
テキストグラフ学習におけるフラストレーションに富んだアプローチであるSimTeGを提案する。まず、下流タスクで予め訓練されたLM上で、教師付きパラメータ効率の微調整(PEFT)を行う。次に、微調整されたLMの最後の隠れ状態を用いてノード埋め込みを生成する。
論文参考訳（メタデータ） (2023-08-03T07:00:04Z)
Exploring the Potential of Large Language Models (LLMs) in Learning on Graphs [59.74814230246034]
大規模言語モデル(LLM)は、広範な共通知識と強力な意味理解能力を持つことが証明されている。 LLMs-as-EnhancersとLLMs-as-Predictorsの2つのパイプラインについて検討する。
論文参考訳（メタデータ） (2023-07-07T05:31:31Z)
Sparse Message Passing Network with Feature Integration for Online Multiple Object Tracking [6.510588721127479]
これらの2つのコントリビューションを持つ単純なオンラインMPNは、多くの最先端手法よりも優れた性能を発揮することを示す実験結果が得られた。相関法はよく一般化され,私的検出に基づく手法の結果も改善できる。
論文参考訳（メタデータ） (2022-12-06T14:10:57Z)
Symbolic Learning to Optimize: Towards Interpretability and Scalability [113.23813868412954]
近年のL2O(Learning to Optimize)研究は,複雑なタスクに対する最適化手順の自動化と高速化に期待できる道のりを示唆している。既存のL2Oモデルは、ニューラルネットワークによる最適化ルールをパラメータ化し、メタトレーニングを通じてそれらの数値ルールを学ぶ。本稿では,L2Oの総合的な記号表現と解析の枠組みを確立する。そこで本稿では,大規模問題にメタトレーニングを施す軽量なL2Oモデルを提案する。
論文参考訳（メタデータ） (2022-03-13T06:04:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。