Fugu-MT 論文翻訳(概要): Verbalized Graph Representation Learning: A Fully Interpretable Graph Model Based on Large Language Models Throughout the Entire Process

論文の概要: Verbalized Graph Representation Learning: A Fully Interpretable Graph Model Based on Large Language Models Throughout the Entire Process

arxiv url: http://arxiv.org/abs/2410.01457v2
Date: Fri, 4 Oct 2024 07:56:56 GMT
ステータス: 処理完了
システム内更新日: 2024-11-04 17:44:25.196415
Title: Verbalized Graph Representation Learning: A Fully Interpretable Graph Model Based on Large Language Models Throughout the Entire Process
Title（参考訳）: Verbalized Graph Representation Learning: Entire Processを通しての大規模言語モデルに基づく完全解釈可能なグラフモデル
Authors: Xingyu Ji, Jiale Liu, Lu Li, Maojun Wang, Zeyu Zhang,
Abstract要約: 完全に解釈可能な言語グラフ表現学習法(VGRL)を提案する。従来のグラフ機械学習モデルとは対照的に、VGRLはこのパラメータ空間をテキスト記述に制約する。 VGRLの有効性を実証的に評価するために,いくつかの研究を行った。
参考スコア（独自算出の注目度）: 8.820909397907274
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Representation learning on text-attributed graphs (TAGs) has attracted significant interest due to its wide-ranging real-world applications, particularly through Graph Neural Networks (GNNs). Traditional GNN methods focus on encoding the structural information of graphs, often using shallow text embeddings for node or edge attributes. This limits the model to understand the rich semantic information in the data and its reasoning ability for complex downstream tasks, while also lacking interpretability. With the rise of large language models (LLMs), an increasing number of studies are combining them with GNNs for graph representation learning and downstream tasks. While these approaches effectively leverage the rich semantic information in TAGs datasets, their main drawback is that they are only partially interpretable, which limits their application in critical fields. In this paper, we propose a verbalized graph representation learning (VGRL) method which is fully interpretable. In contrast to traditional graph machine learning models, which are usually optimized within a continuous parameter space, VGRL constrains this parameter space to be text description which ensures complete interpretability throughout the entire process, making it easier for users to understand and trust the decisions of the model. We conduct several studies to empirically evaluate the effectiveness of VGRL and we believe these method can serve as a stepping stone in graph representation learning.
Abstract（参考訳）: テキスト分散グラフ(TAGs)での表現学習は、特にグラフニューラルネットワーク(GNNs)を通じて、広範囲にわたる実世界の応用により、大きな関心を集めている。従来のGNN手法はグラフの構造情報を符号化することに重点を置いており、しばしばノードやエッジ属性の浅いテキスト埋め込みを用いている。これにより、データ内のリッチなセマンティック情報と、複雑な下流タスクの推論能力を理解することができ、解釈可能性も欠如する。大規模言語モデル(LLM)の台頭に伴い、グラフ表現学習や下流タスクのためのGNNと組み合わせた研究が増えている。これらのアプローチは、TAGsデータセットのリッチなセマンティック情報を効果的に活用するが、主な欠点は、部分的に解釈可能であり、クリティカルフィールドでの応用を制限することである。本稿では,完全に解釈可能な言語型グラフ表現学習(VGRL)手法を提案する。通常、連続的なパラメータ空間内で最適化される従来のグラフ機械学習モデルとは対照的に、VGRLは、このパラメータ空間をテキスト記述に制限し、プロセス全体を通して完全な解釈可能性を保証する。我々は,VGRLの有効性を実証的に評価するためにいくつかの研究を行い,これらの手法がグラフ表現学習におけるステップストーンとして役立つと信じている。

関連論文リスト

Parameter-Efficient Tuning Large Language Models for Graph Representation Learning [62.26278815157628]
Graph-awareを導入します。 GPEFT - グラフ表現学習のための新しい手法。グラフニューラルネットワーク(GNN)を用いて、隣接するノードからグラフプロンプトに構造情報をエンコードする。我々は8つの異なるテキストリッチグラフで実施した総合的な実験を通じて,リンク予測評価において hit@1 と Mean Reciprocal Rank (MRR) の平均 2% の改善を観察し,本手法の有効性を検証した。
論文参考訳（メタデータ） (2024-04-28T18:36:59Z)
UniGraph: Learning a Unified Cross-Domain Foundation Model for Text-Attributed Graphs [30.635472655668078]
Text-Attributed Graphs (TAG) は、さまざまなドメインにまたがる見えないグラフやタスクに一般化することができる。本稿では,言語モデル (LM) とグラフニューラルネットワーク (GNN) をバックボーンネットワークとして,新しいケースドアーキテクチャを提案する。本モデルの有効性を,未確認グラフの自己教師型表現学習,少数ショットインコンテキスト転送,ゼロショット転送で実証する。
論文参考訳（メタデータ） (2024-02-21T09:06:31Z)
Efficient End-to-end Language Model Fine-tuning on Graphs [21.23522552579571]
Text-Attributed Graphs (TAGs) からの学習は、その幅広い現実世界のアプリケーションのために大きな注目を集めている。我々は,TAG上での言語モデルのエンドツーエンドな微調整のための,新規かつ効率的なアプローチであるLEAdingを紹介する。提案手法は,Ogbn-arxiv のリーダーボード上で,最先端のSOTA(State-of-the-art)を達成し,優れた性能を示す。
論文参考訳（メタデータ） (2023-12-07T22:35:16Z)
GRENADE: Graph-Centric Language Model for Self-Supervised Representation Learning on Text-Attributed Graphs [22.282756544376493]
テキスト分散グラフ上での自己教師型表現学習の問題を解決するために,新しいグラフ中心言語モデルGRENADEを開発した。 GRENADEは、事前訓練された言語モデルとグラフニューラルネットワークの両方の相乗効果を利用して、2つの専門的な自己教師付き学習アルゴリズムを最適化する。提案したグラフ中心の自己教師型学習アルゴリズムは、GRENADEが情報的テキスト意味論だけでなく、テキスト対応グラフの構造的コンテキスト情報を取得するのに有効である。
論文参考訳（メタデータ） (2023-10-23T17:18:35Z)
GraphGLOW: Universal and Generalizable Structure Learning for Graph Neural Networks [72.01829954658889]
本稿では,この新たな問題設定の数学的定義を紹介する。一つのグラフ共有構造学習者と複数のグラフ固有GNNを協調する一般的なフレームワークを考案する。十分に訓練された構造学習者は、微調整なしで、目に見えない対象グラフの適応的な構造を直接生成することができる。
論文参考訳（メタデータ） (2023-06-20T03:33:22Z)
Harnessing Explanations: LLM-to-LM Interpreter for Enhanced Text-Attributed Graph Representation Learning [51.90524745663737]
重要なイノベーションは、機能として説明を使用することで、下流タスクにおけるGNNのパフォーマンス向上に利用できます。提案手法は、確立されたTAGデータセットの最先端結果を実現する。本手法はトレーニングを著しく高速化し,ogbn-arxivのベースラインに最も近い2.88倍の改善を実現した。
論文参考訳（メタデータ） (2023-05-31T03:18:03Z)
GPT4Graph: Can Large Language Models Understand Graph Structured Data ? An Empirical Evaluation and Benchmarking [17.7473474499538]
ChatGPTのような大規模言語モデルは、人工知能にとって欠かせないものとなっている。本研究では,グラフデータの解釈において,LLMの精度を評価するための調査を行う。この知見は,言語モデルとグラフ理解のギャップを埋めるための貴重な洞察に寄与する。
論文参考訳（メタデータ） (2023-05-24T11:53:19Z)
State of the Art and Potentialities of Graph-level Learning [54.68482109186052]
グラフレベルの学習は、比較、回帰、分類など、多くのタスクに適用されている。グラフの集合を学習する伝統的なアプローチは、サブストラクチャのような手作りの特徴に依存している。ディープラーニングは、機能を自動的に抽出し、グラフを低次元表現に符号化することで、グラフレベルの学習をグラフの規模に適応させるのに役立っている。
論文参考訳（メタデータ） (2023-01-14T09:15:49Z)
GraphFormers: GNN-nested Transformers for Representation Learning on Textual Graph [53.70520466556453]
階層的にGNNコンポーネントを言語モデルのトランスフォーマーブロックと一緒にネストするGraphFormerを提案する。提案したアーキテクチャでは、テキストエンコーディングとグラフ集約を反復的なワークフローに融合する。さらに、プログレッシブ・ラーニング・ストラテジーを導入し、そのモデルが操作されたデータと元のデータに基づいて連続的に訓練され、グラフ上の情報を統合する能力を強化する。
論文参考訳（メタデータ） (2021-05-06T12:20:41Z)
Learning the Implicit Semantic Representation on Graph-Structured Data [57.670106959061634]
グラフ畳み込みネットワークにおける既存の表現学習手法は主に、各ノードの近傍を知覚全体として記述することで設計される。本稿では,グラフの潜在意味パスを学習することで暗黙的な意味を探索する意味グラフ畳み込みネットワーク(sgcn)を提案する。
論文参考訳（メタデータ） (2021-01-16T16:18:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。