論文の概要: ERAlign: Energy-based Representation Alignment of GNNs and LLMs on Text-attributed Graphs

• arxiv url: http://arxiv.org/abs/2606.10461v1
• Date: Tue, 09 Jun 2026 06:16:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-10 15:40:58.348783
• Title: ERAlign: Energy-based Representation Alignment of GNNs and LLMs on Text-attributed Graphs
• Title（参考訳）: ERAlign: テキスト対応グラフ上でのGNNとLLMのエネルギーベース表現アライメント
• Authors: Xianlin Zeng, Fan Xia, Xiangyu Chen,
• Abstract要約: テキスト分散グラフ(TAG)は、リッチリレーショナルセマンティクスを記述するために、グラフ構造にテキストノード属性を組み込む。 グラフニューラルネットワーク(GNN)とLarge Language Models(LLM)を統合する最近の取り組みは、TAGで学ぶことを約束している。 本研究では, 整合性のある表現を実現するためのエネルギーベース表現アライメントフレームワークを提案する。
• 参考スコア（独自算出の注目度）: 9.613724290158116
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Text-attributed Graphs (TAGs) incorporate textual node attributes with graph structures to describe rich relational semantics. Recent efforts to integrate Graph Neural Networks (GNNs) and Large Language Models (LLMs) have shown promise for learning on TAGs, yet achieving well-aligned representations remains challenging. Prior studies largely rely on heuristics that perform coarse-grained matching. They lack sufficient constraints and ignore distributional alignment, leading to representation drift and limited generalization. Building on Energy-based Models (EBMs), we propose an Energy-based Representation Alignment (ERAlign) framework that projects GNN-encoded graph structure and LLM-derived text embeddings in a shared latent space to achieve distribution consistency. Concretely, layer-wise alignment is quantified by a distance metric and optimized via an EBM objective. By decreasing energy values, our framework yields well-aligned representations for downstream tasks. During training, we introduce Energy Discrepancy (ED) to avoid high sampling costs associated with intractable normalization. ED also carries theoretical guarantees of higher training efficiency and reduced energy landscape distortion. Empirical evaluations on eight TAG datasets demonstrate that ERAlign obtains state-of-the-art performance across varying levels of supervision and cross-task transfer scenarios.
• Abstract（参考訳）: テキスト分散グラフ(TAG)は、リッチリレーショナルセマンティクスを記述するために、グラフ構造にテキストノード属性を組み込む。 グラフニューラルネットワーク(GNN)とLarge Language Models(LLM)を統合する最近の取り組みは、TAGで学ぶことを約束している。 以前の研究では、粗い粒度のマッチングを行うヒューリスティックに大きく依存していた。 これらは十分な制約を欠き、分布的アライメントを無視し、表現のドリフトと限定的な一般化をもたらす。 本稿では,GNN符号化グラフ構造とLLM由来のテキスト埋め込みを共有潜在空間に投影し,分散整合性を実現するEnergy-based Representation Alignment(ERAlign)フレームワークを提案する。 具体的には、層状アライメントは距離メートル法で定量化され、ESMの目的によって最適化される。 エネルギー値の低減により、下流のタスクに対して適切に整合した表現が得られます。 トレーニング中は,抽出可能正規化に伴う高サンプリングコストを回避するため,エネルギー格差(ED)を導入している。 EDはまた、より高い訓練効率とエネルギーランドスケープの歪みの低減を理論的に保証している。 8つのTAGデータセットに対する実証的な評価は、ERAlignがさまざまなレベルの監視とクロスタスク転送シナリオで最先端のパフォーマンスを得ることを示す。

関連論文リスト

• GLOW: Graph-Language Co-Reasoning for Agentic Workflow Performance Prediction [51.83437071408662]
  本稿では,AW性能予測のための統合フレームワークGLOWを提案する。 GLOWは、GNNのグラフ構造モデリング能力とLLMの推論能力を組み合わせる。 FLORA-Benchの実験では、GLOWは予測精度とランキングユーティリティにおいて最先端のベースラインを上回っている。
  論文  参考訳（メタデータ） (2025-12-11T13:30:46Z)
• GILT: An LLM-Free, Tuning-Free Graph Foundational Model for In-Context Learning [50.40400074353263]
  グラフニューラルネットワーク(GNN)は、リレーショナルデータを先行する強力なツールであるが、しばしば目に見えないグラフに一般化するのに苦労する。 textbfGraph textbfIn-context textbfL textbfTransformer (GILT)を導入する。
  論文  参考訳（メタデータ） (2025-10-06T08:09:15Z)
• Graph Structure Refinement with Energy-based Contrastive Learning [56.957793274727514]
  グラフの構造と表現を学習するための生成訓練と識別訓練のジョイントに基づく教師なし手法を提案する。 本稿では,ECL-GSR(Energy-based Contrastive Learning)によるグラフ構造再構成(GSR)フレームワークを提案する。 ECL-GSRは、主要なベースラインに対するサンプルやメモリの少ない高速なトレーニングを実現し、下流タスクの単純さと効率性を強調している。
  論文  参考訳（メタデータ） (2024-12-20T04:05:09Z)
• A Pure Transformer Pretraining Framework on Text-attributed Graphs [50.833130854272774]
  グラフ構造を先行として扱うことで,特徴中心の事前学習の視点を導入する。 我々のフレームワークであるGraph Sequence Pretraining with Transformer (GSPT)はランダムウォークを通してノードコンテキストをサンプリングする。 GSPTはノード分類とリンク予測の両方に容易に適応でき、様々なデータセットで有望な経験的成功を示す。
  論文  参考訳（メタデータ） (2024-06-19T22:30:08Z)
• Multi-View Empowered Structural Graph Wordification for Language Models [12.22063024099311]
  本稿では,LLM-graphアライメントのためのエンドツーエンドのモダリティアライメントフレームワークについて紹介する。 提案手法は LLM とのトークンレベルアライメントを容易にするために設計されており,グラフの内在的' を理解可能な自然言語に効果的に翻訳することができる。 我々のフレームワークは、LLMとGNN間のトークンレベルのアライメントを実現するための、有望な試みである、ある視覚的解釈可能性、効率、堅牢性を保証する。
  論文  参考訳（メタデータ） (2024-06-19T16:43:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。