論文の概要: Scale-Free Graph-Language Models

• arxiv url: http://arxiv.org/abs/2502.15189v1
• Date: Fri, 21 Feb 2025 03:41:43 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-24 16:11:11.973356
• Title: Scale-Free Graph-Language Models
• Title（参考訳）: スケールフリーグラフ言語モデル
• Authors: Jianglin Lu, Yixuan Liu, Yitian Zhang, Yun Fu,
• Abstract要約: グラフ言語モデル(GLM)は、グラフに基づく半教師付き学習において大きな可能性を示している。 本稿では,グラフ生成とテキスト埋め込みを統一フレームワークに統合した新しいGLMを提案する。
• 参考スコア（独自算出の注目度）: 44.283149785253286
• License:
• Abstract: Graph-language models (GLMs) have demonstrated great potential in graph-based semi-supervised learning. A typical GLM consists of two key stages: graph generation and text embedding, which are usually implemented by inferring a latent graph and finetuning a language model (LM), respectively. However, the former often relies on artificial assumptions about the underlying edge distribution, while the latter requires extensive data annotations. To tackle these challenges, this paper introduces a novel GLM that integrates graph generation and text embedding within a unified framework. Specifically, for graph generation, we leverage an inherent characteristic of real edge distribution--the scale-free property--as a structural prior. We unexpectedly find that this natural property can be effectively approximated by a simple k-nearest neighbor (KNN) graph. For text embedding, we develop a graph-based pseudo-labeler that utilizes scale-free graphs to provide complementary supervision for improved LM finetuning. Extensive experiments on representative datasets validate our findings on the scale-free structural approximation of KNN graphs and demonstrate the effectiveness of integrating graph generation and text embedding with a real structural prior. Our code is available at https://github.com/Jianglin954/SFGL.
• Abstract（参考訳）: グラフ言語モデル(GLM)は、グラフに基づく半教師付き学習において大きな可能性を示している。 典型的なGLMは、グラフ生成とテキスト埋め込みという2つの重要な段階で構成され、これは通常、潜時グラフを推論し、言語モデル(LM)を微調整することによって実装される。 しかしながら、前者は下層のエッジ分布に関する人工的な仮定にしばしば依存し、後者は広範なデータアノテーションを必要とする。 これらの課題に対処するために,グラフ生成とテキスト埋め込みを統一フレームワークに統合した新しいGLMを提案する。 具体的には、グラフ生成において、実エッジ分布(スケールフリーな性質)の本質的な特性を、構造的先行として活用する。 この自然特性は、単純なk-nearest neighbor (KNN)グラフによって効果的に近似できる。 テキスト埋め込みのために,スケールフリーグラフを用いたグラフベース擬似ラベルの開発を行い,LMファインタニングの改善のための補完的な監視を行う。 KNNグラフのスケールフリーな構造近似に関する総合的な実験を行い、グラフ生成とテキスト埋め込みを実際の構造的先行に組み込むことの有効性を実証した。 私たちのコードはhttps://github.com/Jianglin954/SFGLで公開されています。

関連論文リスト

• Can LLMs Convert Graphs to Text-Attributed Graphs? [35.53046810556242]
  既存のグラフをテキスト対応グラフに変換するために,Topology-Aware Node description Synthesis (TANS)を提案する。 我々はTANSをテキストリッチ,テキスト制限,テキストフリーのグラフで評価し,その適用性を示した。
  論文  参考訳（メタデータ） (2024-12-13T13:32:59Z)
• GraphCLIP: Enhancing Transferability in Graph Foundation Models for Text-Attributed Graphs [27.169892145194638]
  GraphCLIPは、強力なクロスドメインゼロ/フェーショット転送可能性を持つグラフ基盤モデルを学習するためのフレームワークである。 LLMの助けを借りて、大規模グラフ-土木ペアデータを生成し、キュレートする。 数ショットの学習では,事前学習目標に沿った新しいグラフプロンプトチューニング手法を提案する。
  論文  参考訳（メタデータ） (2024-10-14T09:40:52Z)
• A Pure Transformer Pretraining Framework on Text-attributed Graphs [50.833130854272774]
  グラフ構造を先行として扱うことで,特徴中心の事前学習の視点を導入する。 我々のフレームワークであるGraph Sequence Pretraining with Transformer (GSPT)はランダムウォークを通してノードコンテキストをサンプリングする。 GSPTはノード分類とリンク予測の両方に容易に適応でき、様々なデータセットで有望な経験的成功を示す。
  論文  参考訳（メタデータ） (2024-06-19T22:30:08Z)
• Parameter-Efficient Tuning Large Language Models for Graph Representation Learning [62.26278815157628]
  Graph-awareを導入します。 GPEFT - グラフ表現学習のための新しい手法。 グラフニューラルネットワーク(GNN)を用いて、隣接するノードからグラフプロンプトに構造情報をエンコードする。 我々は8つの異なるテキストリッチグラフで実施した総合的な実験を通じて,リンク予測評価において hit@1 と Mean Reciprocal Rank (MRR) の平均 2% の改善を観察し,本手法の有効性を検証した。
  論文  参考訳（メタデータ） (2024-04-28T18:36:59Z)
• Graph Language Models [18.75364157933661]
  両アプローチの長所を統合し,その短所を緩和する新しいLM型であるグラフ言語モデル(GLM)を導入する。 我々はGLMのアーキテクチャを設計し、グラフバイアスを取り入れ、グラフ内の効果的な知識分布を促進する。 関係分類タスクに関する実証的な評価は、GLM埋め込みが、教師付きおよびゼロショット設定におけるLMベースラインとGNNベースベースラインの両方を上回っていることを示している。
  論文  参考訳（メタデータ） (2024-01-13T16:09:49Z)
• GraphGPT: Graph Instruction Tuning for Large Language Models [27.036935149004726]
  グラフニューラルネットワーク(GNN)は、グラフ構造を理解するために進化してきた。 堅牢性を高めるために、自己教師付き学習(SSL)はデータ拡張の重要なツールとなっている。 本研究は,ゼロショット学習環境におけるグラフモデルの一般化を推し進めることによって,この問題に対処する。
  論文  参考訳（メタデータ） (2023-10-19T06:17:46Z)
• SimTeG: A Frustratingly Simple Approach Improves Textual Graph Learning [131.04781590452308]
  テキストグラフ学習におけるフラストレーションに富んだアプローチであるSimTeGを提案する。 まず、下流タスクで予め訓練されたLM上で、教師付きパラメータ効率の微調整(PEFT)を行う。 次に、微調整されたLMの最後の隠れ状態を用いてノード埋め込みを生成する。
  論文  参考訳（メタデータ） (2023-08-03T07:00:04Z)
• GraphGLOW: Universal and Generalizable Structure Learning for Graph Neural Networks [72.01829954658889]
  本稿では,この新たな問題設定の数学的定義を紹介する。 一つのグラフ共有構造学習者と複数のグラフ固有GNNを協調する一般的なフレームワークを考案する。 十分に訓練された構造学習者は、微調整なしで、目に見えない対象グラフの適応的な構造を直接生成することができる。
  論文  参考訳（メタデータ） (2023-06-20T03:33:22Z)
• Neural Graph Matching for Pre-training Graph Neural Networks [72.32801428070749]
  グラフニューラルネットワーク(GNN)は、構造データのモデリングにおいて強力な能力を示している。 GMPTと呼ばれる新しいグラフマッチングベースのGNN事前学習フレームワークを提案する。 提案手法は,完全自己指導型プレトレーニングと粗粒型プレトレーニングに適用できる。
  論文  参考訳（メタデータ） (2022-03-03T09:53:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。