論文の概要: Adaptive Tokenization: On the Hop-Overpriority Problem in Tokenized Graph Learning Models

• arxiv url: http://arxiv.org/abs/2505.15845v1
• Date: Mon, 19 May 2025 06:25:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-23 17:12:47.80514
• Title: Adaptive Tokenization: On the Hop-Overpriority Problem in Tokenized Graph Learning Models
• Title（参考訳）: Adaptive Tokenization:Tokenized Graph Learning ModelにおけるHop-Overpriority問題について
• Authors: Zhibiao Wang, Yunlong Zhou, Ziwei Zhang, Mengmei Zhang, Shirui Pan, Chunming Hu, Xiao Wang,
• Abstract要約: トークン学習モデル(TGLM)は、グラフをスケーラブルな処理のために順序付きトークンリストに変換する。 TGLMは手書きのトークンリストに依存しており、さまざまなグラフ学習シナリオへの適応性はまだ未検討である。 本稿では,手書きのトークンリストをTGLMで置き換えるプラグイン・アンド・プレイモジュールであるLearnable Graph Token List(LGTL)を提案する。
• 参考スコア（独自算出の注目度）: 59.98982735197465
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Graph Transformers, leveraging the global attention to capture long-range dependencies in graph structures, have significantly advanced graph machine learning, but face prohibitive computational complexity. Tokenized Graph Learning Models (TGLMs) address this issue by converting graphs into ordered token lists for scalable processing. Besides, TGLMs also empower Large Language Models (LLMs) to handle text-attributed graphs more effectively and thus are also employed in Graph LLMs. However, existing TGLMs rely on hand-designed token lists and their adaptability to diverse graph learning scenarios remains unexplored. In this paper, we first conduct extensive empirical and theoretical preliminary studies for hand-designed token lists. Surprisingly, we identify an unexplored hop-overpriority problem: the common pre-defined token lists overemphasize nearby nodes and overwhelm the ability of TGLMs to balance local and global signals. This phenomenon is especially harmful for heterophilic graphs. To address this problem, we propose the Learnable Graph Token List (LGTL), a plug-and-play module to replace hand-designed token lists in TGLMs. Specifically, LGTL adaptively adjusts the weights across hops and prioritizes informative nodes within hops through a graph attention gate module and a selection module, respectively. In this way, contextually informative nodes can be adaptively emphasized for both homophilic and heterophilic graphs. Besides, we theoretically show that LGTL can address the hop-overpriority problem. Extensive experiments on benchmarks validate the efficacy of LGTL across both Graph Transformers and Graph LLM backbones.
• Abstract（参考訳）: グラフトランスフォーマーは、グラフ構造の長距離依存関係をキャプチャするためにグローバルな注目を生かし、グラフ機械学習を著しく進歩させたが、計算の複雑さに直面する。 Tokenized Graph Learning Models (TGLM)は、グラフをスケーラブルな処理のために順序付きトークンリストに変換することでこの問題に対処する。 さらに、TGLMはLarge Language Models (LLMs) にも力を与えて、より効率的にテキスト分散グラフを扱えるようにし、グラフLLMにも採用されている。 しかし、既存のTGLMは手書きのトークンリストに依存しており、様々なグラフ学習シナリオへの適応性は未解明のままである。 本稿では,手書きトークンリストの広範な実験および理論的予備研究を行う。 共通事前定義されたトークンリストは、近隣ノードを過度に強調し、TGLMが局所的信号とグローバル的信号のバランスをとる能力を圧倒する。 この現象は異種グラフにとって特に有害である。 この問題に対処するために,手書きのトークンリストをTGLMで置き換えるプラグイン・アンド・プレイモジュールであるLearnable Graph Token List (LGTL)を提案する。 具体的には、LGTLはホップ間の重みを適応的に調整し、グラフアテンションゲートモジュールと選択モジュールを介してホップ内の情報ノードを優先順位付けする。 このように、文脈的に情報的ノードは、ホモフィルグラフとヘテロフィルグラフの両方に対して適応的に強調することができる。 さらに,LGTLがホップオーバオリティ問題に対処できることを理論的に示す。 ベンチマークに関する大規模な実験は、Graph TransformerとGraph LLMのバックボーンでLGTLの有効性を検証する。

関連論文リスト

• Align-GRAG: Reasoning-Guided Dual Alignment for Graph Retrieval-Augmented Generation [75.9865035064794]
  大きな言語モデル(LLM)は目覚ましい能力を示しているが、幻覚や時代遅れの情報といった問題に苦戦している。 Retrieval-augmented Generation (RAG) は、情報検索システム(IR)を用いて、外部知識のLLM出力を基底にすることで、これらの問題に対処する。 本稿では、検索後句における新しい推論誘導二重アライメントフレームワークであるAlign-GRAGを提案する。
  論文  参考訳（メタデータ） (2025-05-22T05:15:27Z)
• Scalability Matters: Overcoming Challenges in InstructGLM with Similarity-Degree-Based Sampling [1.2805157669888096]
  提案するSDM-InstructGLMは,GNNに依存することなく,拡張性と効率を向上する命令調整グラフ言語モデル(InstructGLM)フレームワークである。 本手法では,ノード間類似度と次数集中度に基づいてグラフ情報を選択的にサンプリングし,符号化する,類似度に基づくバイアス付きランダムウォーク機構を提案する。 本結果は,LLMのみのグラフ処理の実現可能性を示し,命令ベースの微調整によって最適化されたスケーラブルかつ解釈可能なグラフ言語モデル(GLM)を実現する。
  論文  参考訳（メタデータ） (2025-05-02T06:08:21Z)
• LLM as GNN: Graph Vocabulary Learning for Text-Attributed Graph Foundation Models [54.82915844507371]
  Text-Attributed Graphs (TAG) は、現実のシナリオにおいてユビキタスである。 大規模言語モデル(LLMs)とグラフニューラルネットワーク(GNNs)をTAGsに統合する努力にもかかわらず、既存のアプローチは分離されたアーキテクチャに悩まされている。 本稿では,グラフ語彙学習に基づくTAGのための汎用GFMであるPromptGFMを提案する。
  論文  参考訳（メタデータ） (2025-03-05T09:45:22Z)
• Enhance Graph Alignment for Large Language Models [33.96082485852042]
  グラフへのアプローチは、大規模言語モデルがグラフ情報を処理できることで人気がある。 既存の手法は、自己監督タスクと下流タスクの間に不一致がある。 協調タスクテンプレートの恩恵を受けるために,グラフアライメント大言語モデル(GALLM)を提案する。
  論文  参考訳（メタデータ） (2024-10-15T07:50:34Z)
• Can Large Language Models Analyze Graphs like Professionals? A Benchmark, Datasets and Models [88.4320775961431]
  グラフを処理するために,大規模言語モデル(LLM)のベンチマークであるProGraphを導入する。 その結果,現在のLCMの性能は不満足であり,最高のモデルでは36%の精度しか達成できないことがわかった。 本研究では,6つの広く使用されているグラフライブラリに基づいて,クローリングされたドキュメントと自動生成コードを含むLLM4Graphデータセットを提案する。
  論文  参考訳（メタデータ） (2024-09-29T11:38:45Z)
• GraphGPT: Graph Instruction Tuning for Large Language Models [27.036935149004726]
  グラフニューラルネットワーク(GNN)は、グラフ構造を理解するために進化してきた。 堅牢性を高めるために、自己教師付き学習(SSL)はデータ拡張の重要なツールとなっている。 本研究は,ゼロショット学習環境におけるグラフモデルの一般化を推し進めることによって,この問題に対処する。
  論文  参考訳（メタデータ） (2023-10-19T06:17:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。