論文の概要: Dynamic Text Bundling Supervision for Zero-Shot Inference on Text-Attributed Graphs

• arxiv url: http://arxiv.org/abs/2505.17599v1
• Date: Fri, 23 May 2025 08:12:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-26 18:08:33.914553
• Title: Dynamic Text Bundling Supervision for Zero-Shot Inference on Text-Attributed Graphs
• Title（参考訳）: テキスト分散グラフにおけるゼロショット推論のための動的テキストバンドル
• Authors: Yusheng Zhao, Qixin Zhang, Xiao Luo, Weizhi Zhang, Zhiping Xiao, Wei Ju, Philip S. Yu, Ming Zhang,
• Abstract要約: 大規模言語モデル(LLM)は多くのゼロショット学習問題で使われている。 LLMは、グラフトポロジから分離されたテキスト属性と競合する。 これらは、情報不足とLLMの固有の弱点の両方により、信頼性の低い予測をもたらす。
• 参考スコア（独自算出の注目度）: 36.63398453258604
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Large language models (LLMs) have been used in many zero-shot learning problems, with their strong generalization ability. Recently, adopting LLMs in text-attributed graphs (TAGs) has drawn increasing attention. However, the adoption of LLMs faces two major challenges: limited information on graph structure and unreliable responses. LLMs struggle with text attributes isolated from the graph topology. Worse still, they yield unreliable predictions due to both information insufficiency and the inherent weakness of LLMs (e.g., hallucination). Towards this end, this paper proposes a novel method named Dynamic Text Bundling Supervision (DENSE) that queries LLMs with bundles of texts to obtain bundle-level labels and uses these labels to supervise graph neural networks. Specifically, we sample a set of bundles, each containing a set of nodes with corresponding texts of close proximity. We then query LLMs with the bundled texts to obtain the label of each bundle. Subsequently, the bundle labels are used to supervise the optimization of graph neural networks, and the bundles are further refined to exclude noisy items. To justify our design, we also provide theoretical analysis of the proposed method. Extensive experiments across ten datasets validate the effectiveness of the proposed method.
• Abstract（参考訳）: 大規模言語モデル(LLM)は多くのゼロショット学習問題で使われ、その強力な一般化能力がある。 近年,テキスト分散グラフ (TAG) における LLM の採用が注目されている。 しかし、LLMの採用はグラフ構造に関する限られた情報と信頼できない応答の2つの大きな課題に直面している。 LLMは、グラフトポロジから分離されたテキスト属性と競合する。 さらに悪いことに、情報不足とLSMの固有の弱さ(例えば幻覚)によって、信頼できない予測が得られる。 そこで本研究では,LLM にバンドルレベルのラベルを求める動的テキストバンドルスーパービジョン (DENSE) を提案し,これらのラベルを用いてグラフニューラルネットワークを監督する。 具体的には,一組のバンドルをサンプリングし,それぞれが近接したテキストに対応するノードの集合を含む。 次に、LLMをバンドルされたテキストでクエリして、各バンドルのラベルを取得する。 その後、グラフニューラルネットワークの最適化を監督するためにバンドルラベルを使用し、ノイズのあるアイテムを除外するためにバンドルをさらに洗練する。 また,提案手法の理論的解析も行う。 提案手法の有効性を10個のデータセットで検証した。

関連論文リスト

• LLM as GNN: Graph Vocabulary Learning for Text-Attributed Graph Foundation Models [54.82915844507371]
  Text-Attributed Graphs (TAG) は、現実のシナリオにおいてユビキタスである。 大規模言語モデル(LLMs)とグラフニューラルネットワーク(GNNs)をTAGsに統合する努力にもかかわらず、既存のアプローチは分離されたアーキテクチャに悩まされている。 本稿では,グラフ語彙学習に基づくTAGのための汎用GFMであるPromptGFMを提案する。
  論文  参考訳（メタデータ） (2025-03-05T09:45:22Z)
• Large Language Model-based Augmentation for Imbalanced Node Classification on Text-Attributed Graphs [13.42259312243504]
  グラフ上のノード分類は、しばしばクラス不均衡に悩まされ、現実のアプリケーションにおいてバイアスのある予測と重大なリスクをもたらす。 本研究では,テキスト分散グラフ(LA-TAG)を用いた大規模言語モデルに基づく拡張手法を提案する。
  論文  参考訳（メタデータ） (2024-10-22T10:36:15Z)
• Parameter-Efficient Tuning Large Language Models for Graph Representation Learning [62.26278815157628]
  Graph-awareを導入します。 GPEFT - グラフ表現学習のための新しい手法。 グラフニューラルネットワーク(GNN)を用いて、隣接するノードからグラフプロンプトに構造情報をエンコードする。 我々は8つの異なるテキストリッチグラフで実施した総合的な実験を通じて,リンク予測評価において hit@1 と Mean Reciprocal Rank (MRR) の平均 2% の改善を観察し,本手法の有効性を検証した。
  論文  参考訳（メタデータ） (2024-04-28T18:36:59Z)
• Large Language Models as Topological Structure Enhancers for Text-Attributed Graphs [3.5627549694751184]
  大規模言語モデル(LLM)は自然言語処理(NLP)の分野に革命をもたらした。 本研究では,LLMの情報検索とテキスト生成機能を活用して,ノード分類設定の下でのテキスト分散グラフ(TAG)のトポロジ構造を洗練・強化する方法について検討する。
  論文  参考訳（メタデータ） (2023-11-24T07:53:48Z)
• Leveraging Large Language Models for Node Generation in Few-Shot Learning on Text-Attributed Graphs [5.587264586806575]
  本稿では,Large Language Models (LLMs) を用いたノード生成によるテキスト分散グラフの強化のためのプラグイン・アンド・プレイ手法を提案する。 LLMはラベルから意味情報を抽出し、模範としてカテゴリに属するサンプルを生成する。 エッジ予測器を用いて、生のデータセットに固有の構造情報をキャプチャし、新たに生成されたサンプルを元のグラフに統合する。
  論文  参考訳（メタデータ） (2023-10-15T16:04:28Z)
• Harnessing Explanations: LLM-to-LM Interpreter for Enhanced Text-Attributed Graph Representation Learning [51.90524745663737]
  重要なイノベーションは、機能として説明を使用することで、下流タスクにおけるGNNのパフォーマンス向上に利用できます。 提案手法は、確立されたTAGデータセットの最先端結果を実現する。 本手法はトレーニングを著しく高速化し,ogbn-arxivのベースラインに最も近い2.88倍の改善を実現した。
  論文  参考訳（メタデータ） (2023-05-31T03:18:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。