Fugu-MT 論文翻訳(概要): Hierarchical Compression of Text-Rich Graphs via Large Language Models

論文の概要: Hierarchical Compression of Text-Rich Graphs via Large Language Models

arxiv url: http://arxiv.org/abs/2406.11884v1
Date: Thu, 13 Jun 2024 07:24:46 GMT
ステータス: 処理完了
システム内更新日: 2024-06-20 00:55:56.874207
Title: Hierarchical Compression of Text-Rich Graphs via Large Language Models
Title（参考訳）: 大規模言語モデルによるテキストリッチグラフの階層圧縮
Authors: Shichang Zhang, Da Zheng, Jiani Zhang, Qi Zhu, Xiang song, Soji Adeshina, Christos Faloutsos, George Karypis, Yizhou Sun,
Abstract要約: テキストリッチグラフは、eコマースや学術グラフのようなデータマイニングの文脈で広く使われている。本稿では,LLMの能力とテキストリッチグラフの構造を整合させる新しい手法であるHiComを紹介する。 HiComは、Eコマースと引用グラフのノード分類において、GNNとLLMのバックボーンよりも優れている。
参考スコア（独自算出の注目度）: 63.75293588479027
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Text-rich graphs, prevalent in data mining contexts like e-commerce and academic graphs, consist of nodes with textual features linked by various relations. Traditional graph machine learning models, such as Graph Neural Networks (GNNs), excel in encoding the graph structural information, but have limited capability in handling rich text on graph nodes. Large Language Models (LLMs), noted for their superior text understanding abilities, offer a solution for processing the text in graphs but face integration challenges due to their limitation for encoding graph structures and their computational complexities when dealing with extensive text in large neighborhoods of interconnected nodes. This paper introduces ``Hierarchical Compression'' (HiCom), a novel method to align the capabilities of LLMs with the structure of text-rich graphs. HiCom processes text in a node's neighborhood in a structured manner by organizing the extensive textual information into a more manageable hierarchy and compressing node text step by step. Therefore, HiCom not only preserves the contextual richness of the text but also addresses the computational challenges of LLMs, which presents an advancement in integrating the text processing power of LLMs with the structural complexities of text-rich graphs. Empirical results show that HiCom can outperform both GNNs and LLM backbones for node classification on e-commerce and citation graphs. HiCom is especially effective for nodes from a dense region in a graph, where it achieves a 3.48% average performance improvement on five datasets while being more efficient than LLM backbones.
Abstract（参考訳）: テキストリッチグラフは、電子商取引や学術グラフのようなデータマイニングの文脈で一般的であり、さまざまな関係によってリンクされたテキストの特徴を持つノードで構成されている。グラフニューラルネットワーク(GNN)のような従来のグラフ機械学習モデルでは、グラフ構造情報を符号化する能力は優れているが、グラフノード上でリッチテキストを扱う能力は限られている。大きな言語モデル(LLM)は、優れたテキスト理解能力で知られ、グラフでテキストを処理するソリューションを提供するが、グラフ構造を符号化する制限と、相互接続されたノードの大きな近傍で広範囲なテキストを扱う際の計算複雑性のために、統合の課題に直面している。本稿では,LLMの能力とテキストリッチグラフの構造を整合させる新しい手法である'HiCom'を紹介する。 HiComは、広範なテキスト情報をより管理可能な階層に整理し、ステップごとにノードテキストを圧縮することで、ノードの近傍で構造化された方法でテキストを処理する。したがって、HiComはテキストの文脈的豊かさを保存するだけでなく、LLMの計算的課題にも対処し、LLMのテキスト処理能力とテキストリッチグラフの構造的複雑さを統合する進歩を示す。実証実験の結果,HiCom は GNN と LLM のバックボーンを上回り,E-Commerce と citation graph のノード分類を行うことができた。 HiComはグラフ内の高密度領域のノードに対して特に有効であり、5つのデータセットの平均パフォーマンス改善率は3.48%で、LLMバックボーンよりも効率的である。

関連論文リスト

Large Language Model-based Augmentation for Imbalanced Node Classification on Text-Attributed Graphs [13.42259312243504]
LA-TAG (LLM-based Augmentation on Text-Attributed Graphs) と呼ばれる新しい手法を提案する。グラフ内の既存のノードテキストに基づいて合成テキストを生成するように、Large Language Modelsに促す。合成テキスト分散ノードをグラフに統合するために,テキストベースのリンク予測器を導入する。
論文参考訳（メタデータ） (2024-10-22T10:36:15Z)
Parameter-Efficient Tuning Large Language Models for Graph Representation Learning [62.26278815157628]
Graph-awareを導入します。 GPEFT - グラフ表現学習のための新しい手法。グラフニューラルネットワーク(GNN)を用いて、隣接するノードからグラフプロンプトに構造情報をエンコードする。我々は8つの異なるテキストリッチグラフで実施した総合的な実験を通じて,リンク予測評価において hit@1 と Mean Reciprocal Rank (MRR) の平均 2% の改善を観察し,本手法の有効性を検証した。
論文参考訳（メタデータ） (2024-04-28T18:36:59Z)
Graph Chain-of-Thought: Augmenting Large Language Models by Reasoning on Graphs [60.71360240206726]
大規模言語モデル(LLM)は、特に知識集約的なタスクにおいて幻覚に悩まされる。既存の研究は、外部知識コーパスから取得した個々のテキスト単位でLLMを拡張することを提案する。本稿では,グラフを反復的に推論することで,LLMをグラフで拡張するためのGraph Chain-of-thinkt (Graph-CoT) というフレームワークを提案する。
論文参考訳（メタデータ） (2024-04-10T15:41:53Z)
GraphEdit: Large Language Models for Graph Structure Learning [62.618818029177355]
グラフ構造学習(GSL)は、グラフ構造データ中のノード間の固有の依存関係と相互作用をキャプチャすることに焦点を当てている。既存のGSL法は、監督信号として明示的なグラフ構造情報に大きく依存している。グラフ構造化データの複雑なノード関係を学習するために,大規模言語モデル(LLM)を利用したグラフ編集を提案する。
論文参考訳（メタデータ） (2024-02-23T08:29:42Z)
Large Language Models on Graphs: A Comprehensive Survey [77.16803297418201]
グラフ上の大規模言語モデルに関連するシナリオとテクニックを体系的にレビューする。まず,LLMをグラフに適用する可能性シナリオを,純グラフ,テキスト分散グラフ,テキストペアグラフの3つのカテゴリにまとめる。本稿では,そのような手法の現実的な応用について論じ,オープンソースコードとベンチマークデータセットを要約する。
論文参考訳（メタデータ） (2023-12-05T14:14:27Z)
Which Modality should I use -- Text, Motif, or Image? : Understanding Graphs with Large Language Models [14.251972223585765]
本稿では,テキスト,画像,モチーフなどの多様性を持つグラフを符号化する新たな手法を提案する。また、グラフ構造解析において、LLM(Large Language Models)を評価するための新しいベンチマークであるGraphTMIも提示されている。
論文参考訳（メタデータ） (2023-11-16T12:45:41Z)
GraphGPT: Graph Instruction Tuning for Large Language Models [27.036935149004726]
グラフニューラルネットワーク(GNN)は、グラフ構造を理解するために進化してきた。堅牢性を高めるために、自己教師付き学習(SSL)はデータ拡張の重要なツールとなっている。本研究は,ゼロショット学習環境におけるグラフモデルの一般化を推し進めることによって,この問題に対処する。
論文参考訳（メタデータ） (2023-10-19T06:17:46Z)
GraphText: Graph Reasoning in Text Space [32.00258972022153]
GraphTextはグラフを自然言語に変換するフレームワークである。 GraphTextは、教師付きトレーニングされたグラフニューラルネットワークのパフォーマンスに匹敵する、あるいは超えることができる。インタラクティブなグラフ推論の道を開くことで、人間とLLMの両方が自然言語を使ってシームレスにモデルと通信できるようになる。
論文参考訳（メタデータ） (2023-10-02T11:03:57Z)
JointGT: Graph-Text Joint Representation Learning for Text Generation from Knowledge Graphs [44.06715423776722]
本論文では,ジョイントGTと呼ばれるグラフテキスト共同表現学習モデルを提案する。エンコーディング中、各トランスフォーマー層にプラグインされた構造対応セマンティックアグリゲーションモジュールを考案した。種々のKG-to-textデータセット上で,JointGTが新たな最先端性能を得ることを示す。
論文参考訳（メタデータ） (2021-06-19T14:10:10Z)
GraphFormers: GNN-nested Transformers for Representation Learning on Textual Graph [53.70520466556453]
階層的にGNNコンポーネントを言語モデルのトランスフォーマーブロックと一緒にネストするGraphFormerを提案する。提案したアーキテクチャでは、テキストエンコーディングとグラフ集約を反復的なワークフローに融合する。さらに、プログレッシブ・ラーニング・ストラテジーを導入し、そのモデルが操作されたデータと元のデータに基づいて連続的に訓練され、グラフ上の情報を統合する能力を強化する。
論文参考訳（メタデータ） (2021-05-06T12:20:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。