論文の概要: Unleashing the Potential of Text-attributed Graphs: Automatic Relation Decomposition via Large Language Models

• arxiv url: http://arxiv.org/abs/2405.18581v1
• Date: Tue, 28 May 2024 20:54:47 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-30 21:43:38.601565
• Title: Unleashing the Potential of Text-attributed Graphs: Automatic Relation Decomposition via Large Language Models
• Title（参考訳）: テキスト対応グラフの可能性を解き明かす:大規模言語モデルによる自動関係分解
• Authors: Hyunjin Seo, Taewon Kim, June Yong Yang, Eunho Yang,
• Abstract要約: RoSE (Relation-oriented Semantic Edge-Decomposition) は、生のテキスト属性を分析してグラフ構造を分解する新しいフレームワークである。 我々のフレームワークは、さまざまなデータセットのノード分類性能を大幅に向上させ、ウィスコンシンデータセットでは最大16%の改善を実現した。
• 参考スコア（独自算出の注目度）: 31.443478448031886
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Recent advancements in text-attributed graphs (TAGs) have significantly improved the quality of node features by using the textual modeling capabilities of language models. Despite this success, utilizing text attributes to enhance the predefined graph structure remains largely unexplored. Our extensive analysis reveals that conventional edges on TAGs, treated as a single relation (e.g., hyperlinks) in previous literature, actually encompass mixed semantics (e.g., "advised by" and "participates in"). This simplification hinders the representation learning process of Graph Neural Networks (GNNs) on downstream tasks, even when integrated with advanced node features. In contrast, we discover that decomposing these edges into distinct semantic relations significantly enhances the performance of GNNs. Despite this, manually identifying and labeling of edges to corresponding semantic relations is labor-intensive, often requiring domain expertise. To this end, we introduce RoSE (Relation-oriented Semantic Edge-decomposition), a novel framework that leverages the capability of Large Language Models (LLMs) to decompose the graph structure by analyzing raw text attributes - in a fully automated manner. RoSE operates in two stages: (1) identifying meaningful relations using an LLM-based generator and discriminator, and (2) categorizing each edge into corresponding relations by analyzing textual contents associated with connected nodes via an LLM-based decomposer. Extensive experiments demonstrate that our model-agnostic framework significantly enhances node classification performance across various datasets, with improvements of up to 16% on the Wisconsin dataset.
• Abstract（参考訳）: テキスト分散グラフ(TAG)の最近の進歩は、言語モデルのテキストモデリング機能を利用することで、ノードの特徴の質を大幅に改善している。 この成功にもかかわらず、事前に定義されたグラフ構造を強化するためにテキスト属性を活用することは、ほとんど探索されていない。 これまでの文献では,従来のTAGのエッジは単一関係(例,ハイパーリンク)として扱われ,実際には混合意味論(例,「助言された」,「参加する」など)を包含していた。 この単純化は、高度なノード機能と統合された場合でも、下流タスクにおけるグラフニューラルネットワーク(GNN)の表現学習プロセスを妨げる。 対照的に、これらのエッジを異なる意味関係に分解することは、GNNの性能を大幅に向上させる。 それにもかかわらず、エッジを手動で識別し、対応する意味関係にラベル付けすることは労働集約的であり、しばしばドメインの専門知識を必要とする。 この目的のために,RoSE (Relation-oriented Semantic Edge-decomposition) を導入した。これは,Large Language Models (LLMs) の機能を利用して,生のテキスト属性を分析してグラフ構造を分解する新しいフレームワークである。 RoSEは,(1)LLMベースのジェネレータと識別器を用いて意味のある関係を識別し,(2)LLMベースの分解器を用いて接続ノードに関連するテキストコンテンツを解析することにより,各エッジを対応する関係に分類する。 大規模な実験により、我々のモデルに依存しないフレームワークは、さまざまなデータセットのノード分類性能を大幅に向上し、ウィスコンシンデータセットでは最大16%の改善が達成された。

関連論文リスト

• Graph-Augmented Relation Extraction Model with LLMs-Generated Support Document [7.0421339410165045]
  本研究では,文レベルの関係抽出(RE)に対する新しいアプローチを提案する。 グラフニューラルネットワーク(GNN)とLarge Language Models(LLM)を統合し、コンテキストに富んだサポートドキュメントを生成する。 そこで,CrossREデータセットを用いて実験を行い,本手法の有効性を実証した。
  論文  参考訳（メタデータ） (2024-10-30T20:48:34Z)
• Large Language Model-based Augmentation for Imbalanced Node Classification on Text-Attributed Graphs [13.42259312243504]
  LA-TAG (LLM-based Augmentation on Text-Attributed Graphs) と呼ばれる新しい手法を提案する。 グラフ内の既存のノードテキストに基づいて合成テキストを生成するように、Large Language Modelsに促す。 合成テキスト分散ノードをグラフに統合するために,テキストベースのリンク予測器を導入する。
  論文  参考訳（メタデータ） (2024-10-22T10:36:15Z)
• Hypergraph based Understanding for Document Semantic Entity Recognition [65.84258776834524]
  我々は,ハイパグラフアテンションを利用したハイパグラフアテンション文書セマンティックエンティティ認識フレームワークHGAを構築し,エンティティ境界とエンティティカテゴリを同時に重視する。 FUNSD, CORD, XFUNDIE で得られた結果は,本手法が意味的エンティティ認識タスクの性能を効果的に向上できることを示す。
  論文  参考訳（メタデータ） (2024-07-09T14:35:49Z)
• A Pure Transformer Pretraining Framework on Text-attributed Graphs [50.833130854272774]
  グラフ構造を先行として扱うことで,特徴中心の事前学習の視点を導入する。 我々のフレームワークであるGraph Sequence Pretraining with Transformer (GSPT)はランダムウォークを通してノードコンテキストをサンプリングする。 GSPTはノード分類とリンク予測の両方に容易に適応でき、様々なデータセットで有望な経験的成功を示す。
  論文  参考訳（メタデータ） (2024-06-19T22:30:08Z)
• DGNN: Decoupled Graph Neural Networks with Structural Consistency between Attribute and Graph Embedding Representations [62.04558318166396]
  グラフニューラルネットワーク(GNN)は、複雑な構造を持つグラフ上での表現学習の堅牢性を示す。 ノードのより包括的な埋め込み表現を得るために、Decoupled Graph Neural Networks (DGNN)と呼ばれる新しいGNNフレームワークが導入された。 複数のグラフベンチマークデータセットを用いて、ノード分類タスクにおけるDGNNの優位性を検証した。
  論文  参考訳（メタデータ） (2024-01-28T06:43:13Z)
• Pretraining Language Models with Text-Attributed Heterogeneous Graphs [28.579509154284448]
  テキスト分散不均質グラフ(TAHG)におけるトポロジ的および異種情報を明確に考察する言語モデル(LM)のための新しい事前学習フレームワークを提案する。 本稿では、LMと補助異種グラフニューラルネットワークを協調最適化することにより、コンテキストグラフに関わるノードを予測するトポロジ対応事前学習タスクを提案する。 各種ドメインの3つのデータセット上でリンク予測とノード分類を行う。
  論文  参考訳（メタデータ） (2023-10-19T08:41:21Z)
• Empower Text-Attributed Graphs Learning with Large Language Models (LLMs) [5.920353954082262]
  本稿では,Large Language Models (LLMs) を用いたノード生成によるテキスト分散グラフの強化のためのプラグイン・アンド・プレイ手法を提案する。 エッジ予測器を用いて、生のデータセットに固有の構造情報をキャプチャし、新たに生成されたサンプルを元のグラフに統合する。 実験では、特に低ショットシナリオにおいて、提案したパラダイムの卓越した性能を示す。
  論文  参考訳（メタデータ） (2023-10-15T16:04:28Z)
• Graph Adaptive Semantic Transfer for Cross-domain Sentiment Classification [68.06496970320595]
  クロスドメイン感情分類(CDSC)は、ソースドメインから学んだ伝達可能なセマンティクスを使用して、ラベルなしのターゲットドメインにおけるレビューの感情を予測することを目的としている。 本稿では、単語列と構文グラフの両方からドメイン不変セマンティクスを学習できる適応型構文グラフ埋め込み法であるグラフ適応意味伝達(GAST)モデルを提案する。
  論文  参考訳（メタデータ） (2022-05-18T07:47:01Z)
• GraphFormers: GNN-nested Transformers for Representation Learning on Textual Graph [53.70520466556453]
  階層的にGNNコンポーネントを言語モデルのトランスフォーマーブロックと一緒にネストするGraphFormerを提案する。 提案したアーキテクチャでは、テキストエンコーディングとグラフ集約を反復的なワークフローに融合する。 さらに、プログレッシブ・ラーニング・ストラテジーを導入し、そのモデルが操作されたデータと元のデータに基づいて連続的に訓練され、グラフ上の情報を統合する能力を強化する。
  論文  参考訳（メタデータ） (2021-05-06T12:20:41Z)
• Learning the Implicit Semantic Representation on Graph-Structured Data [57.670106959061634]
  グラフ畳み込みネットワークにおける既存の表現学習手法は主に、各ノードの近傍を知覚全体として記述することで設計される。 本稿では,グラフの潜在意味パスを学習することで暗黙的な意味を探索する意味グラフ畳み込みネットワーク(sgcn)を提案する。
  論文  参考訳（メタデータ） (2021-01-16T16:18:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。