論文の概要: You do not have to train Graph Neural Networks at all on text-attributed graphs

• arxiv url: http://arxiv.org/abs/2404.11019v1
• Date: Wed, 17 Apr 2024 02:52:11 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-18 15:34:07.487200
• Title: You do not have to train Graph Neural Networks at all on text-attributed graphs
• Title（参考訳）: テキスト分散グラフ上でグラフニューラルネットワークをトレーニングする必要はまったくない
• Authors: Kaiwen Dong, Zhichun Guo, Nitesh V. Chawla,
• Abstract要約: 我々は、同じクラスからのテキストエンコーディングがしばしば線形部分空間に集約されるという観察に乗じて、線形GNNモデルであるTrainlessGNNを紹介した。 実験の結果、私たちのトレインレスモデルは、従来の訓練済みのモデルにマッチするか、超えられることがわかった。
• 参考スコア（独自算出の注目度）: 25.044734252779975
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Graph structured data, specifically text-attributed graphs (TAG), effectively represent relationships among varied entities. Such graphs are essential for semi-supervised node classification tasks. Graph Neural Networks (GNNs) have emerged as a powerful tool for handling this graph-structured data. Although gradient descent is commonly utilized for training GNNs for node classification, this study ventures into alternative methods, eliminating the iterative optimization processes. We introduce TrainlessGNN, a linear GNN model capitalizing on the observation that text encodings from the same class often cluster together in a linear subspace. This model constructs a weight matrix to represent each class's node attribute subspace, offering an efficient approach to semi-supervised node classification on TAG. Extensive experiments reveal that our trainless models can either match or even surpass their conventionally trained counterparts, demonstrating the possibility of refraining from gradient descent in certain configurations.
• Abstract（参考訳）: グラフ構造化データ、特にテキスト分散グラフ(TAG)は、様々なエンティティ間の関係を効果的に表現する。 このようなグラフは、半教師付きノード分類タスクに必須である。 グラフニューラルネットワーク(GNN)は、このグラフ構造化データを扱う強力なツールとして登場した。 勾配降下はノード分類のためのGNNの訓練によく用いられるが、この研究は、反復最適化プロセスを排除し、代替手法に発展する。 我々は、同じクラスからのテキストエンコーディングがしばしば線形部分空間に集約されるという観察に乗じて、線形GNNモデルであるTrainlessGNNを紹介した。 このモデルは各クラスのノード属性部分空間を表現するために重み行列を構築し、TAG上の半教師付きノード分類への効率的なアプローチを提供する。 大規模な実験により、我々のトレインレスモデルが従来の訓練されたモデルと一致したり、超えたりできることが明らかとなり、特定の構成での勾配降下を控える可能性が示された。

関連論文リスト

• Spectral Greedy Coresets for Graph Neural Networks [61.24300262316091]
  ノード分類タスクにおける大規模グラフの利用は、グラフニューラルネットワーク(GNN)の現実的な応用を妨げる 本稿では,GNNのグラフコアセットについて検討し,スペクトル埋め込みに基づくエゴグラフの選択により相互依存の問題を回避する。 我々のスペクトルグレディグラフコアセット(SGGC)は、数百万のノードを持つグラフにスケールし、モデル事前学習の必要性を排除し、低ホモフィリーグラフに適用する。
  論文  参考訳（メタデータ） (2024-05-27T17:52:12Z)
• NodeFormer: A Scalable Graph Structure Learning Transformer for Node Classification [70.51126383984555]
  本稿では,任意のノード間のノード信号を効率的に伝搬する全ペアメッセージパッシング方式を提案する。 効率的な計算は、カーナライズされたGumbel-Softmax演算子によって実現される。 グラフ上のノード分類を含む様々なタスクにおいて,本手法の有望な有効性を示す実験を行った。
  論文  参考訳（メタデータ） (2023-06-14T09:21:15Z)
• A Robust Stacking Framework for Training Deep Graph Models with Multifaceted Node Features [61.92791503017341]
  数値ノード特徴とグラフ構造を入力とするグラフニューラルネットワーク(GNN)は,グラフデータを用いた各種教師付き学習タスクにおいて,優れた性能を示した。 IID(non-graph)データをGNNに簡単に組み込むことはできない。 本稿では、グラフ認識の伝播をIDデータに意図した任意のモデルで融合するロバストな積み重ねフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-06-16T22:46:33Z)
• High-Order Pooling for Graph Neural Networks with Tensor Decomposition [23.244580796300166]
  グラフニューラルネットワーク(GNN)は、さまざまなグラフ構造化データモデリングの有効性と柔軟性から、注目を集めている。 本稿では,高次非線形ノード相互作用をモデル化するためにテンソル分解に依存する高表現性GNNアーキテクチャであるGraphized Neural Network (tGNN)を提案する。
  論文  参考訳（メタデータ） (2022-05-24T01:12:54Z)
• Neural Graph Matching for Pre-training Graph Neural Networks [72.32801428070749]
  グラフニューラルネットワーク(GNN)は、構造データのモデリングにおいて強力な能力を示している。 GMPTと呼ばれる新しいグラフマッチングベースのGNN事前学習フレームワークを提案する。 提案手法は,完全自己指導型プレトレーニングと粗粒型プレトレーニングに適用できる。
  論文  参考訳（メタデータ） (2022-03-03T09:53:53Z)
• A Variational Edge Partition Model for Supervised Graph Representation Learning [51.30365677476971]
  本稿では,重なり合うノード群間の相互作用を集約することで,観測されたエッジがどのように生成されるかをモデル化するグラフ生成プロセスを提案する。 それぞれのエッジを複数のコミュニティ固有の重み付きエッジの和に分割し、コミュニティ固有のGNNを定義する。 エッジを異なるコミュニティに分割するGNNベースの推論ネットワーク,これらのコミュニティ固有のGNN,およびコミュニティ固有のGNNを最終分類タスクに組み合わせたGNNベースの予測器を共同で学習するために,変分推論フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-02-07T14:37:50Z)
• Graph Neural Networks with Feature and Structure Aware Random Walk [7.143879014059894]
  典型的な好適なグラフでは、エッジを指向する可能性があり、エッジをそのまま扱うか、あるいは単純に非指向にするかは、GNNモデルの性能に大きな影響を与える。 そこで我々は,グラフの方向性を適応的に学習するモデルを開発し,ノード間の長距離相関を生かした。
  論文  参考訳（メタデータ） (2021-11-19T08:54:21Z)
• ACE-HGNN: Adaptive Curvature Exploration Hyperbolic Graph Neural Network [72.16255675586089]
  本稿では、入力グラフと下流タスクに基づいて最適な曲率を適応的に学習する適応曲率探索ハイパーボリックグラフニューラルネットワークACE-HGNNを提案する。 複数の実世界のグラフデータセットの実験は、競争性能と優れた一般化能力を備えたモデル品質において、顕著で一貫したパフォーマンス改善を示す。
  論文  参考訳（メタデータ） (2021-10-15T07:18:57Z)
• Scalable Graph Neural Networks for Heterogeneous Graphs [12.44278942365518]
  グラフニューラルネットワーク(GNN)は、グラフ構造化データを学習するためのパラメトリックモデルの一般的なクラスである。 最近の研究は、GNNが主に機能をスムースにするためにグラフを使用しており、ベンチマークタスクで競合する結果を示していると主張している。 本研究では、これらの結果が異種グラフに拡張可能かどうかを問うとともに、異なるエンティティ間の複数のタイプの関係を符号化する。
  論文  参考訳（メタデータ） (2020-11-19T06:03:35Z)
• CAGNN: Cluster-Aware Graph Neural Networks for Unsupervised Graph Representation Learning [19.432449825536423]
  教師なしグラフ表現学習は、教師なしの低次元ノード埋め込みを学習することを目的としている。 本稿では、自己教師付き手法を用いた教師なしグラフ表現学習のための新しいクラスタ対応グラフニューラルネットワーク(CAGNN)モデルを提案する。
  論文  参考訳（メタデータ） (2020-09-03T13:57:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。