論文の概要: TEDDY: Trimming Edges with Degree-based Discrimination strategY

• arxiv url: http://arxiv.org/abs/2402.01261v3
• Date: Fri, 15 Mar 2024 14:12:18 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-18 22:23:54.612645
• Title: TEDDY: Trimming Edges with Degree-based Discrimination strategY
• Title（参考訳）: TEDDY:Degreeベースの差別戦略によるエッジのトリミング
• Authors: Hyunjin Seo, Jihun Yun, Eunho Yang,
• Abstract要約: 本稿では,一対一のエッジスペーシフィケーションフレームワークであるTEDDYを紹介する。 我々のTEDDYは,グラフ構造とモデルパラメータの両方のターゲット空間レベルを考慮し,単一のトレーニングでグラフ抽選チケット(GLT)を効率的かつ迅速に実現する。
• 参考スコア（独自算出の注目度）: 33.19493145828762
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Since the pioneering work on the lottery ticket hypothesis for graph neural networks (GNNs) was proposed in Chen et al. (2021), the study on finding graph lottery tickets (GLT) has become one of the pivotal focus in the GNN community, inspiring researchers to discover sparser GLT while achieving comparable performance to original dense networks. In parallel, the graph structure has gained substantial attention as a crucial factor in GNN training dynamics, also elucidated by several recent studies. Despite this, contemporary studies on GLT, in general, have not fully exploited inherent pathways in the graph structure and identified tickets in an iterative manner, which is time-consuming and inefficient. To address these limitations, we introduce TEDDY, a one-shot edge sparsification framework that leverages structural information by incorporating edge-degree information. Following edge sparsification, we encourage the parameter sparsity during training via simple projected gradient descent on the $\ell_0$ ball. Given the target sparsity levels for both the graph structure and the model parameters, our TEDDY facilitates efficient and rapid realization of GLT within a single training. Remarkably, our experimental results demonstrate that TEDDY significantly surpasses conventional iterative approaches in generalization, even when conducting one-shot sparsification that solely utilizes graph structures, without taking feature information into account.
• Abstract（参考訳）: グラフニューラルネットワーク(GNN)の抽選チケット仮説(GNN)に関する先駆的な研究が2021年にChenらによって提案されて以来、グラフ抽選チケット(GLT)の発見に関する研究は、GNNコミュニティにおける重要な焦点の1つとなり、研究者たちは、元の高密度ネットワークに匹敵する性能を達成しつつ、スパーサーGLTを発見することを奨励している。 並行して、グラフ構造はGNNのトレーニング力学において重要な要素としてかなりの注目を集めており、近年のいくつかの研究によって解明されている。 それにもかかわらず、GLTに関する現代の研究は一般的に、グラフ構造における固有の経路を完全に活用せず、反復的な方法でチケットを識別している。 これらの制約に対処するため,一発のエッジスペーシフィケーションフレームワークであるTEDDYを導入する。 エッジスペーシフィケーションの後に、$\ell_0$ボール上の単純な投影勾配降下により、トレーニング中のパラメータスペーシリティを奨励する。 我々のTEDDYは,グラフ構造とモデルパラメータの両方のターゲット空間レベルを考慮し,単一のトレーニング内でのGLTの効率的かつ迅速な実現を促進する。 特色を考慮に入れずに,グラフ構造のみを利用するワンショットスペーシフィケーションを行う場合においても,TEDDYは従来の反復的手法をはるかに上回ることを示す実験結果が得られた。

関連論文リスト

• Self-supervised Subgraph Neural Network With Deep Reinforcement Walk Exploration [13.489730726871421]
  グラフデータは、化合物、タンパク質構造、ソーシャルネットワークのような複雑な現実世界の現象を表す。 従来のグラフニューラルネットワーク(GNN)は、主にメッセージパッシング機構を使用しているが、その表現力は限られており、その予測には説明性がない。 サブグラフニューラルネットワーク(SGNN)とGNN説明器が潜在的な解決策として登場したが、それぞれに制限がある。 我々は、SGNNとGNN説明器の生成アプローチを統合する新しいフレームワークを提案し、Reinforcement Walk Exploration SGNN (RWE-SGNN) と名付けた。
  論文  参考訳（メタデータ） (2025-02-03T20:40:33Z)
• Graph Structure Refinement with Energy-based Contrastive Learning [56.957793274727514]
  グラフの構造と表現を学習するための生成訓練と識別訓練のジョイントに基づく教師なし手法を提案する。 本稿では,ECL-GSR(Energy-based Contrastive Learning)によるグラフ構造再構成(GSR)フレームワークを提案する。 ECL-GSRは、主要なベースラインに対するサンプルやメモリの少ない高速なトレーニングを実現し、下流タスクの単純さと効率性を強調している。
  論文  参考訳（メタデータ） (2024-12-20T04:05:09Z)
• Boosting Graph Neural Network Expressivity with Learnable Lanczos Constraints [7.605749412696919]
  グラフニューラルネットワーク(GNN)はグラフ構造化データの処理に優れるが、リンク予測タスクでは性能が劣ることが多い。 グラフラプラシア行列の固有基底に誘導された部分グラフを埋め込むことによりGNNの表現性を高める新しい手法を提案する。 本研究では,2-WLで区別できないグラフを,効率的な時間的複雑性を維持しながら識別できることを実証する。
  論文  参考訳（メタデータ） (2024-08-22T12:22:00Z)
• On the Generalization Capability of Temporal Graph Learning Algorithms: Theoretical Insights and a Simpler Method [59.52204415829695]
  テンポラルグラフ学習(TGL)は、様々な現実世界のアプリケーションにまたがる一般的なテクニックとなっている。 本稿では,異なるTGLアルゴリズムの一般化能力について検討する。 一般化誤差が小さく、全体的な性能が向上し、モデルの複雑さが低下する単純化されたTGLネットワークを提案する。
  論文  参考訳（メタデータ） (2024-02-26T08:22:22Z)
• Two Heads Are Better Than One: Boosting Graph Sparse Training via Semantic and Topological Awareness [80.87683145376305]
  グラフニューラルネットワーク(GNN)は、様々なグラフ学習タスクに優れるが、大規模グラフに適用した場合、計算上の課題に直面している。 データレベルで空間を動的に操作するグラフスパーストレーニング(GST)を提案する。 GSTは、最大位相整合性と性能劣化のないスパースグラフを生成する。
  論文  参考訳（メタデータ） (2024-02-02T09:10:35Z)
• Efficient Heterogeneous Graph Learning via Random Projection [58.4138636866903]
  不均一グラフニューラルネットワーク(HGNN)は、異種グラフを深層学習するための強力なツールである。 最近のプリ計算ベースのHGNNは、一時間メッセージパッシングを使用して不均一グラフを正規形テンソルに変換する。 我々はRandom Projection Heterogeneous Graph Neural Network (RpHGNN) というハイブリッド計算前HGNNを提案する。
  論文  参考訳（メタデータ） (2023-10-23T01:25:44Z)
• Fast and Effective GNN Training with Linearized Random Spanning Trees [20.73637495151938]
  ノード分類タスクにおいて,GNNをトレーニングするための,より効果的でスケーラブルなフレームワークを提案する。 提案手法は, ランダムに分布する木々の広範囲に分布するGNN重みを徐々に改善する。 これらの経路グラフのスパース性は、GNN訓練の計算負担を大幅に軽減する。
  論文  参考訳（メタデータ） (2023-06-07T23:12:42Z)
• A Comprehensive Study on Large-Scale Graph Training: Benchmarking and Rethinking [124.21408098724551]
  グラフニューラルネットワーク(GNN)の大規模グラフトレーニングは、非常に難しい問題である 本稿では,既存の問題に対処するため,EnGCNという新たなアンサンブルトレーニング手法を提案する。 提案手法は,大規模データセット上でのSOTA(State-of-the-art)の性能向上を実現している。
  論文  参考訳（メタデータ） (2022-10-14T03:43:05Z)
• Comprehensive Graph Gradual Pruning for Sparse Training in Graph Neural Networks [52.566735716983956]
  本稿では,CGPと呼ばれるグラフの段階的プルーニングフレームワークを動的にGNNに提案する。 LTHに基づく手法とは異なり、提案手法では再学習を必要とせず、計算コストを大幅に削減する。 提案手法は,既存の手法の精度を一致させたり,あるいは超えたりしながら,トレーニングと推論の効率を大幅に向上させる。
  論文  参考訳（メタデータ） (2022-07-18T14:23:31Z)
• Skeleton-based Hand-Gesture Recognition with Lightweight Graph Convolutional Networks [14.924672048447338]
  グラフ畳み込みネットワーク(GCN)は、グラフのような任意の不規則領域にディープラーニングを拡張することを目的としている。 GCN設計の一環として,入力グラフのトポロジを学習する新しい手法を提案する。 骨格をベースとした手の位置認識の課題に対する実験は, 学習したGCNの高効率性を示す。
  論文  参考訳（メタデータ） (2021-04-09T09:06:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。