論文の概要: Improving Graph Neural Network Training Efficiency By Using Top Non-Robust Samples In The Training Set

• arxiv url: http://arxiv.org/abs/2412.14738v4
• Date: Thu, 02 Jan 2025 10:10:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-03 13:16:14.129751
• Title: Improving Graph Neural Network Training Efficiency By Using Top Non-Robust Samples In The Training Set
• Title（参考訳）: トレーニングセットにおけるトップ非ローバストサンプルの利用によるグラフニューラルネットワークのトレーニング効率の向上
• Authors: Yongyu Wang,
• Abstract要約: グラフニューラルネットワーク(GNN)は、グラフ構造化データを処理するための、非常に効果的なニューラルネットワークアーキテクチャである。 本稿では,与えられたモデルに対して特にノイズに敏感なトレーニングサンプルを同定し,トレーニングセットを構築するための新しい手法を提案する。
• 参考スコア（独自算出の注目度）: 2.1937382384136637
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Graph Neural Networks (GNNs) are a highly effective neural network architecture for processing graph-structured data. Unlike traditional neural networks that rely solely on the features of the data as input, GNNs leverage both the graph structure, which represents the relationships between data points, and the feature matrix of the data to optimize their feature representation. This unique capability enables GNNs to achieve superior performance across various tasks. However, it also makes GNNs more susceptible to noise from both the graph structure and the data features, which can significantly degrade their performance in common tasks such as classification and prediction. To address this issue, this paper proposes a novel method for constructing training sets by identifying training samples that are particularly sensitive to noise for a given model. These samples are then used to enhance the model's ability to handle noise-prone instances effectively. Experimental results demonstrate that this approach can significantly improve training efficiency.
• Abstract（参考訳）: グラフニューラルネットワーク(GNN)は、グラフ構造化データを処理するための、非常に効果的なニューラルネットワークアーキテクチャである。 入力としてデータの特徴のみに依存する従来のニューラルネットワークとは異なり、GNNはデータポイント間の関係を表すグラフ構造と、データの特徴行列の両方を活用して特徴表現を最適化する。 このユニークな機能により、GNNは様々なタスクで優れたパフォーマンスを達成できる。 しかし、グラフ構造とデータ特徴の両方からノイズを受けやすいため、分類や予測といった共通タスクにおいて、その性能を著しく低下させることができる。 そこで本研究では,与えられたモデルに対して特にノイズに敏感なトレーニングサンプルを同定し,トレーニングセットを構築する手法を提案する。 これらのサンプルは、ノイズが発生しやすいインスタンスを効果的に処理するモデルの能力を高めるために使用される。 実験結果から,本手法はトレーニング効率を著しく向上させることができることが示された。

関連論文リスト

• Improving Graph Neural Networks via Adversarial Robustness Evaluation [2.1937382384136637]
  グラフニューラルネットワーク(GNN)は、ニューラルネットワークアーキテクチャの最も強力なタイプの1つである。 しかし、GNNはグラフ構造のノイズに弱い。 本稿では,雑音の影響を受けない少数のロバストノードを選択するために,対向ロバストネス評価法を提案する。
  論文  参考訳（メタデータ） (2024-12-14T14:47:20Z)
• Stealing Training Graphs from Graph Neural Networks [54.52392250297907]
  グラフニューラルネットワーク(GNN)は、様々なタスクにおけるグラフのモデリングにおいて有望な結果を示している。 ニューラルネットワークがトレーニングサンプルを記憶できるため、GNNのモデルパラメータはプライベートトレーニングデータをリークするリスクが高い。 訓練されたGNNからグラフを盗むという新しい問題について検討する。
  論文  参考訳（メタデータ） (2024-11-17T23:15:36Z)
• DEGNN: Dual Experts Graph Neural Network Handling Both Edge and Node Feature Noise [5.048629544493508]
  グラフニューラルネットワーク(GNN)は、グラフデータよりも様々なアプリケーションで顕著な成功を収めている。 近年の研究では、実世界のグラフにはノイズがしばしば含まれており、GNNはグラフ内のノイズに影響を受けやすいことが判明している。 我々は、エッジとノードの特徴の両面においてノイズを効果的に緩和するために設計された新しいGNNモデルであるDECNNを提案する。
  論文  参考訳（メタデータ） (2024-04-14T10:04:44Z)
• A Simple and Yet Fairly Effective Defense for Graph Neural Networks [18.140756786259615]
  グラフニューラルネットワーク(GNN)は、グラフ構造化データ上での機械学習の主要なアプローチとして登場した。 既存の対向性摂動に対する防御法は、時間的複雑さに悩まされている。 本稿では,ノイズを基礎となるモデルのアーキテクチャに組み込む新しい防御手法であるNoisyGNNを紹介する。
  論文  参考訳（メタデータ） (2024-02-21T18:16:48Z)
• GOODAT: Towards Test-time Graph Out-of-Distribution Detection [103.40396427724667]
  グラフニューラルネットワーク(GNN)は、さまざまな領域にわたるグラフデータのモデリングに広く応用されている。 近年の研究では、特定のモデルのトレーニングや、よく訓練されたGNN上でのデータ修正に重点を置いて、OOD検出のグラフを調査している。 本稿では、GNNアーキテクチャのトレーニングデータと修正から独立して動作する、データ中心、教師なし、プラグアンドプレイのソリューションを提案する。
  論文  参考訳（メタデータ） (2024-01-10T08:37:39Z)
• Degree-based stratification of nodes in Graph Neural Networks [66.17149106033126]
  グラフニューラルネットワーク(GNN)アーキテクチャを変更して,各グループのノードに対して,重み行列を個別に学習する。 このシンプルな実装変更により、データセットとGNNメソッドのパフォーマンスが改善されているようだ。
  論文  参考訳（メタデータ） (2023-12-16T14:09:23Z)
• Efficient Heterogeneous Graph Learning via Random Projection [58.4138636866903]
  不均一グラフニューラルネットワーク(HGNN)は、異種グラフを深層学習するための強力なツールである。 最近のプリ計算ベースのHGNNは、一時間メッセージパッシングを使用して不均一グラフを正規形テンソルに変換する。 我々はRandom Projection Heterogeneous Graph Neural Network (RpHGNN) というハイブリッド計算前HGNNを提案する。
  論文  参考訳（メタデータ） (2023-10-23T01:25:44Z)
• Ensemble Learning for Graph Neural Networks [28.3650473174488]
  グラフニューラルネットワーク(GNN)は、グラフ構造化データから学習するための様々な分野で成功している。 本稿では,GNNの性能とロバスト性向上のためのアンサンブル学習手法の適用について検討する。
  論文  参考訳（メタデータ） (2023-10-22T03:55:13Z)
• Label Deconvolution for Node Representation Learning on Large-scale Attributed Graphs against Learning Bias [75.44877675117749]
  本稿では,GNNの逆写像に対する新しい,スケーラブルな近似による学習バイアスを軽減するために,ラベルの効率的な正規化手法,すなわちラベルのデコンボリューション(LD)を提案する。 実験では、LDはOpen Graphデータセットのベンチマークで最先端のメソッドを大幅に上回っている。
  論文  参考訳（メタデータ） (2023-09-26T13:09:43Z)
• Deep Graph Neural Networks via Posteriori-Sampling-based Node-Adaptive Residual Module [65.81781176362848]
  グラフニューラルネットワーク(GNN)は、近隣情報収集を通じてグラフ構造化データから学習することができる。 レイヤーの数が増えるにつれて、ノード表現は区別不能になり、オーバー・スムーシング(over-smoothing)と呼ばれる。 我々は,textbfPosterior-Sampling-based, Node-distinguish Residual Module (PSNR)を提案する。
  論文  参考訳（メタデータ） (2023-05-09T12:03:42Z)
• Data-Free Adversarial Knowledge Distillation for Graph Neural Networks [62.71646916191515]
  グラフ構造化データ(DFAD-GNN)を用いたデータフリー逆知識蒸留のための第1のエンドツーエンドフレームワークを提案する。 具体的には、DFAD-GNNは、教師モデルと学生モデルとを2つの識別器とみなし、教師モデルから学生モデルに知識を抽出するために学習グラフを導出するジェネレータという、主に3つの成分からなる生成的対向ネットワークを採用している。 我々のDFAD-GNNは、グラフ分類タスクにおける最先端のデータフリーベースラインを大幅に上回っている。
  論文  参考訳（メタデータ） (2022-05-08T08:19:40Z)
• Neural Graph Matching for Pre-training Graph Neural Networks [72.32801428070749]
  グラフニューラルネットワーク(GNN)は、構造データのモデリングにおいて強力な能力を示している。 GMPTと呼ばれる新しいグラフマッチングベースのGNN事前学習フレームワークを提案する。 提案手法は,完全自己指導型プレトレーニングと粗粒型プレトレーニングに適用できる。
  論文  参考訳（メタデータ） (2022-03-03T09:53:53Z)
• Addressing Over-Smoothing in Graph Neural Networks via Deep Supervision [13.180922099929765]
  ディープグラフニューラルネットワーク(GNN)は、層数が増加すると過度に滑らかになる。 本研究では,すべての層で学習した表現を訓練に利用するDSGNNを提案する。 DSGNNは過度に平滑であり,ノードおよびグラフ特性予測問題における競合ベンチマークよりも優れていることを示す。
  論文  参考訳（メタデータ） (2022-02-25T06:05:55Z)
• Robust Graph Neural Networks via Probabilistic Lipschitz Constraints [7.359962178534361]
  グラフニューラルネットワーク(GNN)は、最近、さまざまなネットワークベースのタスクでうまく機能することが実証されている。 GNNは入力のシフトや摂動の影響を受けやすく、ノード属性とグラフ構造の両方を含むことができる。
  論文  参考訳（メタデータ） (2021-12-14T17:33:32Z)
• Scalable Consistency Training for Graph Neural Networks via Self-Ensemble Self-Distillation [13.815063206114713]
  グラフニューラルネットワーク(GNN)の精度を向上させるための新しい一貫性トレーニング手法を提案する。 対象ノードに対して、異なる近傍展開を生成し、予測平均の知識をGNNに蒸留する。 提案手法は, 推定した近傍サンプルの予測値に近似し, 実質的には少数のサンプルしか必要としない。
  論文  参考訳（メタデータ） (2021-10-12T19:24:42Z)
• Variational models for signal processing with Graph Neural Networks [3.5939555573102853]
  本稿では,ニューラルネットワークを用いた点雲の信号処理について述べる。 本研究では,このようなグラフニューラルネットワークの変分モデルを用いて,教師なし学習のためのグラフ上の信号を処理する方法を検討する。
  論文  参考訳（メタデータ） (2021-03-30T13:31:11Z)
• Learning to Drop: Robust Graph Neural Network via Topological Denoising [50.81722989898142]
  グラフニューラルネットワーク(GNN)のロバスト性および一般化性能を向上させるために,パラメータ化トポロジカルデノイングネットワークであるPTDNetを提案する。 PTDNetは、パラメータ化されたネットワークでスパーシファイドグラフ内のエッジ数をペナル化することで、タスク非関連エッジを創出する。 PTDNetはGNNの性能を著しく向上させ,さらにノイズの多いデータセットでは性能が向上することを示す。
  論文  参考訳（メタデータ） (2020-11-13T18:53:21Z)
• Graph Neural Networks for Motion Planning [108.51253840181677]
  低次元問題に対する高密度固定グラフ上のGNNと高次元問題に対するサンプリングベースGNNの2つの手法を提案する。 RRT(Rapidly-Exploring Random Trees)におけるクリティカルノードの特定やサンプリング分布の学習といった計画上の問題にGNNが取り組む能力について検討する。 臨界サンプリング、振り子、6つのDoFロボットアームによる実験では、GNNは従来の分析手法の改善だけでなく、完全に接続されたニューラルネットワークや畳み込みニューラルネットワークを用いた学習アプローチも示している。
  論文  参考訳（メタデータ） (2020-06-11T08:19:06Z)
• Binarized Graph Neural Network [65.20589262811677]
  我々は二項化グラフニューラルネットワークを開発し、二項化ネットワークパラメータを用いてノードのバイナリ表現を学習する。 提案手法は既存のGNNベースの埋め込み手法にシームレスに統合できる。 実験により、提案された二項化グラフニューラルネットワーク、すなわちBGNは、時間と空間の両方の観点から、桁違いに効率的であることが示されている。
  論文  参考訳（メタデータ） (2020-04-19T09:43:14Z)
• Ripple Walk Training: A Subgraph-based training framework for Large and Deep Graph Neural Network [10.36962234388739]
  本稿では,深部および大規模グラフニューラルネットワークのための一般的なサブグラフベーストレーニングフレームワークであるRipple Walk Training(RWT)を提案する。 RWTは、全グラフからサブグラフをサンプリングしてミニバッチを構成し、全GNNはミニバッチ勾配に基づいて更新される。 グラフの異なるサイズに関する大規模な実験は、様々なGNNを訓練する際のRWTの有効性と効率を実証している。
  論文  参考訳（メタデータ） (2020-02-17T19:07:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。