論文の概要: Influence-Based Mini-Batching for Graph Neural Networks

• arxiv url: http://arxiv.org/abs/2212.09083v1
• Date: Sun, 18 Dec 2022 13:27:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2022-12-20 14:23:17.756759
• Title: Influence-Based Mini-Batching for Graph Neural Networks
• Title（参考訳）: グラフニューラルネットワークに対する影響に基づくミニバッチ
• Authors: Johannes Gasteiger, Chendi Qian, Stephan G\"unnemann
• Abstract要約: グラフニューラルネットワークに対する影響に基づくミニバッチを提案する。 IBMBは従来の手法に比べて最大130倍の推論を高速化する。 これにより、エポック毎のトレーニングが最大18倍、ランタイム毎のコンバージェンス毎のコンバージェンスの最大17倍高速になる。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Using graph neural networks for large graphs is challenging since there is no clear way of constructing mini-batches. To solve this, previous methods have relied on sampling or graph clustering. While these approaches often lead to good training convergence, they introduce significant overhead due to expensive random data accesses and perform poorly during inference. In this work we instead focus on model behavior during inference. We theoretically model batch construction via maximizing the influence score of nodes on the outputs. This formulation leads to optimal approximation of the output when we do not have knowledge of the trained model. We call the resulting method influence-based mini-batching (IBMB). IBMB accelerates inference by up to 130x compared to previous methods that reach similar accuracy. Remarkably, with adaptive optimization and the right training schedule IBMB can also substantially accelerate training, thanks to precomputed batches and consecutive memory accesses. This results in up to 18x faster training per epoch and up to 17x faster convergence per runtime compared to previous methods.
• Abstract（参考訳）: グラフニューラルネットワークを大きなグラフに使用することは、ミニバッチを構築する明確な方法がないため、難しい。 これを解決するために、以前の方法はサンプリングやグラフクラスタリングに依存していた。 これらのアプローチは、しばしば優れたトレーニング収束をもたらすが、高価なランダムデータアクセスによるかなりのオーバーヘッドを導入し、推論時に性能が低下する。 この作業では、代わりに推論中のモデル行動に焦点を当てます。 ノードの出力への影響スコアを最大化することでバッチ構成を理論的にモデル化する。 この定式化は、訓練されたモデルに関する知識がない場合、出力の最適近似をもたらす。 結果の手法をインフルエンスベースのミニバッチ (IBMB) と呼ぶ。 IBMBは、同様の精度に達する従来の方法と比較して、推論を最大130倍高速化する。 注目すべきなのは、適応最適化と適切なトレーニングスケジュールによって、事前に計算されたバッチと連続したメモリアクセスのおかげで、IBMBはトレーニングを大幅に高速化することができることだ。 これにより、エポック毎のトレーニングが最大で18倍、ランタイム毎のコンバージェンスが従来に比べて17倍高速になる。

関連論文リスト

• Prior-Fitted Networks Scale to Larger Datasets When Treated as Weak Learners [82.72552644267724]
  BoostPFNは、大規模なデータセットでトレーニングサンプルと同じサイズで、標準的なPFNよりもパフォーマンスがよい。 高い性能はPFNのトレーニング前サイズの最大50倍まで維持される。
  論文  参考訳（メタデータ） (2025-03-03T07:31:40Z)
• Towards Scalable and Deep Graph Neural Networks via Noise Masking [59.058558158296265]
  グラフニューラルネットワーク(GNN)は多くのグラフマイニングタスクで顕著に成功している。 計算とストレージのコストが高いため、大きなグラフにスケールすることは困難です。 既存のモデル単純化作業と互換性のあるプラグアンドプレイモジュールであるノイズマスキング(RMask)を用いたランダムウォークを提案する。
  論文  参考訳（メタデータ） (2024-12-19T07:48:14Z)
• Fast constrained sampling in pre-trained diffusion models [77.21486516041391]
  任意の制約下で高速かつ高品質な生成を可能にするアルゴリズムを提案する。 推測中、ノイズの多い画像上で計算された勾配更新と、最終的なクリーンな画像で計算されたアップデートとを交換できる。 我々のアプローチは、最先端のトレーニングフリー推論アプローチに匹敵するか、超越した結果をもたらす。
  論文  参考訳（メタデータ） (2024-10-24T14:52:38Z)
• Truncated Consistency Models [57.50243901368328]
  トレーニング一貫性モデルは、PF ODE 軌道に沿ったすべての中間点を対応するエンドポイントにマッピングする学習を必要とする。 このトレーニングパラダイムが一貫性モデルの1ステップ生成性能を制限することを実証的に見出した。 整合性関数の新しいパラメータ化と2段階の訓練手順を提案し,時間外学習が崩壊することを防ぐ。
  論文  参考訳（メタデータ） (2024-10-18T22:38:08Z)
• CDFGNN: a Systematic Design of Cache-based Distributed Full-Batch Graph Neural Network Training with Communication Reduction [7.048300785744331]
  グラフニューラルネットワークトレーニングは、主にミニバッチとフルバッチのトレーニング方法に分類される。 分散クラスタでは、機能とグラデーションの頻繁なリモートアクセスが、通信オーバーヘッドを大きくします。 キャッシュベースの分散フルバッチグラフニューラルネットワークトレーニングフレームワーク(CDFGNN)を紹介する。 本結果は,CDFGNNが分散フルバッチGNNトレーニングタスクを高速化する大きな可能性を示唆している。
  論文  参考訳（メタデータ） (2024-08-01T01:57:09Z)
• Optimizing Large Model Training through Overlapped Activation Recomputation [24.28543166026873]
  我々は、トレーニングパイプラインにおける通信と重複する再計算によってオーバーヘッドを削減する新しい再計算フレームワークであるLynxを紹介する。 1.3B-23Bパラメータを持つGPTモデルによる包括的評価の結果,Lynxは既存の再計算手法よりも1.37倍高い性能を示した。
  論文  参考訳（メタデータ） (2024-06-13T02:31:36Z)
• Boosting Low-Data Instance Segmentation by Unsupervised Pre-training with Saliency Prompt [103.58323875748427]
  この研究は、低データ体制のための新しい教師なし事前学習ソリューションを提供する。 近年のPrompting技術の成功に触発されて,QEISモデルを強化した新しい事前学習手法を導入する。 実験結果から,本手法は3つのデータセット上でのいくつかのQEISモデルを大幅に向上させることが示された。
  論文  参考訳（メタデータ） (2023-02-02T15:49:03Z)
• Prior-mean-assisted Bayesian optimization application on FRIB Front-End tunning [61.78406085010957]
  我々は、FRIBフロントエンドチューニングのためのBOの事前平均として、過去のデータに基づいてトレーニングされたニューラルネットワークモデルを利用する。 本稿では、FRIBフロントエンドチューニングのためのBOの事前平均として、過去のデータに基づいてトレーニングされたニューラルネットワークモデルを利用する。
  論文  参考訳（メタデータ） (2022-11-11T18:34:15Z)
• Towards Sparsification of Graph Neural Networks [9.568566305616656]
  我々は2つの最先端モデル圧縮手法を用いて、GNNにおける重み付け層の分散化を訓練・訓練し、スパーストレーニングを行う。 実世界のグラフ上で,両手法の精度,訓練空間性,および FLOP の学習効率を評価し,比較する。
  論文  参考訳（メタデータ） (2022-09-11T01:39:29Z)
• Simpler is Better: off-the-shelf Continual Learning Through Pretrained Backbones [0.0]
  本稿では,コンピュータビジョン問題の連続学習のためのベースライン(オフザシェルフ)を提案する。 事前訓練されたモデルのパワーを利用して、クラスプロトタイプを計算し、メモリバンクを埋めます。 パイプラインを一般的なCNNモデルと比較し、ビジョントランスフォーマーの優位性を示す。
  論文  参考訳（メタデータ） (2022-05-03T16:03:46Z)
• Scaling Knowledge Graph Embedding Models [12.757685697180946]
  本稿では,リンク予測のための知識グラフ埋め込みモデルの学習方法を提案する。 GNNベースの知識グラフ埋め込みモデルのスケーリングソリューションは、ベンチマークデータセットの16倍のスピードアップを実現しています。
  論文  参考訳（メタデータ） (2022-01-08T08:34:52Z)
• Combining Label Propagation and Simple Models Out-performs Graph Neural Networks [52.121819834353865]
  多くの標準的なトランスダクティブノード分類ベンチマークでは、最先端のGNNの性能を超えたり、一致させることができる。 これをC&S(Correct and Smooth)と呼ぶ。 我々のアプローチは、様々なベンチマークで最先端のGNNの性能を上回るか、ほぼ一致している。
  論文  参考訳（メタデータ） (2020-10-27T02:10:52Z)
• Accurate, Efficient and Scalable Training of Graph Neural Networks [9.569918335816963]
  グラフニューラルネットワーク(GNN)は、グラフ上にノード埋め込みを生成する強力なディープラーニングモデルである。 効率的でスケーラブルな方法でトレーニングを実行することは依然として困難です。 本稿では,最先端のミニバッチ手法と比較して,トレーニング負荷を桁違いに削減する新しい並列トレーニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2020-10-05T22:06:23Z)
• Extrapolation for Large-batch Training in Deep Learning [72.61259487233214]
  我々は、バリエーションのホストが、我々が提案する統一されたフレームワークでカバー可能であることを示す。 本稿では,この手法の収束性を証明し,ResNet,LSTM,Transformer上での経験的性能を厳格に評価する。
  論文  参考訳（メタデータ） (2020-06-10T08:22:41Z)
• Improving Semantic Segmentation via Self-Training [75.07114899941095]
  半教師付きアプローチ,特に自己学習パラダイムを用いて,最先端の成果を得ることができることを示す。 まず、ラベル付きデータに基づいて教師モデルを訓練し、次にラベルなしデータの大規模なセット上で擬似ラベルを生成する。 私たちの堅牢なトレーニングフレームワークは、人名と擬似ラベルを共同で消化し、Cityscapes、CamVid、KITTIデータセット上で最高のパフォーマンスを達成することができます。
  論文  参考訳（メタデータ） (2020-04-30T17:09:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。