論文の概要: Analysis of static and dynamic batching algorithms for graph neural networks

• arxiv url: http://arxiv.org/abs/2502.00944v1
• Date: Sun, 02 Feb 2025 22:34:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-05 14:58:05.958046
• Title: Analysis of static and dynamic batching algorithms for graph neural networks
• Title（参考訳）: グラフニューラルネットワークのための静的および動的バッチ処理アルゴリズムの解析
• Authors: Daniel Speckhard, Tim Bechtel, Sebastian Kehl, Jonathan Godwin, Claudia Draxl,
• Abstract要約: グラフニューラルネットワーク(GNN)は、材料科学、化学、社会科学などいくつかの分野において有望な結果を示している。 GNNモデルは、しばしば数百万のパラメータを含み、他のニューラルネットワーク(NN)モデルと同様に、モデルのパラメータを更新するためにバッチ内のトレーニングデータセットを構成するグラフのごく一部しか供給されない。 グラフベースモデル、すなわち静的と動的の2つの異なるアルゴリズムを解析する。
• 参考スコア（独自算出の注目度）: 1.6715045795033308
• License:
• Abstract: Graph neural networks (GNN) have shown promising results for several domains such as materials science, chemistry, and the social sciences. GNN models often contain millions of parameters, and like other neural network (NN) models, are often fed only a fraction of the graphs that make up the training dataset in batches to update model parameters. The effect of batching algorithms on training time and model performance has been thoroughly explored for NNs but not yet for GNNs. We analyze two different batching algorithms for graph based models, namely static and dynamic batching. We use the Jraph library built on JAX to perform our experiments, where we compare the two batching methods for two datasets, the QM9 dataset of small molecules and the AFLOW materials database. Our experiments show that significant training time savings can be found from changing the batching algorithm, but the fastest algorithm depends on the data, model, batch size and number of training steps run. Experiments show no significant difference in model learning between the algorithms.
• Abstract（参考訳）: グラフニューラルネットワーク(GNN)は、材料科学、化学、社会科学などいくつかの分野において有望な結果を示している。 GNNモデルは、しばしば数百万のパラメータを含み、他のニューラルネットワーク(NN)モデルと同様に、モデルのパラメータを更新するためにバッチ内のトレーニングデータセットを構成するグラフのごく一部しか供給されない。 バッチ処理アルゴリズムがトレーニング時間とモデル性能に与える影響は、NNでは徹底的に検討されているが、GNNではまだ明らかになっていない。 グラフベースモデルのための2つの異なるバッチ処理アルゴリズム、すなわち静的および動的バッチ処理を解析する。 我々は、JAX上に構築されたJraphライブラリを使って実験を行い、2つのデータセットの2つのバッチ手法、小さな分子のQM9データセットとAFLOWマテリアルデータベースを比較します。 実験の結果,バッチアルゴリズムの変更によるトレーニング時間の大幅な削減が確認できたが,最も高速なアルゴリズムは,データ,モデル,バッチサイズ,トレーニングステップ数に依存する。 実験では、アルゴリズム間のモデル学習に有意な差は示さない。

関連論文リスト

• Information plane and compression-gnostic feedback in quantum machine learning [0.0]
  ニューラルネットワークの学習力学を研究するための解析ツールとして,情報平面が提案されている。 モデルが入力データをどれだけ圧縮するかについての知見を学習アルゴリズムの改善に利用することができるかを検討する。 本稿では,変分量子回路を用いたいくつかの分類および回帰タスクについて,提案した学習アルゴリズムをベンチマークする。
  論文  参考訳（メタデータ） (2024-11-04T17:38:46Z)
• Ensemble Quadratic Assignment Network for Graph Matching [52.20001802006391]
  グラフマッチングはコンピュータビジョンやパターン認識において一般的に用いられる技法である。 最近のデータ駆動型アプローチは、グラフマッチングの精度を著しく改善した。 データ駆動手法と従来の手法の利点を組み合わせたグラフニューラルネットワーク(GNN)に基づくアプローチを提案する。
  論文  参考訳（メタデータ） (2024-03-11T06:34:05Z)
• Few-shot Learning using Data Augmentation and Time-Frequency Transformation for Time Series Classification [6.830148185797109]
  データ拡張による新しい数ショット学習フレームワークを提案する。 シークエンス・スペクトログラム・ニューラルネット(SSNN)も開発している。 本手法は,時系列分類における数ショット問題への対処法の適用性を実証する。
  論文  参考訳（メタデータ） (2023-11-06T15:32:50Z)
• Ensemble Learning for Graph Neural Networks [28.3650473174488]
  グラフニューラルネットワーク(GNN)は、グラフ構造化データから学習するための様々な分野で成功している。 本稿では,GNNの性能とロバスト性向上のためのアンサンブル学習手法の適用について検討する。
  論文  参考訳（メタデータ） (2023-10-22T03:55:13Z)
• Quantifying Inherent Randomness in Machine Learning Algorithms [7.591218883378448]
  本稿では,モデル学習におけるランダム性,およびデータセットのトレーニングおよびテストサブセットへの分割におけるランダム性の影響を実験的に検討する。 我々は、ランダムフォレスト(RF)、グラディエントブースティングマシン(GBM)、フィードフォワードニューラルネットワーク(FFNN)の予測性能の変動の大きさを定量化し、比較する。
  論文  参考訳（メタデータ） (2022-06-24T15:49:52Z)
• Distributionally Robust Semi-Supervised Learning Over Graphs [68.29280230284712]
  グラフ構造化データに対する半教師付き学習(SSL)は、多くのネットワークサイエンスアプリケーションに現れる。 グラフ上の学習を効率的に管理するために,近年,グラフニューラルネットワーク(GNN)の変種が開発されている。 実際に成功したにも拘わらず、既存の手法のほとんどは、不確実な結節属性を持つグラフを扱うことができない。 ノイズ測定によって得られたデータに関連する分布の不確実性によっても問題が発生する。 分散ロバストな学習フレームワークを開発し,摂動に対する定量的ロバスト性を示すモデルを訓練する。
  論文  参考訳（メタデータ） (2021-10-20T14:23:54Z)
• Variational models for signal processing with Graph Neural Networks [3.5939555573102853]
  本稿では,ニューラルネットワークを用いた点雲の信号処理について述べる。 本研究では,このようなグラフニューラルネットワークの変分モデルを用いて,教師なし学習のためのグラフ上の信号を処理する方法を検討する。
  論文  参考訳（メタデータ） (2021-03-30T13:31:11Z)
• Binary Graph Neural Networks [69.51765073772226]
  グラフニューラルネットワーク(gnns)は、不規則データに対する表現学習のための強力で柔軟なフレームワークとして登場した。 本稿では,グラフニューラルネットワークのバイナライゼーションのための異なる戦略を提示し,評価する。 モデルの慎重な設計とトレーニングプロセスの制御によって、バイナリグラフニューラルネットワークは、挑戦的なベンチマークの精度において、適度なコストでトレーニングできることを示しています。
  論文  参考訳（メタデータ） (2020-12-31T18:48:58Z)
• Combining Label Propagation and Simple Models Out-performs Graph Neural Networks [52.121819834353865]
  多くの標準的なトランスダクティブノード分類ベンチマークでは、最先端のGNNの性能を超えたり、一致させることができる。 これをC&S(Correct and Smooth)と呼ぶ。 我々のアプローチは、様々なベンチマークで最先端のGNNの性能を上回るか、ほぼ一致している。
  論文  参考訳（メタデータ） (2020-10-27T02:10:52Z)
• Fast Learning of Graph Neural Networks with Guaranteed Generalizability: One-hidden-layer Case [93.37576644429578]
  グラフニューラルネットワーク(GNN)は、グラフ構造化データから実際に学習する上で、近年大きな進歩を遂げている。 回帰問題と二項分類問題の両方に隠れ層を持つGNNの理論的に基底的な一般化可能性解析を行う。
  論文  参考訳（メタデータ） (2020-06-25T00:45:52Z)
• Learning Gaussian Graphical Models via Multiplicative Weights [54.252053139374205]
  乗算重み更新法に基づいて,Klivans と Meka のアルゴリズムを適用した。 アルゴリズムは、文献の他のものと質的に類似したサンプル複雑性境界を楽しみます。 ランタイムが低い$O(mp2)$で、$m$サンプルと$p$ノードの場合には、簡単にオンライン形式で実装できる。
  論文  参考訳（メタデータ） (2020-02-20T10:50:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。