論文の概要: Single-GPU GNN Systems: Traps and Pitfalls

• arxiv url: http://arxiv.org/abs/2402.03548v1
• Date: Mon, 5 Feb 2024 22:07:58 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-07 17:33:24.637182
• Title: Single-GPU GNN Systems: Traps and Pitfalls
• Title（参考訳）: シングルGPU GNNシステム - トラップと落とし穴
• Authors: Yidong Gong, Arnab Tarafder, Saima Afrin, and Pradeep Kumar
• Abstract要約: 詳細な分析は、システム設計と評価プロセスにおける落とし穴の連鎖につながることを示している。 システム設計の落とし穴の解決に根ざした新しい最適化のラインを確立するために,新しい参照システムを開発した。
• 参考スコア（独自算出の注目度）: 1.5669062603298305
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The current graph neural network (GNN) systems have established a clear trend of not showing training accuracy results, and directly or indirectly relying on smaller datasets for evaluations majorly. Our in-depth analysis shows that it leads to a chain of pitfalls in the system design and evaluation process, questioning the practicality of many of the proposed system optimizations, and affecting conclusions and lessons learned. We analyze many single-GPU systems and show the fundamental impact of these pitfalls. We further develop hypotheses, recommendations, and evaluation methodologies, and provide future directions. Finally, a new reference system is developed to establish a new line of optimizations rooted in solving the system-design pitfalls efficiently and practically. The proposed design can productively be integrated into prior works, thereby truly advancing the state-of-the-art.
• Abstract（参考訳）: 現在のグラフニューラルネットワーク(GNN)システムは、トレーニングの精度を示さないという明確な傾向を確立し、評価のためにより小さなデータセットを直接あるいは間接的に依存している。 詳細な分析から,システム設計と評価プロセスにおける落とし穴の連鎖,提案するシステム最適化の実用性への疑問,学習した結論や教訓に影響を及ぼすことが示された。 多くのシングルGPUシステムを分析し、これらの落とし穴の根本的な影響を示す。 さらに仮説,勧告,評価手法を開発し,今後の方向性を示す。 最後に,システム設計の落とし穴の解決に根ざした新たな最適化の行を確立するために,新しい参照システムを開発した。 提案した設計は、生産的に事前の作業に統合できるため、真に最先端の技術が進歩する。

関連論文リスト

• Visual Prompting Upgrades Neural Network Sparsification: A Data-Model Perspective [64.04617968947697]
  より優れた重量空間を実現するために、新しいデータモデル共設計視点を導入する。 具体的には、提案したVPNフレームワークでニューラルネットワークのスパーシフィケーションをアップグレードするために、カスタマイズされたVisual Promptが実装されている。
  論文  参考訳（メタデータ） (2023-12-03T13:50:24Z)
• End-to-End Learning for Stochastic Optimization: A Bayesian Perspective [9.356870107137093]
  最適化におけるエンド・ツー・エンド・ラーニングの原則的アプローチを開発する。 本稿では,標準エンドツーエンド学習アルゴリズムがベイズ解釈を認め,ベイズ後の行動地図を訓練することを示す。 次に、意思決定マップの学習のための新しいエンドツーエンド学習アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-06-07T05:55:45Z)
• Learning Large-scale Neural Fields via Context Pruned Meta-Learning [60.93679437452872]
  本稿では,大規模ニューラルネットワーク学習のための最適化に基づくメタラーニング手法を提案する。 メタテスト時間における勾配再スケーリングは、非常に高品質なニューラルネットワークの学習を可能にすることを示す。 我々のフレームワークは、モデルに依存しない、直感的で、実装が容易であり、幅広い信号に対する大幅な再構成改善を示す。
  論文  参考訳（メタデータ） (2023-02-01T17:32:16Z)
• Analysis and Design of Quadratic Neural Networks for Regression, Classification, and Lyapunov Control of Dynamical Systems [0.0]
  本稿では,2次ニューラルネットワークの解析と設計について述べる。 ネットワークにはいくつかの利点があり、最も重要なのはアーキテクチャが設計の副産物であり、アプリオリではないという事実である。 いくつかの例では、アプリケーションにおける二次ニューラルネットワークの有効性を示す。
  論文  参考訳（メタデータ） (2022-07-26T18:10:05Z)
• Large-Scale Sequential Learning for Recommender and Engineering Systems [91.3755431537592]
  本稿では,現在の状況に適応してパーソナライズされたランキングを提供する自動アルゴリズムの設計に焦点を当てる。 前者はSAROSと呼ばれる新しいアルゴリズムを提案し,インタラクションの順序を学習するためのフィードバックの種類を考慮に入れている。 提案手法は, 電力網の故障検出に対する初期アプローチと比較して, 統計的に有意な結果を示す。
  論文  参考訳（メタデータ） (2022-05-13T21:09:41Z)
• Revisiting PGD Attacks for Stability Analysis of Large-Scale Nonlinear Systems and Perception-Based Control [2.2725929250900947]
  我々は,汎用ROA解析ツールとして,対人学習コミュニティで開発された予測勾配降下法(PGD)を調整した。 ROA解析は、最悪の初期条件を見つけることを目標とする制約付き問題として近似できることを示す。 本稿では,PGDに基づく2つの反復的手法について述べる。
  論文  参考訳（メタデータ） (2022-01-03T18:46:58Z)
• Supervised DKRC with Images for Offline System Identification [77.34726150561087]
  現代の力学系はますます非線形で複雑なものになりつつある。 予測と制御のためのコンパクトで包括的な表現でこれらのシステムをモデル化するフレームワークが必要である。 本手法は,教師付き学習手法を用いてこれらの基礎関数を学習する。
  論文  参考訳（メタデータ） (2021-09-06T04:39:06Z)
• Adaptive Inference through Early-Exit Networks: Design, Challenges and Directions [80.78077900288868]
  初期のネットワークの設計手法をその重要コンポーネントに分解し、各コンポーネントの最近の進歩を調査する。 我々は、他の効率的な推論ソリューションと早期に競合する立場をとり、この分野の研究における現在の課題と最も有望な今後の方向性についての洞察を提供する。
  論文  参考訳（メタデータ） (2021-06-09T12:33:02Z)
• A Meta-Learning Approach to the Optimal Power Flow Problem Under Topology Reconfigurations [69.73803123972297]
  メタラーニング(MTL)アプローチを用いて訓練されたDNNベースのOPF予測器を提案する。 開発したOPF予測器はベンチマークIEEEバスシステムを用いてシミュレーションにより検証される。
  論文  参考訳（メタデータ） (2020-12-21T17:39:51Z)
• Neural-iLQR: A Learning-Aided Shooting Method for Trajectory Optimization [17.25824905485415]
  制約のない制御空間上の学習支援シューティング手法であるNeural-iLQRを提案する。 システムモデルにおける不正確さの存在下で、従来のiLQRよりも著しく優れていることが示されている。
  論文  参考訳（メタデータ） (2020-11-21T07:17:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。