論文の概要: Towards Efficient Point Cloud Graph Neural Networks Through Architectural Simplification

• arxiv url: http://arxiv.org/abs/2108.06317v1
• Date: Fri, 13 Aug 2021 17:04:54 GMT
• ステータス: 処理完了
• システム内更新日: 2021-08-16 13:11:36.747793
• Title: Towards Efficient Point Cloud Graph Neural Networks Through Architectural Simplification
• Title（参考訳）: アーキテクチャ単純化によるクラウドグラフニューラルネットワークの効率化
• Authors: Shyam A. Tailor, Ren\'{e} de Jong, Tiago Azevedo, Matthew Mattina, Partha Maji
• Abstract要約: 我々は,グラフニューラルネットワーク(GNN)モデルの効率向上に向けて,これらのモデルが,最初の特徴抽出層(Feature extracting, layer)の表現力によって大きく制限されていることを観察する。 特徴抽出層がモデル性能の低下を最小限に抑えながら維持される限り、これらのモデルを根本的に単純化することは可能である。 我々のアプローチは、DGCNNのようなモデルにおけるグラフ層において、メモリ消費を20$times$、レイテンシを9.9$times$に削減します。
• 参考スコア（独自算出の注目度）: 8.062534763028808
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In recent years graph neural network (GNN)-based approaches have become a popular strategy for processing point cloud data, regularly achieving state-of-the-art performance on a variety of tasks. To date, the research community has primarily focused on improving model expressiveness, with secondary thought given to how to design models that can run efficiently on resource constrained mobile devices including smartphones or mixed reality headsets. In this work we make a step towards improving the efficiency of these models by making the observation that these GNN models are heavily limited by the representational power of their first, feature extracting, layer. We find that it is possible to radically simplify these models so long as the feature extraction layer is retained with minimal degradation to model performance; further, we discover that it is possible to improve performance overall on ModelNet40 and S3DIS by improving the design of the feature extractor. Our approach reduces memory consumption by 20$\times$ and latency by up to 9.9$\times$ for graph layers in models such as DGCNN; overall, we achieve speed-ups of up to 4.5$\times$ and peak memory reductions of 72.5%.
• Abstract（参考訳）: 近年、グラフニューラルネットワーク(GNN)ベースのアプローチは、ポイントクラウドデータを処理し、さまざまなタスクで定期的に最先端のパフォーマンスを達成する一般的な戦略となっている。 これまでの研究コミュニティは、主にモデル表現性の改善に重点を置いており、スマートフォンや複合現実ヘッドセットなど、リソースに制約のあるモバイルデバイス上で効率的に動作するモデルを設計する方法について、二次的な考察がなされている。 本稿では,gnnモデルが特徴抽出層の表現力に大きく制限されていることを観察することで,これらのモデルの効率を向上させるための一歩を踏み出します。 機能抽出層が最小限の劣化で保持されている限り、これらのモデルを劇的に単純化することが可能であり、さらに、機能抽出層の設計を改善して、modelnet40およびs3disの全体的なパフォーマンスを向上させることが可能であることが判明した。 我々のアプローチでは、dgcnnのようなモデルのグラフ層に対する20$\times$とレイテンシーを最大9.9$\times$に削減し、全体として最大4.5$\times$とピークメモリの72.5%の高速化を実現している。

関連論文リスト

• The Importance of Being Scalable: Improving the Speed and Accuracy of Neural Network Interatomic Potentials Across Chemical Domains [4.340917737559795]
  ニューラルネットワーク原子間ポテンシャル(NNIP)のスケーリングに関する研究 NNIPは、ab initio量子力学計算の代理モデルとして機能する。 我々は、スケーリング用に設計されたNNIPアーキテクチャを開発する: 効率よくスケールされた意識的原子間ポテンシャル(EScAIP)
  論文  参考訳（メタデータ） (2024-10-31T17:35:57Z)
• LeYOLO, New Scalable and Efficient CNN Architecture for Object Detection [0.0]
  FLOPに基づく効率的な物体検出のためのニューラルネットワークアーキテクチャの設計選択に着目する。 そこで本研究では,YOLOモデルの有効性を高めるために,いくつかの最適化手法を提案する。 本稿では、オブジェクト検出のための新しいスケーリングパラダイムと、LeYOLOと呼ばれるYOLO中心のモデルに寄与する。
  論文  参考訳（メタデータ） (2024-06-20T12:08:24Z)
• Network architecture search of X-ray based scientific applications [4.8287663496299755]
  X線および電子回折に基づく顕微鏡は、ブラッグピーク検出とポチグラフィーを用いて原子分解能で3Dイメージングを行う。 近年、ディープニューラルネットワークの使用により、既存の最先端アプローチが改善されている。
  論文  参考訳（メタデータ） (2024-04-16T16:09:38Z)
• Diffusion-Based Neural Network Weights Generation [80.89706112736353]
  D2NWGは拡散に基づくニューラルネットワーク重み生成技術であり、転送学習のために高性能な重みを効率よく生成する。 本稿では,ニューラルネットワーク重み生成のための遅延拡散パラダイムを再放送するために,生成的ハイパー表現学習を拡張した。 我々のアプローチは大規模言語モデル(LLM)のような大規模アーキテクチャにスケーラブルであり、現在のパラメータ生成技術の限界を克服しています。
  論文  参考訳（メタデータ） (2024-02-28T08:34:23Z)
• A-SDM: Accelerating Stable Diffusion through Redundancy Removal and Performance Optimization [54.113083217869516]
  本研究ではまず,ネットワークの計算冗長性について検討する。 次に、モデルの冗長性ブロックをプルークし、ネットワーク性能を維持する。 第3に,計算集約型注意部を高速化するグローバル地域対話型注意(GRI)を提案する。
  論文  参考訳（メタデータ） (2023-12-24T15:37:47Z)
• Receptive Field Refinement for Convolutional Neural Networks Reliably Improves Predictive Performance [1.52292571922932]
  本稿では,このような理論的および経験的性能向上をもたらす受容場解析への新たなアプローチを提案する。 我々のアプローチは、広く知られたSOTA(State-of-the-art)モデルクラスにおいて、ImageNet1Kのパフォーマンスを改善することができる。
  論文  参考訳（メタデータ） (2022-11-26T05:27:44Z)
• Sparse Flows: Pruning Continuous-depth Models [107.98191032466544]
  生成モデルにおいて,プルーニングによりニューラルネットワークの一般化が向上することを示す。 また、プルーニングは、元のネットワークに比べて最大98%少ないパラメータで、精度を損なうことなく、最小かつ効率的なニューラルODE表現を見出すことを示した。
  論文  参考訳（メタデータ） (2021-06-24T01:40:17Z)
• Top-KAST: Top-K Always Sparse Training [50.05611544535801]
  トレーニングを通して一定間隔を保存するTop-KASTを提案する。 確立したImageNetベンチマークのトレーニングモデルでは,従来の作業と同等かそれ以上に動作可能であることを示す。 ImageNetの結果に加えて、言語モデリングの分野においても、我々のアプローチを実証しています。
  論文  参考訳（メタデータ） (2021-06-07T11:13:05Z)
• The Untapped Potential of Off-the-Shelf Convolutional Neural Networks [29.205446247063673]
  ResNet-50のような既存の市販モデルは、ImageNet上で95%以上の精度を持つことを示す。 このレベルのパフォーマンスは現在、20倍以上のパラメータとはるかに複雑なトレーニング手順を持つモデルを上回る。
  論文  参考訳（メタデータ） (2021-03-17T20:04:46Z)
• Towards Practical Lipreading with Distilled and Efficient Models [57.41253104365274]
  ニューラルネットワークの復活により、リリーディングは多くの進歩を目の当たりにした。 最近の研究は、最適なアーキテクチャを見つけるか、一般化を改善することで、パフォーマンスを改善するといった側面に重点を置いている。 現在の方法論と、実践的なシナリオにおける効果的なリップリーディングのデプロイ要件との間には、依然として大きなギャップがあります。 まず, LRW と LRW-1000 をそれぞれ 88.5% と 46.6% に比例して, 最先端の性能を高めることを提案する。
  論文  参考訳（メタデータ） (2020-07-13T16:56:27Z)
• Dynamic Model Pruning with Feedback [64.019079257231]
  余分なオーバーヘッドを伴わずにスパーストレーニングモデルを生成する新しいモデル圧縮法を提案する。 CIFAR-10 と ImageNet を用いて本手法の評価を行い,得られたスパースモデルが高密度モデルの最先端性能に到達可能であることを示す。
  論文  参考訳（メタデータ） (2020-06-12T15:07:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。