論文の概要: SA-MLP: Enhancing Point Cloud Classification with Efficient Addition and Shift Operations in MLP Architectures
- arxiv url: http://arxiv.org/abs/2409.01998v1
- Date: Tue, 3 Sep 2024 15:43:44 GMT
- ステータス: 処理完了
- システム内更新日: 2024-09-06 00:37:19.177642
- Title: SA-MLP: Enhancing Point Cloud Classification with Efficient Addition and Shift Operations in MLP Architectures
- Title（参考訳）: SA-MLP: MLPアーキテクチャにおける効率的な追加およびシフト操作によるポイントクラウド分類の強化
- Authors: Qiang Zheng, Chao Zhang, Jian Sun,
- Abstract要約: 従来のニューラルネットワークは計算コストのかかる乗算演算に大きく依存している。
本稿では,乗算を加算演算とシフト演算に置き換えるAdd-MLPとShift-MLPを提案し,計算効率を大幅に向上させる。
この研究は、ポイントクラウド分類のための効率的かつ効果的なソリューションを提供し、性能と計算効率のバランスをとる。
- 参考スコア（独自算出の注目度）: 46.266960248570086
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: This study addresses the computational inefficiencies in point cloud classification by introducing novel MLP-based architectures inspired by recent advances in CNN optimization. Traditional neural networks heavily rely on multiplication operations, which are computationally expensive. To tackle this, we propose Add-MLP and Shift-MLP, which replace multiplications with addition and shift operations, respectively, significantly enhancing computational efficiency. Building on this, we introduce SA-MLP, a hybrid model that intermixes alternately distributed shift and adder layers to replace MLP layers, maintaining the original number of layers without freezing shift layer weights. This design contrasts with the ShiftAddNet model from previous literature, which replaces convolutional layers with shift and adder layers, leading to a doubling of the number of layers and limited representational capacity due to frozen shift weights. Moreover, SA-MLP optimizes learning by setting distinct learning rates and optimizers specifically for the adder and shift layers, fully leveraging their complementary strengths. Extensive experiments demonstrate that while Add-MLP and Shift-MLP achieve competitive performance, SA-MLP significantly surpasses the multiplication-based baseline MLP model and achieves performance comparable to state-of-the-art MLP-based models. This study offers an efficient and effective solution for point cloud classification, balancing performance with computational efficiency.
- Abstract（参考訳）: 本研究は,最近のCNN最適化の進歩に触発された新しいMLPベースのアーキテクチャを導入することにより,ポイントクラウド分類における計算効率の低下に対処する。
従来のニューラルネットワークは計算コストのかかる乗算演算に大きく依存している。
そこで本研究では,乗算を加算演算とシフト演算に置き換えるAdd-MLPとShift-MLPを提案し,計算効率を大幅に向上させる。
この上に構築したSA-MLPは、交互に分散したシフト層と加算層を混合してMLP層を置き換えるハイブリッドモデルであり、シフト層重みを凍結することなく、元のレイヤ数を維持できる。
この設計は、従来の文献のShiftAddNetモデルとは対照的で、畳み込みレイヤをシフト層と加算層に置き換え、レイヤ数の倍増と、凍結したシフト重みによる表現能力の制限につながる。
さらに、SA-MLPは、加算層とシフト層に特化して学習率と最適化器を設定することで学習を最適化し、相補的な強みを完全に活用する。
大規模な実験では、Add-MLPとShift-MLPが競合性能を達成する一方で、SA-MLPは乗算ベースラインのMLPモデルを大きく上回り、最先端のMLPモデルに匹敵する性能を達成する。
この研究は、ポイントクラウド分類のための効率的かつ効果的なソリューションを提供し、性能と計算効率のバランスをとる。
関連論文リスト
- Transforming Indoor Localization: Advanced Transformer Architecture for NLOS Dominated Wireless Environments with Distributed Sensors [7.630782404476683]
本稿では,電力遅延プロファイル (PDP) の可変固有表現を保存する新しいトークン化手法であるSensor Snapshot Tokenization (SST) を提案する。
また,Swish-Gated Linear Unit-based Transformer (L-SwiGLU Transformer) モデルを提案する。
論文 参考訳（メタデータ） (2025-01-14T01:16:30Z) - OP-LoRA: The Blessing of Dimensionality [93.08208871549557]
低ランクアダプタは、少数のパラメータしか持たない大型モデルの微調整を可能にする。
しばしば最適化の課題を提起するが、収束性は低い。
推論コストを増大させることなく、トレーニングを加速する過剰パラメータ化アプローチを導入する。
視覚言語タスクの改善、特に画像生成の顕著な向上を実現している。
論文 参考訳（メタデータ） (2024-12-13T18:55:19Z) - TinyML NLP Approach for Semantic Wireless Sentiment Classification [49.801175302937246]
本稿では,エネルギー効率のよいプライバシ保護型小型機械学習(MLTiny)方式としてスプリットラーニング(SL)を導入する。
その結果,SLは高い精度を維持しながら処理能力とCO2排出量を低減し,FLは効率とプライバシのバランスのとれた妥協を提供することがわかった。
論文 参考訳（メタデータ） (2024-11-09T21:26:59Z) - Scaling Laws for Predicting Downstream Performance in LLMs [75.28559015477137]
この研究は、性能評価のためのより効率的な指標として、事前学習損失に焦点を当てている。
我々は、データソース間のFLOPに基づいて、ドメイン固有の事前学習損失を予測するために、電力法解析関数を拡張した。
我々は2層ニューラルネットワークを用いて、複数のドメイン固有の損失と下流性能の非線形関係をモデル化する。
論文 参考訳（メタデータ） (2024-10-11T04:57:48Z) - GERA: Geometric Embedding for Efficient Point Registration Analysis [20.690695788384517]
本稿では, 純幾何学的アーキテクチャを活用し, 幾何学的情報をオフラインで構築する新たなポイントクラウド登録ネットワークを提案する。
本手法は, 3次元座標入力をオフライン構成の幾何符号化に置き換え, 一般化と安定性を改善した最初の方法である。
論文 参考訳（メタデータ） (2024-10-01T11:19:56Z) - Resource Allocation for Stable LLM Training in Mobile Edge Computing [11.366306689957353]
本稿では,モバイルユーザとエッジサーバを統合し,リソース割り当てを最適化する協調トレーニングフレームワークについて検討する。
学習中のエネルギー消費と遅延の総量を最小限に抑えるために,多目的最適化問題を定式化する。
また,モデルの安定性向上を目的関数に組み込むことにより,モデル性能の不安定性の共通問題にも対処する。
論文 参考訳（メタデータ） (2024-09-30T12:36:27Z) - A Masked Pruning Approach for Dimensionality Reduction in
Communication-Efficient Federated Learning Systems [11.639503711252663]
Federated Learning(FL)は、多数のノードにわたるモデルのトレーニング用に設計された、成長する機械学習(ML)パラダイムである。
本研究では, フラニング法とFL法を組み合わせることにより, 限界を克服する新しいアルゴリズムを開発した。
本研究は,MPFLの既存手法と比較して優れた性能を示す広範囲な実験的研究である。
論文 参考訳（メタデータ） (2023-12-06T20:29:23Z) - Boosting Convolution with Efficient MLP-Permutation for Volumetric
Medical Image Segmentation [32.645022002807416]
マルチレイヤパーセプトロン(MLP)ネットワークは、ViTに匹敵する結果により、研究者の間で人気を取り戻している。
本稿では,コンボリューションニューラルネットワーク(CNN)とPHNetの両方の長所を活かしたPHNetという,Vol-MedSeg用の新しい可変ハイブリッドネットワークを提案する。
論文 参考訳（メタデータ） (2023-03-23T08:59:09Z) - The Lazy Neuron Phenomenon: On Emergence of Activation Sparsity in
Transformers [59.87030906486969]
本稿では,Transformer アーキテクチャを用いた機械学習モデルにおいて,アクティベーションマップが疎いという興味深い現象について考察する。
本稿では, 自然言語処理と視覚処理の両方において, スパーシリティが顕著な現象であることを示す。
本稿では,変換器のFLOP数を大幅に削減し,効率を向上する手法について論じる。
論文 参考訳（メタデータ） (2022-10-12T15:25:19Z) - Collaborative Intelligent Reflecting Surface Networks with Multi-Agent
Reinforcement Learning [63.83425382922157]
インテリジェント・リフレクション・サーフェス(IRS)は将来の無線ネットワークに広く応用されることが想定されている。
本稿では,エネルギー収穫能力を備えた協調型IRSデバイスを用いたマルチユーザ通信システムについて検討する。
論文 参考訳（メタデータ） (2022-03-26T20:37:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。