論文の概要: SA-MLP: A Low-Power Multiplication-Free Deep Network for 3D Point Cloud Classification in Resource-Constrained Environments

• arxiv url: http://arxiv.org/abs/2409.01998v2
• Date: Wed, 15 Jan 2025 18:07:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-16 15:50:18.715005
• Title: SA-MLP: A Low-Power Multiplication-Free Deep Network for 3D Point Cloud Classification in Resource-Constrained Environments
• Title（参考訳）: SA-MLP:資源制約環境における3Dポイントクラウド分類のための低消費電力乗算自由深層ネットワーク
• Authors: Qiang Zheng, Chao Zhang, Jian Sun,
• Abstract要約: ポイントクラウド分類は、LiDARのような3Dセンサーからのデータの処理と分析において重要な役割を果たす。 乗算演算に大きく依存する従来のニューラルネットワークは、高い計算コストとエネルギー消費の観点から、しばしば課題に直面している。 本研究では,ポイントクラウド分類タスクの計算効率向上を目的とした,効率的な乗算型アーキテクチャのファミリーを提案する。
• 参考スコア（独自算出の注目度）: 46.266960248570086
• License:
• Abstract: Point cloud classification plays a crucial role in the processing and analysis of data from 3D sensors such as LiDAR, which are commonly used in applications like autonomous vehicles, robotics, and environmental monitoring. However, traditional neural networks, which rely heavily on multiplication operations, often face challenges in terms of high computational costs and energy consumption. This study presents a novel family of efficient MLP-based architectures designed to improve the computational efficiency of point cloud classification tasks in sensor systems. The baseline model, Mul-MLP, utilizes conventional multiplication operations, while Add-MLP and Shift-MLP replace multiplications with addition and shift operations, respectively. These replacements leverage more sensor-friendly operations that can significantly reduce computational overhead, making them particularly suitable for resource-constrained sensor platforms. To further enhance performance, we propose SA-MLP, a hybrid architecture that alternates between shift and adder layers, preserving the network depth while optimizing computational efficiency. Unlike previous approaches such as ShiftAddNet, which increase the layer count and limit representational capacity by freezing shift weights, SA-MLP fully exploits the complementary advantages of shift and adder layers by employing distinct learning rates and optimizers. Experimental results show that Add-MLP and Shift-MLP achieve competitive performance compared to Mul-MLP, while SA-MLP surpasses the baseline, delivering results comparable to state-of-the-art MLP models in terms of both classification accuracy and computational efficiency. This work offers a promising, energy-efficient solution for sensor-driven applications requiring real-time point cloud classification, particularly in environments with limited computational resources.
• Abstract（参考訳）: ポイントクラウド分類は、自動運転車やロボティクス、環境監視といったアプリケーションで一般的に使用されるLiDARのような3Dセンサーのデータ処理と分析において重要な役割を果たす。 しかしながら、乗算演算に大きく依存する従来のニューラルネットワークは、高い計算コストとエネルギー消費の観点から、しばしば課題に直面している。 本研究では,センサシステムにおけるポイントクラウド分類タスクの計算効率向上を目的とした,効率的なMLPベースのアーキテクチャのファミリーを提案する。 ベースラインモデルであるMul-MLPは従来の乗算演算を使い、Add-MLPとShift-MLPはそれぞれ乗算を加算演算とシフト演算で置き換える。 これらの置換は、よりセンサフレンドリな操作を活用し、計算オーバーヘッドを大幅に削減し、特にリソース制約のセンサープラットフォームに適している。 計算効率を最適化しつつ,ネットワーク深度を保ちながら,シフト層と加算層を交互に切り替えるハイブリッドアーキテクチャSA-MLPを提案する。 シフトウェイトを凍結することでレイヤ数を増やし、表現能力を制限するShiftAddNetのような従来のアプローチとは異なり、SA-MLPは異なる学習率とオプティマイザを利用することで、シフト層と加算層の相補的な利点を完全に活用する。 実験結果から,Add-MLPとShift-MLPはMul-MLPと比較して競争性能が向上し,SA-MLPはベースラインを超え,分類精度と計算効率の両面で最先端のMLPモデルに匹敵する結果が得られた。 この研究は、特に限られた計算資源を持つ環境において、リアルタイムのポイントクラウド分類を必要とするセンサ駆動アプリケーションに対して、有望でエネルギー効率のよいソリューションを提供する。

関連論文リスト

• Transforming Indoor Localization: Advanced Transformer Architecture for NLOS Dominated Wireless Environments with Distributed Sensors [7.630782404476683]
  本稿では,電力遅延プロファイル (PDP) の可変固有表現を保存する新しいトークン化手法であるSensor Snapshot Tokenization (SST) を提案する。 また,Swish-Gated Linear Unit-based Transformer (L-SwiGLU Transformer) モデルを提案する。
  論文  参考訳（メタデータ） (2025-01-14T01:16:30Z)
• OP-LoRA: The Blessing of Dimensionality [93.08208871549557]
  低ランクアダプタは、少数のパラメータしか持たない大型モデルの微調整を可能にする。 しばしば最適化の課題を提起するが、収束性は低い。 推論コストを増大させることなく、トレーニングを加速する過剰パラメータ化アプローチを導入する。 視覚言語タスクの改善、特に画像生成の顕著な向上を実現している。
  論文  参考訳（メタデータ） (2024-12-13T18:55:19Z)
• TinyML NLP Approach for Semantic Wireless Sentiment Classification [49.801175302937246]
  本稿では,エネルギー効率のよいプライバシ保護型小型機械学習(MLTiny)方式としてスプリットラーニング(SL)を導入する。 その結果,SLは高い精度を維持しながら処理能力とCO2排出量を低減し,FLは効率とプライバシのバランスのとれた妥協を提供することがわかった。
  論文  参考訳（メタデータ） (2024-11-09T21:26:59Z)
• Scaling Laws for Predicting Downstream Performance in LLMs [75.28559015477137]
  この研究は、性能評価のためのより効率的な指標として、事前学習損失に焦点を当てている。 我々は、データソース間のFLOPに基づいて、ドメイン固有の事前学習損失を予測するために、電力法解析関数を拡張した。 我々は2層ニューラルネットワークを用いて、複数のドメイン固有の損失と下流性能の非線形関係をモデル化する。
  論文  参考訳（メタデータ） (2024-10-11T04:57:48Z)
• GERA: Geometric Embedding for Efficient Point Registration Analysis [20.690695788384517]
  本稿では, 純幾何学的アーキテクチャを活用し, 幾何学的情報をオフラインで構築する新たなポイントクラウド登録ネットワークを提案する。 本手法は, 3次元座標入力をオフライン構成の幾何符号化に置き換え, 一般化と安定性を改善した最初の方法である。
  論文  参考訳（メタデータ） (2024-10-01T11:19:56Z)
• Resource Allocation for Stable LLM Training in Mobile Edge Computing [11.366306689957353]
  本稿では,モバイルユーザとエッジサーバを統合し,リソース割り当てを最適化する協調トレーニングフレームワークについて検討する。 学習中のエネルギー消費と遅延の総量を最小限に抑えるために,多目的最適化問題を定式化する。 また,モデルの安定性向上を目的関数に組み込むことにより,モデル性能の不安定性の共通問題にも対処する。
  論文  参考訳（メタデータ） (2024-09-30T12:36:27Z)
• A Masked Pruning Approach for Dimensionality Reduction in Communication-Efficient Federated Learning Systems [11.639503711252663]
  Federated Learning(FL)は、多数のノードにわたるモデルのトレーニング用に設計された、成長する機械学習(ML)パラダイムである。 本研究では, フラニング法とFL法を組み合わせることにより, 限界を克服する新しいアルゴリズムを開発した。 本研究は,MPFLの既存手法と比較して優れた性能を示す広範囲な実験的研究である。
  論文  参考訳（メタデータ） (2023-12-06T20:29:23Z)
• Boosting Convolution with Efficient MLP-Permutation for Volumetric Medical Image Segmentation [32.645022002807416]
  マルチレイヤパーセプトロン(MLP)ネットワークは、ViTに匹敵する結果により、研究者の間で人気を取り戻している。 本稿では,コンボリューションニューラルネットワーク(CNN)とPHNetの両方の長所を活かしたPHNetという,Vol-MedSeg用の新しい可変ハイブリッドネットワークを提案する。
  論文  参考訳（メタデータ） (2023-03-23T08:59:09Z)
• The Lazy Neuron Phenomenon: On Emergence of Activation Sparsity in Transformers [59.87030906486969]
  本稿では,Transformer アーキテクチャを用いた機械学習モデルにおいて,アクティベーションマップが疎いという興味深い現象について考察する。 本稿では, 自然言語処理と視覚処理の両方において, スパーシリティが顕著な現象であることを示す。 本稿では,変換器のFLOP数を大幅に削減し,効率を向上する手法について論じる。
  論文  参考訳（メタデータ） (2022-10-12T15:25:19Z)
• Collaborative Intelligent Reflecting Surface Networks with Multi-Agent Reinforcement Learning [63.83425382922157]
  インテリジェント・リフレクション・サーフェス(IRS)は将来の無線ネットワークに広く応用されることが想定されている。 本稿では,エネルギー収穫能力を備えた協調型IRSデバイスを用いたマルチユーザ通信システムについて検討する。
  論文  参考訳（メタデータ） (2022-03-26T20:37:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。