論文の概要: SA-MLP: A Low-Power Multiplication-Free Deep Network for 3D Point Cloud Classification in Resource-Constrained Environments

• arxiv url: http://arxiv.org/abs/2409.01998v2
• Date: Wed, 15 Jan 2025 18:07:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-16 16:46:28.127815
• Title: SA-MLP: A Low-Power Multiplication-Free Deep Network for 3D Point Cloud Classification in Resource-Constrained Environments
• Title（参考訳）: SA-MLP:資源制約環境における3Dポイントクラウド分類のための低消費電力乗算自由深層ネットワーク
• Authors: Qiang Zheng, Chao Zhang, Jian Sun,
• Abstract要約: ポイントクラウド分類は、LiDARのような3Dセンサーからのデータの処理と分析において重要な役割を果たす。 乗算演算に大きく依存する従来のニューラルネットワークは、高い計算コストとエネルギー消費の観点から、しばしば課題に直面している。 本研究では,ポイントクラウド分類タスクの計算効率向上を目的とした,効率的な乗算型アーキテクチャのファミリーを提案する。
• 参考スコア（独自算出の注目度）: 46.266960248570086
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Point cloud classification plays a crucial role in the processing and analysis of data from 3D sensors such as LiDAR, which are commonly used in applications like autonomous vehicles, robotics, and environmental monitoring. However, traditional neural networks, which rely heavily on multiplication operations, often face challenges in terms of high computational costs and energy consumption. This study presents a novel family of efficient MLP-based architectures designed to improve the computational efficiency of point cloud classification tasks in sensor systems. The baseline model, Mul-MLP, utilizes conventional multiplication operations, while Add-MLP and Shift-MLP replace multiplications with addition and shift operations, respectively. These replacements leverage more sensor-friendly operations that can significantly reduce computational overhead, making them particularly suitable for resource-constrained sensor platforms. To further enhance performance, we propose SA-MLP, a hybrid architecture that alternates between shift and adder layers, preserving the network depth while optimizing computational efficiency. Unlike previous approaches such as ShiftAddNet, which increase the layer count and limit representational capacity by freezing shift weights, SA-MLP fully exploits the complementary advantages of shift and adder layers by employing distinct learning rates and optimizers. Experimental results show that Add-MLP and Shift-MLP achieve competitive performance compared to Mul-MLP, while SA-MLP surpasses the baseline, delivering results comparable to state-of-the-art MLP models in terms of both classification accuracy and computational efficiency. This work offers a promising, energy-efficient solution for sensor-driven applications requiring real-time point cloud classification, particularly in environments with limited computational resources.
• Abstract（参考訳）: ポイントクラウド分類は、自動運転車やロボティクス、環境監視といったアプリケーションで一般的に使用されるLiDARのような3Dセンサーのデータ処理と分析において重要な役割を果たす。 しかしながら、乗算演算に大きく依存する従来のニューラルネットワークは、高い計算コストとエネルギー消費の観点から、しばしば課題に直面している。 本研究では,センサシステムにおけるポイントクラウド分類タスクの計算効率向上を目的とした,効率的なMLPベースのアーキテクチャのファミリーを提案する。 ベースラインモデルであるMul-MLPは従来の乗算演算を使い、Add-MLPとShift-MLPはそれぞれ乗算を加算演算とシフト演算で置き換える。 これらの置換は、よりセンサフレンドリな操作を活用し、計算オーバーヘッドを大幅に削減し、特にリソース制約のセンサープラットフォームに適している。 計算効率を最適化しつつ,ネットワーク深度を保ちながら,シフト層と加算層を交互に切り替えるハイブリッドアーキテクチャSA-MLPを提案する。 シフトウェイトを凍結することでレイヤ数を増やし、表現能力を制限するShiftAddNetのような従来のアプローチとは異なり、SA-MLPは異なる学習率とオプティマイザを利用することで、シフト層と加算層の相補的な利点を完全に活用する。 実験結果から,Add-MLPとShift-MLPはMul-MLPと比較して競争性能が向上し,SA-MLPはベースラインを超え,分類精度と計算効率の両面で最先端のMLPモデルに匹敵する結果が得られた。 この研究は、特に限られた計算資源を持つ環境において、リアルタイムのポイントクラウド分類を必要とするセンサ駆動アプリケーションに対して、有望でエネルギー効率のよいソリューションを提供する。

関連論文リスト

• R-Sparse: Rank-Aware Activation Sparsity for Efficient LLM Inference [77.47238561728459]
  R-スパース(R-Sparse)は、高度なLCMにおいて高い疎度を達成できる訓練不要なアクティベーション・スパシティ・アプローチである。 10種類のタスクにわたるLlama-2/3およびMistralモデルの実験は、R-Sparseが50%のモデルレベルの間隔で同等のパフォーマンスを達成することを示した。
  論文  参考訳（メタデータ） (2025-04-28T03:30:32Z)
• Large Language Model Enhanced Particle Swarm Optimization for Hyperparameter Tuning for Deep Learning Models [2.3949320404005436]
  Particle Swarm Optimization and Large Language Models (LLM) は、最適化とディープラーニングに個別に適用されている。 本研究は,モデル評価の低減と収束性向上のため,PLMをPSOに統合することで,このギャップに対処する。 提案手法は, 探索空間の探索を最適化し, 粒子配置を最適化する手法である。
  論文  参考訳（メタデータ） (2025-04-19T00:54:59Z)
• Pruning-Based TinyML Optimization of Machine Learning Models for Anomaly Detection in Electric Vehicle Charging Infrastructure [8.29566258132752]
  本稿では,EVCIを対象とする資源制約環境における異常検出のためのプルーニング手法について検討する。 最適化されたモデルは、モデルのサイズと推論時間の大幅な削減を実現しました。 特に,EVCIでは,プルーニングとFSが重要な異常検出能力を保ちながら,計算効率を向上させることが示唆された。
  論文  参考訳（メタデータ） (2025-03-19T00:18:37Z)
• Transforming Indoor Localization: Advanced Transformer Architecture for NLOS Dominated Wireless Environments with Distributed Sensors [7.630782404476683]
  本稿では,電力遅延プロファイル (PDP) の可変固有表現を保存する新しいトークン化手法であるSensor Snapshot Tokenization (SST) を提案する。 また,Swish-Gated Linear Unit-based Transformer (L-SwiGLU Transformer) モデルを提案する。
  論文  参考訳（メタデータ） (2025-01-14T01:16:30Z)
• OP-LoRA: The Blessing of Dimensionality [93.08208871549557]
  低ランクアダプタは、少数のパラメータしか持たない大型モデルの微調整を可能にする。 しばしば最適化の課題を提起するが、収束性は低い。 推論コストを増大させることなく、トレーニングを加速する過剰パラメータ化アプローチを導入する。 視覚言語タスクの改善、特に画像生成の顕著な向上を実現している。
  論文  参考訳（メタデータ） (2024-12-13T18:55:19Z)
• Scaling Laws for Predicting Downstream Performance in LLMs [75.28559015477137]
  この研究は、性能推定のためのより計算効率のよい指標として、事前学習損失に焦点を当てている。 FLP-Mは、事前トレーニング中に複数のソースからのデータセットを統合する実践的なニーズに対処する、パフォーマンス予測の基本的なアプローチである。
  論文  参考訳（メタデータ） (2024-10-11T04:57:48Z)
• GERA: Geometric Embedding for Efficient Point Registration Analysis [20.690695788384517]
  本稿では, 純幾何学的アーキテクチャを活用し, 幾何学的情報をオフラインで構築する新たなポイントクラウド登録ネットワークを提案する。 本手法は, 3次元座標入力をオフライン構成の幾何符号化に置き換え, 一般化と安定性を改善した最初の方法である。
  論文  参考訳（メタデータ） (2024-10-01T11:19:56Z)
• A deeper look at depth pruning of LLMs [49.30061112976263]
  大規模言語モデル(LLM)は、トレーニングにはリソース集約的だが、本番環境でのデプロイにはよりコストがかかる。 最近の研究は、ブロックの重要性を推定するために、安価なプロキシに基づいてLSMのブロックをプルークしようと試みている。 適応メトリクスはタスク間のパフォーマンスのトレードオフを示すことを示す。
  論文  参考訳（メタデータ） (2024-07-23T08:40:27Z)
• MLP Can Be A Good Transformer Learner [73.01739251050076]
  自己保持機構はトランスフォーマーの鍵であるが、その計算要求に対してしばしば批判される。 本稿では,非重要注意層を選択的に除去することで,視覚変換器の簡易化と計算負荷削減を実現する新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-04-08T16:40:15Z)
• NTK-approximating MLP Fusion for Efficient Language Model Fine-tuning [40.994306592119266]
  訓練済みの言語モデル(PLM)を微調整することは、多くの自然言語処理アプリケーションにおいて主要な戦略として現れる。 いくつかの一般的なアプローチ(量子化や蒸留など)は、PLM微細チューニングの計算/メモリを減らすために広く研究されている。 我々は、NTK近似モジュールを融合して軽量PLMを作成することを提案する。
  論文  参考訳（メタデータ） (2023-07-18T03:12:51Z)
• Caterpillar: A Pure-MLP Architecture with Shifted-Pillars-Concatenation [68.24659910441736]
  Shifted-Pillars-Concatenation (SPC)モジュールは、より優れたローカルモデリングパワーとパフォーマンス向上を提供する。 我々は、SMLPNetのハイブリッドモデルにおいて、畳み込み層をSPCモジュールに置き換えることで、Caterpillarと呼ばれる純粋なMLPアーキテクチャを構築します。 実験では、小さなスケールとImageNet-1kの分類ベンチマークにおいて、Caterpillarの優れた性能を示している。
  論文  参考訳（メタデータ） (2023-05-28T06:19:36Z)
• Boosting Convolution with Efficient MLP-Permutation for Volumetric Medical Image Segmentation [32.645022002807416]
  マルチレイヤパーセプトロン(MLP)ネットワークは、ViTに匹敵する結果により、研究者の間で人気を取り戻している。 本稿では,コンボリューションニューラルネットワーク(CNN)とPHNetの両方の長所を活かしたPHNetという,Vol-MedSeg用の新しい可変ハイブリッドネットワークを提案する。
  論文  参考訳（メタデータ） (2023-03-23T08:59:09Z)
• The Lazy Neuron Phenomenon: On Emergence of Activation Sparsity in Transformers [59.87030906486969]
  本稿では,Transformer アーキテクチャを用いた機械学習モデルにおいて,アクティベーションマップが疎いという興味深い現象について考察する。 本稿では, 自然言語処理と視覚処理の両方において, スパーシリティが顕著な現象であることを示す。 本稿では,変換器のFLOP数を大幅に削減し,効率を向上する手法について論じる。
  論文  参考訳（メタデータ） (2022-10-12T15:25:19Z)
• Collaborative Intelligent Reflecting Surface Networks with Multi-Agent Reinforcement Learning [63.83425382922157]
  インテリジェント・リフレクション・サーフェス(IRS)は将来の無線ネットワークに広く応用されることが想定されている。 本稿では,エネルギー収穫能力を備えた協調型IRSデバイスを用いたマルチユーザ通信システムについて検討する。
  論文  参考訳（メタデータ） (2022-03-26T20:37:14Z)
• Efficient Language Modeling with Sparse all-MLP [53.81435968051093]
  すべてのMLPは、言語モデリングにおいてTransformerと一致するが、下流タスクではまだ遅れている。 特徴量と入力量の両方でMoE(Mix-of-Experts)を混合したスパースオールMLPを提案する。 6つの下流タスクにおいて、ゼロショットのインコンテキスト学習性能を評価し、トランスフォーマーベースのMoEや高密度トランスフォーマーを上回る結果を得た。
  論文  参考訳（メタデータ） (2022-03-14T04:32:19Z)
• Mixing and Shifting: Exploiting Global and Local Dependencies in Vision MLPs [84.3235981545673]
  Token-mixing Multi-layer Perceptron (MLP) モデルはコンピュータビジョンタスクにおいて競合性能を示す。 本研究では,空間シフトの量に関して,局所受容場のサイズを増大させるMix-Shift-MLPを提案する。 MS-MLPは、複数のビジョンベンチマークで競合性能を達成する。
  論文  参考訳（メタデータ） (2022-02-14T06:53:48Z)
• Using Fitness Dependent Optimizer for Training Multi-layer Perceptron [13.280383503879158]
  本研究は、最近提案されたFDO(Fitness Dependent)に依存する新しいトレーニングアルゴリズムを提案する。 このアルゴリズムの安定性は、探索と搾取の両方の段階で検証され、性能が保証されている。 FDOをトレーナーとして使用するアプローチは、データセット上で異なるトレーナーを使用して他のアプローチよりも優れている。
  論文  参考訳（メタデータ） (2022-01-03T10:23:17Z)
• Sparse-MLP: A Fully-MLP Architecture with Conditional Computation [7.901786481399378]
  厳密な条件計算を伴うMoE(Mixture-of-Experts)は、注意に基づくモデルを、同等の計算コストでより多くのパラメータに拡張するための効果的なアーキテクチャであることが証明されている。 我々は、より効率的なアーキテクチャを実現するために、最近のMixerモデルをMoEで拡張するSparse-MLPを提案する。
  論文  参考訳（メタデータ） (2021-09-05T06:43:08Z)
• MOI-Mixer: Improving MLP-Mixer with Multi Order Interactions in Sequential Recommendation [40.20599070308035]
  トランスフォーマーベースのモデルは、シーケンス長に2次記憶と時間の複雑さを必要とするため、ユーザの長期的関心を抽出することは困難である。 線形メモリと時間複雑性で有名なMLPベースのモデルは、最近、様々なタスクにおいてTransformerと比較して競合する結果を示した。 本稿では,レイヤのメモリと時間の複雑さを維持しながら,任意の順序のインタラクションを表現できる多階インタラクション層を提案する。
  論文  参考訳（メタデータ） (2021-08-17T08:38:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。