論文の概要: RepAct: The Re-parameterizable Adaptive Activation Function

• arxiv url: http://arxiv.org/abs/2407.00131v1
• Date: Fri, 28 Jun 2024 08:25:45 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-04 06:20:13.816238
• Title: RepAct: The Re-parameterizable Adaptive Activation Function
• Title（参考訳）: RepAct: Re-parameterizable Adaptive Activation Function
• Authors: Xian Wu, Qingchuan Tao, Shuang Wang,
• Abstract要約: RepActは、エッジデバイスの計算制限内で軽量ニューラルネットワークを最適化するための適応アクティベーション関数である。 画像分類や物体検出などのタスクで評価すると、RepActは従来のアクティベーション機能を上回った。
• 参考スコア（独自算出の注目度）: 31.238011686165596
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Addressing the imperative need for efficient artificial intelligence in IoT and edge computing, this study presents RepAct, a re-parameterizable adaptive activation function tailored for optimizing lightweight neural networks within the computational limitations of edge devices. By employing a multi-branch structure with learnable adaptive weights, RepAct enriches feature processing and enhances cross-layer interpretability. When evaluated on tasks such as image classification and object detection, RepAct notably surpassed conventional activation functions in lightweight networks, delivering up to a 7.92% accuracy boost on MobileNetV3-Small for the ImageNet100 dataset, while maintaining computational complexity on par with HardSwish. This innovative approach not only maximizes model parameter efficiency but also significantly improves the performance and understanding capabilities of lightweight neural networks, demonstrating its potential for real-time edge computing applications.
• Abstract（参考訳）: この研究は、IoTとエッジコンピューティングにおける効率的な人工知能の必須ニーズに対処するため、エッジデバイスの計算限界内で軽量ニューラルネットワークを最適化するための、再パラメータ化可能な適応アクティベーション関数RepActを提案する。 学習可能な適応重みを持つマルチブランチ構造を用いることで、RepActは特徴処理を強化し、層間解釈性を高める。 RepActは画像分類やオブジェクト検出などのタスクで評価すると、軽量ネットワークにおける従来のアクティベーション機能を超え、画像Net100データセットのMobileNetV3-Smallの精度を最大7.92%向上させ、HardSwishと同等の複雑性を維持した。 この革新的なアプローチは、モデルパラメータ効率を最大化するだけでなく、軽量ニューラルネットワークの性能と理解能力を大幅に改善し、リアルタイムエッジコンピューティングアプリケーションの可能性を示している。

関連論文リスト

• Efficient Multi-domain Text Recognition Deep Neural Network Parameterization with Residual Adapters [4.454976752204893]
  本研究では,光学的文字認識(OCR)に適応する新しいニューラルネットワークモデルを提案する。 このモデルは、新しいドメインへの迅速な適応を実現し、計算リソースの需要を減らすためにコンパクトなサイズを維持し、高い精度を確保し、学習経験から知識を保持し、完全に再訓練することなくドメイン固有のパフォーマンス改善を可能にするように設計されている。
  論文  参考訳（メタデータ） (2024-01-01T23:01:40Z)
• Power-Enhanced Residual Network for Function Approximation and Physics-Informed Inverse Problems [0.0]
  本稿では、パワーエンハンシング残差ネットワークと呼ばれる新しいニューラルネットワーク構造を提案する。 2Dおよび3D設定におけるスムーズかつ非スムーズな関数近似のネットワーク機能を改善する。 その結果、特に非滑らか関数に対して、提案したパワーエンハンシング残差ネットワークの例外的精度を強調した。
  論文  参考訳（メタデータ） (2023-10-24T10:01:15Z)
• A Generalization of Continuous Relaxation in Structured Pruning [0.3277163122167434]
  トレンドは、パラメータが増加するより深い、より大きなニューラルネットワークが、より小さなニューラルネットワークよりも高い精度を達成することを示している。 ネットワーク拡張, プルーニング, サブネットワーク崩壊, 削除のためのアルゴリズムを用いて, 構造化プルーニングを一般化する。 結果のCNNは計算コストのかかるスパース行列演算を使わずにGPUハードウェア上で効率的に実行される。
  論文  参考訳（メタデータ） (2023-08-28T14:19:13Z)
• Bayesian optimization for sparse neural networks with trainable activation functions [0.0]
  パラメータを推定する必要があるトレーニング可能なアクティベーション関数を提案する。 モデル重みとアクティベーション関数パラメータの両方から学習データから自動的に推定する完全ベイズモデルを開発した。
  論文  参考訳（メタデータ） (2023-04-10T08:44:44Z)
• Energy-efficient Task Adaptation for NLP Edge Inference Leveraging Heterogeneous Memory Architectures [68.91874045918112]
  Adapter-ALBERTは、様々なタスクにわたる最大データ再利用のための効率的なモデル最適化である。 検証されたNLPエッジアクセラレータ上でシミュレーションを行うことにより、モデルを不均一なオンチップメモリアーキテクチャにマッピングする利点を実証する。
  論文  参考訳（メタデータ） (2023-03-25T14:40:59Z)
• Multi-agent Reinforcement Learning with Graph Q-Networks for Antenna Tuning [60.94661435297309]
  モバイルネットワークの規模は、手作業による介入や手作業による戦略を使ってアンテナパラメータの最適化を困難にしている。 本研究では,モバイルネットワーク構成をグローバルに最適化するマルチエージェント強化学習アルゴリズムを提案する。 シミュレーション環境におけるアンテナ傾き調整問題とジョイント傾き・電力制御問題に対するアルゴリズムの性能を実証的に示す。
  論文  参考訳（メタデータ） (2023-01-20T17:06:34Z)
• An Adaptive Device-Edge Co-Inference Framework Based on Soft Actor-Critic [72.35307086274912]
  高次元パラメータモデルと大規模数学的計算は、特にIoT(Internet of Things)デバイスにおける実行効率を制限する。 本稿では,ソフトポリシーの繰り返しによるエフェキシット点,エフェキシット点,エンフェキシット点を生成する離散的(SAC-d)のための新しい深層強化学習(DRL)-ソフトアクタ批判法を提案する。 レイテンシと精度を意識した報酬設計に基づいて、そのような計算は動的無線チャンネルや任意の処理のような複雑な環境によく適応でき、5G URLをサポートすることができる。
  論文  参考訳（メタデータ） (2022-01-09T09:31:50Z)
• AdaViT: Adaptive Tokens for Efficient Vision Transformer [91.88404546243113]
  本稿では,視覚変換器(ViT)の推論コストを,複雑さの異なる画像に対して適応的に調整する手法であるAdaViTを紹介する。 AdaViTは、推論が進むにつれてネットワーク内で処理されるビジョントランスフォーマーのトークン数を自動で削減することで、これを実現する。
  論文  参考訳（メタデータ） (2021-12-14T18:56:07Z)
• CondenseNet V2: Sparse Feature Reactivation for Deep Networks [87.38447745642479]
  高密度接続によるディープネットワークの機能再利用は、高い計算効率を達成する効果的な方法である。 スパース機能再活性化(SFR)と呼ばれる代替アプローチを提案し、再利用機能の有用性を積極的に高めることを目指しています。 提案手法は画像分類(ImageNet, CIFAR)とオブジェクト検出(MSCOCO)において,理論的効率と実用的速度の両面で有望な性能を達成できることを示す。
  論文  参考訳（メタデータ） (2021-04-09T14:12:43Z)
• AntiDote: Attention-based Dynamic Optimization for Neural Network Runtime Efficiency [42.00372941618975]
  本稿では,ニューラルネットワークの注意機構に基づく動的CNN最適化フレームワークを提案する。 我々の方法では、様々なテストネットワークで無視できる精度の低下で37.4%から54.5%のFLOPを削減できる。
  論文  参考訳（メタデータ） (2020-08-14T18:48:13Z)
• Highly Efficient Salient Object Detection with 100K Parameters [137.74898755102387]
  そこで我々は,段階内および複数ステージのマルチスケール機能を効率的に活用するために,フレキシブルな畳み込みモジュールであるOctoConv(gOctConv)を提案する。 我々は、非常に軽量なモデル、すなわちCSNetを構築し、一般的なオブジェクト検出ベンチマークで、約0.2%(100k)の大規模モデルで同等のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2020-03-12T07:00:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。