論文の概要: ActNAS : Generating Efficient YOLO Models using Activation NAS

• arxiv url: http://arxiv.org/abs/2410.10887v2
• Date: Fri, 15 Nov 2024 00:18:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-19 14:31:17.221983
• Title: ActNAS : Generating Efficient YOLO Models using Activation NAS
• Title（参考訳）: ActNAS : 活性化NASを用いた効率的なYOLOモデルの生成
• Authors: Sudhakar Sah, Ravish Kumar, Darshan C. Ganji, Ehsan Saboori,
• Abstract要約: 活性化関数はニューラルネットワークに非線形性を導入し、複雑なパターンを学習することを可能にする。 YOLOモデルにおける混合活性化関数の使用効果に関する包括的研究を行う。 本稿では,ニューラルアーキテクチャサーチ(NAS)を用いて,複合アクティベーション関数を最適化したYOLOモデルを設計する手法を提案する。
• 参考スコア（独自算出の注目度）: 0.38570000254272757
• License:
• Abstract: Activation functions introduce non-linearity into Neural Networks, enabling them to learn complex patterns. Different activation functions vary in speed and accuracy, ranging from faster but less accurate options like ReLU to slower but more accurate functions like SiLU or SELU. Typically, same activation function is used throughout an entire model architecture. In this paper, we conduct a comprehensive study on the effects of using mixed activation functions in YOLO-based models, evaluating their impact on latency, memory usage, and accuracy across CPU, NPU, and GPU edge devices. We also propose a novel approach that leverages Neural Architecture Search (NAS) to design YOLO models with optimized mixed activation functions.The best model generated through this method demonstrates a slight improvement in mean Average Precision (mAP) compared to baseline model (SiLU), while it is 22.28% faster and consumes 64.15% less memory on the reference NPU device.
• Abstract（参考訳）: 活性化関数はニューラルネットワークに非線形性を導入し、複雑なパターンを学習することを可能にする。 アクティベーション関数の速度と精度は、ReLUのような高速だが精度の低いオプションから、SiLUやSELUのようなより遅いがより正確な機能まで様々である。 通常、モデルアーキテクチャ全体を通して同じアクティベーション関数が使用される。 本稿では、YOLOモデルにおける混合活性化関数の使用がCPU、NPU、GPUエッジデバイス間でのレイテンシ、メモリ使用量、精度に与える影響を総合的に検討する。 また、ニューラルアーキテクチャサーチ(NAS)を利用して、最適化された混合アクティベーション関数を持つYOLOモデルを設計する新しいアプローチを提案する。この手法により生成された最良のモデルは、ベースラインモデル(SiLU)に比べて平均平均精度(mAP)がわずかに改善され、22.28%高速で、参照NPUデバイス上で64.15%少ないメモリを消費する。

関連論文リスト

• Activation function optimization method: Learnable series linear units (LSLUs) [12.089173508371246]
  LSLU (Learnable Series Linear Units) と呼ばれる直列学習可能なac-tivation関数を提案する。 この方法は、精度を向上しつつ、ディープラーニングネットワークを単純化する。 CIFAR10, CIFAR100および特定のタスクデータセット(例えばSilkworm)上でのLSLUの性能を評価する。
  論文  参考訳（メタデータ） (2024-08-28T11:12:27Z)
• LeRF: Learning Resampling Function for Adaptive and Efficient Image Interpolation [64.34935748707673]
  最近のディープニューラルネットワーク(DNN)は、学習データ前処理を導入することで、パフォーマンスを著しく向上させた。 本稿では,DNNが学習した構造的前提と局所的連続仮定の両方を活かした学習再サンプリング(Learning Resampling, LeRF)を提案する。 LeRFは空間的に異なる再サンプリング関数を入力画像ピクセルに割り当て、ニューラルネットワークを用いてこれらの再サンプリング関数の形状を予測する。
  論文  参考訳（メタデータ） (2024-07-13T16:09:45Z)
• LeYOLO, New Scalable and Efficient CNN Architecture for Object Detection [0.0]
  FLOPに基づく効率的な物体検出のためのニューラルネットワークアーキテクチャの設計選択に着目する。 そこで本研究では,YOLOモデルの有効性を高めるために,いくつかの最適化手法を提案する。 本稿では、オブジェクト検出のための新しいスケーリングパラダイムと、LeYOLOと呼ばれるYOLO中心のモデルに寄与する。
  論文  参考訳（メタデータ） (2024-06-20T12:08:24Z)
• YOLOv10: Real-Time End-to-End Object Detection [68.28699631793967]
  リアルタイムオブジェクト検出の分野では,YOLOが主流のパラダイムとして浮上している。 非最大抑圧(NMS)による処理後ハマーによるYOLOのエンドツーエンドデプロイメントへの依存。 YOLOの総合的効率-精度駆動型モデル設計戦略を紹介する。
  論文  参考訳（メタデータ） (2024-05-23T11:44:29Z)
• A-SDM: Accelerating Stable Diffusion through Redundancy Removal and Performance Optimization [54.113083217869516]
  本研究ではまず,ネットワークの計算冗長性について検討する。 次に、モデルの冗長性ブロックをプルークし、ネットワーク性能を維持する。 第3に,計算集約型注意部を高速化するグローバル地域対話型注意(GRI)を提案する。
  論文  参考訳（メタデータ） (2023-12-24T15:37:47Z)
• Transformers with Learnable Activation Functions [63.98696070245065]
  我々は、Rational Activation Function (RAF) を用いて、入力データに基づいてトレーニング中の最適なアクティベーション関数を学習する。 RAFは、学習されたアクティベーション関数に従って事前学習されたモデルを分析し、解釈するための新しい研究方向を開く。
  論文  参考訳（メタデータ） (2022-08-30T09:47:31Z)
• A lightweight and accurate YOLO-like network for small target detection in Aerial Imagery [94.78943497436492]
  小型ターゲット検出のためのシンプルで高速で効率的なネットワークであるYOLO-Sを提案する。 YOLO-SはDarknet20をベースとした小さな特徴抽出器と、バイパスと連結の両方を通じて接続をスキップする。 YOLO-Sはパラメータサイズが87%減少し、約半分のFLOPがYOLOv3となり、低消費電力の産業用アプリケーションに実用化された。
  論文  参考訳（メタデータ） (2022-04-05T16:29:49Z)
• Otimizacao de pesos e funcoes de ativacao de redes neurais aplicadas na previsao de series temporais [0.0]
  本稿では,ニューラルネットワークにおける自由パラメータ非対称活性化関数群の利用を提案する。 定義された活性化関数の族は普遍近似定理の要求を満たすことを示す。 ニューラルネットワークの処理ユニット間の接続の重み付けと自由パラメータを用いたこの活性化関数系のグローバル最適化手法を用いる。
  論文  参考訳（メタデータ） (2021-07-29T23:32:15Z)
• Learning specialized activation functions with the Piecewise Linear Unit [7.820667552233989]
  本稿では, 注意深く設計した定式化学習法を組み込んだ, 区分線形単位 (pwlu) と呼ばれる新しい活性化関数を提案する。 特殊なアクティベーション機能を学び、ImageNetやCOCOなどの大規模データセットでSOTA性能を達成できます。 PWLUは推論時に実装も簡単で効率も良く、現実世界のアプリケーションにも広く適用できる。
  論文  参考訳（メタデータ） (2021-04-08T11:29:11Z)
• GhostSR: Learning Ghost Features for Efficient Image Super-Resolution [49.393251361038025]
  畳み込みニューラルネットワーク(CNN)に基づく単一の画像スーパーリゾリューション(SISR)システムは、膨大な計算コストを必要としながら派手なパフォーマンスを実現します。 SISRモデルの冗長な特徴(すなわちゴースト特徴)を生成するためにシフト演算を用いることを提案する。 提案モジュールに埋め込まれた非コンパクトかつ軽量なSISRモデルの両方が,ベースラインと同等の性能を発揮することを示す。
  論文  参考訳（メタデータ） (2021-01-21T10:09:47Z)
• Effects of the Nonlinearity in Activation Functions on the Performance of Deep Learning Models [4.628405501302229]
  本稿では、ReLUやL-ReLUを異なるモデルアーキテクチャやデータドメインのアクティベーション関数として使用する際のモデル性能について検討する。 モデル内のトレーニング可能なパラメータの数が比較的少ない場合,L-ReLUの適用はほとんど有効であることがわかった。 さらに, 画像分類モデルはL-ReLUと完全に連結した層でよく機能することがわかった。
  論文  参考訳（メタデータ） (2020-10-14T18:48:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。