論文の概要: Building Efficient Lightweight CNN Models

• arxiv url: http://arxiv.org/abs/2501.15547v1
• Date: Sun, 26 Jan 2025 14:39:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-28 14:00:02.640684
• Title: Building Efficient Lightweight CNN Models
• Title（参考訳）: 軽量CNNモデルの構築
• Authors: Nathan Isong,
• Abstract要約: 畳み込みニューラルネットワーク(CNN)は、その堅牢な特徴抽出能力のため、画像分類タスクにおいて重要である。 本稿では,競争精度を維持しつつ軽量CNNを構築する手法を提案する。 提案モデルは手書き文字MNISTで99%,ファッションMNISTで89%,パラメータは14,862,モデルサイズは0.17MBであった。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: Convolutional Neural Networks (CNNs) are pivotal in image classification tasks due to their robust feature extraction capabilities. However, their high computational and memory requirements pose challenges for deployment in resource-constrained environments. This paper introduces a methodology to construct lightweight CNNs while maintaining competitive accuracy. The approach integrates two stages of training; dual-input-output model and transfer learning with progressive unfreezing. The dual-input-output model train on original and augmented datasets, enhancing robustness. Progressive unfreezing is applied to the unified model to optimize pre-learned features during fine-tuning, enabling faster convergence and improved model accuracy. The methodology was evaluated on three benchmark datasets; handwritten digit MNIST, fashion MNIST, and CIFAR-10. The proposed model achieved a state-of-the-art accuracy of 99% on the handwritten digit MNIST and 89% on fashion MNIST, with only 14,862 parameters and a model size of 0.17 MB. While performance on CIFAR-10 was comparatively lower (65% with less than 20,00 parameters), the results highlight the scalability of this method. The final model demonstrated fast inference times and low latency, making it suitable for real-time applications. Future directions include exploring advanced augmentation techniques, improving architectural scalability for complex datasets, and extending the methodology to tasks beyond classification. This research underscores the potential for creating efficient, scalable, and task-specific CNNs for diverse applications.
• Abstract（参考訳）: 畳み込みニューラルネットワーク(CNN)は、その堅牢な特徴抽出能力のため、画像分類タスクにおいて重要である。 しかし、その高い計算量とメモリ要求は、リソース制約のある環境での展開に困難をもたらす。 本稿では,競争精度を維持しつつ軽量CNNを構築する手法を提案する。 このアプローチは、デュアルインプット・アウトプットモデルと、プログレッシブ・アンフリーズによるトランスファーラーニングという、トレーニングの2つの段階を統合している。 デュアルインプット・アウトプットモデルは、オリジナルのデータセットと拡張データセットをトレーニングし、堅牢性を向上する。 統合モデルにプログレッシブ・アンフリーズを適用し、微調整中に事前学習した特徴を最適化し、より高速な収束とモデル精度の向上を可能にする。 この手法は、手書き桁MNIST、ファッションMNIST、CIFAR-10の3つのベンチマークデータセットで評価された。 提案モデルは手書き文字MNISTで99%,ファッションMNISTで89%,パラメータは14,862,モデルサイズは0.17MBであった。 CIFAR-10の性能は比較的低かったが(パラメータが2000未満の65%)、その結果はこの手法のスケーラビリティを強調した。 最終モデルは高速な推論時間と低レイテンシを示し、リアルタイムアプリケーションに適している。 今後の方向性には、高度な拡張テクニックの探求、複雑なデータセットのアーキテクチャスケーラビリティの向上、方法論を分類を超えたタスクに拡張することなどが含まれる。 この研究は、多様なアプリケーションのために効率的でスケーラブルでタスク固有のCNNを作成する可能性を強調している。

関連論文リスト

• SHA-CNN: Scalable Hierarchical Aware Convolutional Neural Network for Edge AI [6.168286187549952]
  本稿では,エッジAIアプリケーションのための階層型認識畳み込みニューラルネットワーク(SHA-CNN)モデルアーキテクチャを提案する。 提案した階層型CNNモデルは、計算効率と精度のバランスをとるために精巧に設計されている。 重要なイノベーションは、モデルの階層的な認識にあり、複数の抽象化レベルで関連する機能を識別し、優先順位付けすることができる。
  論文  参考訳（メタデータ） (2024-07-31T06:44:52Z)
• A-SDM: Accelerating Stable Diffusion through Redundancy Removal and Performance Optimization [54.113083217869516]
  本研究ではまず,ネットワークの計算冗長性について検討する。 次に、モデルの冗長性ブロックをプルークし、ネットワーク性能を維持する。 第3に,計算集約型注意部を高速化するグローバル地域対話型注意(GRI)を提案する。
  論文  参考訳（メタデータ） (2023-12-24T15:37:47Z)
• Reusing Convolutional Neural Network Models through Modularization and Composition [22.823870645316397]
  我々はCNNSplitterとGradSplitterという2つのモジュール化手法を提案する。 CNNSplitterは、トレーニングされた畳み込みニューラルネットワーク(CNN)モデルを、小さな再利用可能なモジュールとして$N$に分解する。 生成されたモジュールは、既存のCNNモデルにパッチを当てたり、コンポジションを通じて新しいCNNモデルを構築するために再利用することができる。
  論文  参考訳（メタデータ） (2023-11-08T03:18:49Z)
• Robust Learning with Progressive Data Expansion Against Spurious Correlation [65.83104529677234]
  本研究では,2層非線形畳み込みニューラルネットワークの学習過程について検討した。 分析の結果,不均衡なデータ群と学習容易なスプリアス特徴が学習過程におけるスプリアス特徴の優位性に繋がる可能性が示唆された。 本稿では,PDEと呼ばれる新たなトレーニングアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-06-08T05:44:06Z)
• Incremental Online Learning Algorithms Comparison for Gesture and Visual Smart Sensors [68.8204255655161]
  本稿では,加速度センサデータに基づくジェスチャー認識と画像分類の2つの実例として,最先端の4つのアルゴリズムを比較した。 以上の結果から,これらのシステムの信頼性と小型メモリMCUへのデプロイの可能性が確認された。
  論文  参考訳（メタデータ） (2022-09-01T17:05:20Z)
• Training Efficient CNNS: Tweaking the Nuts and Bolts of Neural Networks for Lighter, Faster and Robust Models [0.0]
  トレーニングパラメータ数を逐次減少させることで,効率的な深層畳み込みネットワークを段階的に構築する方法を実証する。 我々は、MNISTのデータに対して、わずか1500のパラメータで99.2%のSOTA精度と、CIFAR-10データセットで140K以上のパラメータで86.01%の精度を達成した。
  論文  参考訳（メタデータ） (2022-05-23T13:51:06Z)
• Real-time Human Detection Model for Edge Devices [0.0]
  畳み込みニューラルネットワーク(CNN)は、検出と分類タスクにおいて、従来の特徴抽出と機械学習モデルを置き換える。 最近、リアルタイムタスクのために軽量CNNモデルが導入されている。 本稿では,Raspberry Piのような限られたエッジデバイスに適合するCNNベースの軽量モデルを提案する。
  論文  参考訳（メタデータ） (2021-11-20T18:42:17Z)
• Accelerating Multi-Objective Neural Architecture Search by Random-Weight Evaluation [24.44521525130034]
  我々は,CNNの品質を定量化するために,RWE(Random-Weight Evaluation)と呼ばれる新しい性能評価指標を導入する。 RWEは最後の層のみをトレーニングし、残りの層をランダムに重み付けする。 提案手法は,2つの実世界の探索空間における最先端性能を持つ効率的なモデルの集合を求める。
  論文  参考訳（メタデータ） (2021-10-08T06:35:20Z)
• Effective Model Sparsification by Scheduled Grow-and-Prune Methods [73.03533268740605]
  本稿では,高密度モデルの事前学習を伴わない新規なGrow-and-prune(GaP)手法を提案する。 実験により、そのようなモデルは様々なタスクにおいて80%の間隔で高度に最適化された高密度モデルの品質に適合または打ち勝つことができることが示された。
  論文  参考訳（メタデータ） (2021-06-18T01:03:13Z)
• ANNETTE: Accurate Neural Network Execution Time Estimation with Stacked Models [56.21470608621633]
  本稿では,アーキテクチャ検索を対象ハードウェアから切り離すための時間推定フレームワークを提案する。 提案手法は,マイクロカーネルと多層ベンチマークからモデルの集合を抽出し,マッピングとネットワーク実行時間推定のためのスタックモデルを生成する。 生成した混合モデルの推定精度と忠実度, 統計モデルとルーフラインモデル, 評価のための洗練されたルーフラインモデルを比較した。
  論文  参考訳（メタデータ） (2021-05-07T11:39:05Z)
• Modeling Token-level Uncertainty to Learn Unknown Concepts in SLU via Calibrated Dirichlet Prior RNN [98.4713940310056]
  現代パーソナルアシスタントにおける音声言語理解(SLU)の主な課題は、発話から意味概念を抽出することである。 最近の研究では、疑問と回答を収集し、未知のデータを学習し、質問すべきである。 疑わしい監督なしにシーケンスの不確かさをモデル化するために、ソフトマックスベースのスロット充填ニューラルネットワークアーキテクチャを組み込んだ。
  論文  参考訳（メタデータ） (2020-10-16T02:12:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。