論文の概要: Dense Optimizer : An Information Entropy-Guided Structural Search Method for Dense-like Neural Network Design

• arxiv url: http://arxiv.org/abs/2410.07499v1
• Date: Thu, 10 Oct 2024 00:23:34 GMT
• ステータス: 処理完了
• システム内更新日: 2024-10-31 16:46:37.162806
• Title: Dense Optimizer : An Information Entropy-Guided Structural Search Method for Dense-like Neural Network Design
• Title（参考訳）: Dense Optimizer : Dense-like Neural Network Designのための情報エントロピー誘導構造探索法
• Authors: Liu Tianyuan, Hou Libin, Wang Linyuan, Song Xiyu, Yan Bin,
• Abstract要約: 本稿では,高性能高密度ネットワークを自動検索するDenseNetというアーキテクチャ検索手法を提案する。 DenseNetはCIFAR-100で84.3%の精度を達成しており、これはオリジナルのものよりも5.97%高い。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Dense Convolutional Network has been continuously refined to adopt a highly efficient and compact architecture, owing to its lightweight and efficient structure. However, the current Dense-like architectures are mainly designed manually, it becomes increasingly difficult to adjust the channels and reuse level based on past experience. As such, we propose an architecture search method called Dense Optimizer that can search high-performance dense-like network automatically. In Dense Optimizer, we view the dense network as a hierarchical information system, maximize the network's information entropy while constraining the distribution of the entropy across each stage via a power law, thereby constructing an optimization problem. We also propose a branch-and-bound optimization algorithm, tightly integrates power-law principle with search space scaling to solve the optimization problem efficiently. The superiority of Dense Optimizer has been validated on different computer vision benchmark datasets. Specifically, Dense Optimizer completes high-quality search but only costs 4 hours with one CPU. Our searched model DenseNet-OPT achieved a top 1 accuracy of 84.3% on CIFAR-100, which is 5.97% higher than the original one.
• Abstract（参考訳）: Dense Convolutional Networkは、その軽量で効率的な構造のため、高度に効率的でコンパクトなアーキテクチャを採用するように継続的に改良されている。 しかし、現在のDenseのようなアーキテクチャは主に手動で設計されており、過去の経験に基づいてチャネルや再利用レベルを調整することはますます困難になっている。 そこで本稿では,Dense Optimizerというアーキテクチャ検索手法を提案する。 Dense Optimizerでは,高密度ネットワークを階層的な情報システムとみなし,各段間のエントロピー分布を制約しながらネットワークの情報エントロピーを最大化し,最適化問題を構築する。 また,この最適化問題を効率的に解くために,探索空間のスケーリングとパワーロー原理を密に統合した分枝・分枝最適化アルゴリズムを提案する。 Dense Optimizerの優位性は、異なるコンピュータビジョンベンチマークデータセットで検証されている。 具体的には、Dense Optimizerは高品質な検索を完了するが、1CPUで4時間しかかからない。 我々のサーチモデルであるDenseNet-OPTは、CIFAR-100で84.3%の精度を達成しました。

関連論文リスト

• Efficient Non-Parametric Optimizer Search for Diverse Tasks [93.64739408827604]
  興味のあるタスクを直接検索できる,スケーラブルで汎用的なフレームワークを初めて提示する。 基礎となる数学表現の自然木構造に着想を得て、空間を超木に再配置する。 我々は,モンテカルロ法を木探索に適用し,レジェクションサンプリングと等価形状検出を備える。
  論文  参考訳（メタデータ） (2022-09-27T17:51:31Z)
• Pruning-as-Search: Efficient Neural Architecture Search via Channel Pruning and Structural Reparameterization [50.50023451369742]
  プルーニング・アズ・サーチ(Pruning-as-Search、PaS)は、必要なサブネットワークを自動的に効率的に検索するエンドツーエンドのプルーニング手法である。 提案したアーキテクチャは,ImageNet-1000分類タスクにおいて,1.0%$ Top-1精度で先行技術より優れていた。
  論文  参考訳（メタデータ） (2022-06-02T17:58:54Z)
• CONetV2: Efficient Auto-Channel Size Optimization for CNNs [35.951376988552695]
  本研究は,チャネルサイズのマイクロサーチ空間を調べることにより,計算制約のある環境において効率的な手法を提案する。 チャネルサイズ最適化に際し、ネットワークの異なる接続層内の依存関係を抽出する自動アルゴリズムを設計する。 また、テスト精度と高い相関性を持ち、個々のネットワーク層を解析できる新しいメトリクスも導入する。
  論文  参考訳（メタデータ） (2021-10-13T16:17:19Z)
• iDARTS: Differentiable Architecture Search with Stochastic Implicit Gradients [75.41173109807735]
  微分可能なArchiTecture Search(DARTS)は先日,ニューラルアーキテクチャサーチ(NAS)の主流になった。 暗黙の関数定理に基づいてDARTSの過次計算に取り組む。 提案手法であるiDARTSのアーキテクチャ最適化は,定常点に収束することが期待される。
  論文  参考訳（メタデータ） (2021-06-21T00:44:11Z)
• Analytical Characterization and Design Space Exploration for Optimization of CNNs [10.15406080228806]
  ループタイルやループ置換を含むループレベルの最適化は、データ移動を減らすための基本的な変換です。 本稿では,マルチコアCPU上でのCNNの最適ループレベル最適化構成を求めるための解析モデルを提案する。
  論文  参考訳（メタデータ） (2021-01-24T21:36:52Z)
• Trilevel Neural Architecture Search for Efficient Single Image Super-Resolution [127.92235484598811]
  本稿では,高効率単一画像超解像(SR)のための3レベルニューラルネットワーク探索法を提案する。 離散探索空間をモデル化するために、離散探索空間に新たな連続緩和を適用し、ネットワークパス、セル操作、カーネル幅の階層的混合を構築する。 階層型スーパーネット方式による最適化を行うため,効率的な探索アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-01-17T12:19:49Z)
• ISTA-NAS: Efficient and Consistent Neural Architecture Search by Sparse Coding [86.40042104698792]
  スパース符号問題としてニューラルアーキテクチャ探索を定式化する。 実験では、CIFAR-10の2段階法では、検索にわずか0.05GPUしか必要としない。 本手法は,CIFAR-10とImageNetの両方において,評価時間のみのコストで最先端のパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2020-10-13T04:34:24Z)
• Cyclic Differentiable Architecture Search [99.12381460261841]
  微分可能なArchiTecture Search(DARTS)は、ニューラルアーキテクチャサーチにおいて大きな注目を集めている。 我々はCDARTSと呼ばれる新しい共同目標と新しい周期微分可能なArchiTecture Searchフレームワークを提案する。 DARTS検索の分野では、CIFAR10で97.52%、ImageNetで76.3%、トップ1で76.3%の精度を達成した。
  論文  参考訳（メタデータ） (2020-06-18T17:55:19Z)
• AlphaGAN: Fully Differentiable Architecture Search for Generative Adversarial Networks [15.740179244963116]
  GAN (Generative Adversarial Networks) はミニマックスゲーム問題として定式化され、ジェネレータは差別者に対する対戦学習によって実際のデータ分布にアプローチしようとする。 本研究は,ネットワークアーキテクチャの観点からのモデル学習を促進することを目的として,GANに自動アーキテクチャ探索の最近の進歩を取り入れた。 我々は,αGANと呼ばれる,生成的敵ネットワークのための,完全に差別化可能な検索フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-06-16T13:27:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。