論文の概要: Scaling Deep Networks with the Mesh Adaptive Direct Search algorithm

• arxiv url: http://arxiv.org/abs/2301.06641v1
• Date: Tue, 17 Jan 2023 00:08:03 GMT
• ステータス: 処理完了
• システム内更新日: 2023-01-18 15:15:26.805119
• Title: Scaling Deep Networks with the Mesh Adaptive Direct Search algorithm
• Title（参考訳）: メッシュ適応型直接探索アルゴリズムによるディープネットワークのスケーリング
• Authors: Dounia Lakhmiri, Mahdi Zolnouri, Vahid Partovi Nia, Christophe Tribes, S\'ebastien Le Digabel
• Abstract要約: 我々は,emphMesh Adaptive Direct Search(MADS)アルゴリズムを用いて,画像分類のための軽深度ニューラルネットワークの設計を自動化する。 本試験は, 競争圧縮率と試行回数の減少を示す。
• 参考スコア（独自算出の注目度）: 3.3073775218038883
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Deep neural networks are getting larger. Their implementation on edge and IoT devices becomes more challenging and moved the community to design lighter versions with similar performance. Standard automatic design tools such as \emph{reinforcement learning} and \emph{evolutionary computing} fundamentally rely on cheap evaluations of an objective function. In the neural network design context, this objective is the accuracy after training, which is expensive and time-consuming to evaluate. We automate the design of a light deep neural network for image classification using the \emph{Mesh Adaptive Direct Search}(MADS) algorithm, a mature derivative-free optimization method that effectively accounts for the expensive blackbox nature of the objective function to explore the design space, even in the presence of constraints.Our tests show competitive compression rates with reduced numbers of trials.
• Abstract（参考訳）: ディープニューラルネットワークはますます大きくなっている。 edgeとiotデバイスでの彼らの実装はますます難しくなり、コミュニティは同様のパフォーマンスでより軽量なバージョンを設計するようになった。 emph{reinforcement learning} や \emph{evolutionary computing} のような標準的な自動設計ツールは、客観的関数の安価な評価に依存している。 ニューラルネットワーク設計の文脈では、この目的はトレーニング後の精度であり、コストが高く、評価に時間がかかる。 我々は,制約が存在する場合でも,設計空間を探索する目的関数の高価なブラックボックスの性質を効果的に説明できる,成熟した微分自由度最適化法である<emph{Mesh Adaptive Direct Search(MADS)アルゴリズムを用いて,画像分類のための軽量ディープニューラルネットワークの設計を自動化する。

関連論文リスト

• Task-Oriented Real-time Visual Inference for IoVT Systems: A Co-design Framework of Neural Networks and Edge Deployment [61.20689382879937]
  タスク指向エッジコンピューティングは、データ分析をエッジにシフトすることで、この問題に対処する。 既存の手法は、高いモデル性能と低いリソース消費のバランスをとるのに苦労している。 ニューラルネットワークアーキテクチャを最適化する新しい協調設計フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-10-29T19:02:54Z)
• Growing Tiny Networks: Spotting Expressivity Bottlenecks and Fixing Them Optimally [2.645067871482715]
  機械学習タスクでは、ある機能空間内で最適な関数を探索する。 この方法で、トレーニング中の機能の進化を、選択したアーキテクチャで表現可能な領域内に配置させます。 表現力のボトルネックによる望ましいアーキテクチャ変更に関する情報は, 後処理の % から抽出可能であることを示す。
  論文  参考訳（メタデータ） (2024-05-30T08:23:56Z)
• Auto-Train-Once: Controller Network Guided Automatic Network Pruning from Scratch [72.26822499434446]
  オートトレインオース (Auto-Train-Once, ATO) は、DNNの計算コストと記憶コストを自動的に削減するために設計された、革新的なネットワークプルーニングアルゴリズムである。 総合的な収束解析と広範な実験を行い,本手法が様々なモデルアーキテクチャにおける最先端性能を実現することを示す。
  論文  参考訳（メタデータ） (2024-03-21T02:33:37Z)
• Accelerating Deep Neural Networks via Semi-Structured Activation Sparsity [0.0]
  ネットワークの機能マップにスパシティを爆発させることは、推論のレイテンシを低減する方法の1つです。 そこで本研究では,セミ構造化されたアクティベーション空間を小さなランタイム修正によって活用する手法を提案する。 当社のアプローチでは,ImageNetデータセット上のResNet18モデルに対して,最小精度が1.1%の1.25倍の速度向上を実現している。
  論文  参考訳（メタデータ） (2023-09-12T22:28:53Z)
• Towards Theoretically Inspired Neural Initialization Optimization [66.04735385415427]
  我々は,ニューラルネットワークの初期状態を評価するための理論的知見を備えた,GradCosineという微分可能な量を提案する。 標準制約下でGradCosineを最大化することにより、ネットワークのトレーニングとテストの両方の性能を向上させることができることを示す。 サンプル分析から実際のバッチ設定に一般化されたNIOは、無視可能なコストで、より優れた初期化を自動で探すことができる。
  論文  参考訳（メタデータ） (2022-10-12T06:49:16Z)
• An Adaptive Device-Edge Co-Inference Framework Based on Soft Actor-Critic [72.35307086274912]
  高次元パラメータモデルと大規模数学的計算は、特にIoT(Internet of Things)デバイスにおける実行効率を制限する。 本稿では,ソフトポリシーの繰り返しによるエフェキシット点,エフェキシット点,エンフェキシット点を生成する離散的(SAC-d)のための新しい深層強化学習(DRL)-ソフトアクタ批判法を提案する。 レイテンシと精度を意識した報酬設計に基づいて、そのような計算は動的無線チャンネルや任意の処理のような複雑な環境によく適応でき、5G URLをサポートすることができる。
  論文  参考訳（メタデータ） (2022-01-09T09:31:50Z)
• Joint inference and input optimization in equilibrium networks [68.63726855991052]
  ディープ均衡モデル(Deep equilibrium model)は、従来のネットワークの深さを予測し、代わりに単一の非線形層の固定点を見つけることによってネットワークの出力を計算するモデルのクラスである。 この2つの設定の間には自然なシナジーがあることが示されています。 この戦略は、生成モデルのトレーニングや、潜時符号の最適化、デノベートやインペインティングといった逆問題に対するトレーニングモデル、対逆トレーニング、勾配に基づくメタラーニングなど、様々なタスクにおいて実証される。
  論文  参考訳（メタデータ） (2021-11-25T19:59:33Z)
• Neural Architecture Search for Efficient Uncalibrated Deep Photometric Stereo [105.05232615226602]
  差別化可能なニューラルアーキテクチャサーチ(NAS)戦略を利用して、非校正型PSアーキテクチャを自動的に見つける。 DiLiGenTデータセットの実験では、自動検索されたニューラルネットワークのパフォーマンスが、最先端の未校正PSメソッドと好適に比較されている。
  論文  参考訳（メタデータ） (2021-10-11T21:22:17Z)
• CONet: Channel Optimization for Convolutional Neural Networks [33.58529066005248]
  畳み込みニューラルネットワーク(CNN)におけるチャネルサイズ最適化の検討 ネットワーク層をまたいだCNNのチャネルサイズを自動的に最適化する,効率的な動的スケーリングアルゴリズムであるConetを導入します。 CIFAR10/100およびImageNetデータセット上で実験を行い、ConetがResNet、DARTS、DARTS+空間で探索された効率的で正確なアーキテクチャを見つけることができることを示す。
  論文  参考訳（メタデータ） (2021-08-15T21:48:25Z)
• AutoPruning for Deep Neural Network with Dynamic Channel Masking [28.018077874687343]
  深層ニューラルネットワークのための学習に基づくオートプルーニングアルゴリズムを提案する。 まず、各層に対する重みと最良チャネルを目的とする2つの目的の問題を定式化する。 次に、最適なチャネル数と重みを同時に導出するために、別の最適化手法を提案する。
  論文  参考訳（メタデータ） (2020-10-22T20:12:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。