論文の概要: Differentiable Network Adaption with Elastic Search Space

• arxiv url: http://arxiv.org/abs/2103.16350v1
• Date: Tue, 30 Mar 2021 13:49:10 GMT
• ステータス: 処理完了
• システム内更新日: 2021-03-31 18:49:11.676142
• Title: Differentiable Network Adaption with Elastic Search Space
• Title（参考訳）: 弾性探索空間を用いた微分可能ネットワーク適応
• Authors: Shaopeng Guo, Yujie Wang, Kun Yuan, Quanquan Li
• Abstract要約: 微分ネットワーク適応(DNA)という新しいネットワーク適応法を提案する。 DNAは、幅と深さを異なる方法で調整することで、既存のネットワークを特定の計算予算に適応させることができる。 dna は efficientnet や mobilenet-v3 のような最先端のニューラルネットワーク探索法によって得られた高精度ネットワークの性能をさらに向上させることができる。
• 参考スコア（独自算出の注目度）: 21.136609750272555
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In this paper we propose a novel network adaption method called Differentiable Network Adaption (DNA), which can adapt an existing network to a specific computation budget by adjusting the width and depth in a differentiable manner. The gradient-based optimization allows DNA to achieve an automatic optimization of width and depth rather than previous heuristic methods that heavily rely on human priors. Moreover, we propose a new elastic search space that can flexibly condense or expand during the optimization process, allowing the network optimization of width and depth in a bi-direction manner. By DNA, we successfully achieve network architecture optimization by condensing and expanding in both width and depth dimensions. Extensive experiments on ImageNet demonstrate that DNA can adapt the existing network to meet different targeted computation requirements with better performance than previous methods. What's more, DNA can further improve the performance of high-accuracy networks obtained by state-of-the-art neural architecture search methods such as EfficientNet and MobileNet-v3.
• Abstract（参考訳）: 本稿では,ネットワークの幅と深さを異なる方法で調整することで,既存のネットワークを特定の計算予算に適応させることができる,微分可能ネットワーク適応(DNA)と呼ばれる新しいネットワーク適応手法を提案する。 勾配に基づく最適化により、dnaは以前のヒューリスティックな方法よりも、幅と深さの自動最適化を実現することができる。 さらに,最適化プロセス中に柔軟に凝縮あるいは拡張できる新しい弾性探索空間を提案し,双方向に幅と深さのネットワーク最適化を可能にした。 DNAにより、幅と深さの両次元を凝縮して拡張することで、ネットワークアーキテクチャの最適化に成功した。 ImageNetの大規模な実験では、DNAが既存のネットワークに適応して、異なる目的の計算要求を満たすことができ、従来の方法よりも優れた性能を発揮できることを示した。 さらにdnaは、efficiantnetやmobilenet-v3といった最先端のニューラルネットワーク検索手法によって得られた高精度ネットワークのパフォーマンスをさらに向上させることができる。

関連論文リスト

• SySMOL: Co-designing Algorithms and Hardware for Neural Networks with Heterogeneous Precisions [20.241671088121144]
  最近の量子化技術は、非常に微細な粒度で不均一な精度を実現している。 これらのネットワークは、個々の変数の精度設定をデコードし、変数を調整し、きめ細かい混合精度計算機能を提供するために、追加のハードウェアを必要とする。 ネットワークを細粒度の不均一な精度で効率的に実行するためのエンド・ツー・エンド協調設計手法を提案する。
  論文  参考訳（メタデータ） (2023-11-23T17:20:09Z)
• Large-scale global optimization of ultra-high dimensional non-convex landscapes based on generative neural networks [0.0]
  超高次元最適化を行うアルゴリズムを提案する。 ディープ・ジェネレーティブ・ネットワークをベースとしています 提案手法は, 最先端のアルゴリズムと比較して, 機能評価が少なく, 性能がよいことを示す。
  論文  参考訳（メタデータ） (2023-07-09T00:05:59Z)
• Multi-agent Reinforcement Learning with Graph Q-Networks for Antenna Tuning [60.94661435297309]
  モバイルネットワークの規模は、手作業による介入や手作業による戦略を使ってアンテナパラメータの最適化を困難にしている。 本研究では,モバイルネットワーク構成をグローバルに最適化するマルチエージェント強化学習アルゴリズムを提案する。 シミュレーション環境におけるアンテナ傾き調整問題とジョイント傾き・電力制御問題に対するアルゴリズムの性能を実証的に示す。
  論文  参考訳（メタデータ） (2023-01-20T17:06:34Z)
• A Novel Structured Natural Gradient Descent for Deep Learning [3.0686953242470794]
  我々は、ディープニューラルネットワークの構造を再構築し、従来の勾配降下(GD)を用いて新しいネットワークを最適化する。 実験結果から,提案手法はディープネットワークモデルの収束を加速し,GDよりも優れた性能が得られることが示された。
  論文  参考訳（メタデータ） (2021-09-21T11:12:10Z)
• Data-Driven Random Access Optimization in Multi-Cell IoT Networks with NOMA [78.60275748518589]
  非直交多重アクセス(NOMA)は、5Gネットワーク以降で大規模なマシンタイプ通信(mMTC)を可能にする重要な技術です。 本稿では,高密度空間分散マルチセル無線IoTネットワークにおけるランダムアクセス効率向上のために,NOMAを適用した。 ユーザ期待容量の幾何学的平均を最大化するために,各IoTデバイスの伝送確率を調整したランダムチャネルアクセス管理の新たな定式化を提案する。
  論文  参考訳（メタデータ） (2021-01-02T15:21:08Z)
• Joint Multi-Dimension Pruning via Numerical Gradient Update [120.59697866489668]
  本稿では,空間,深さ,チャネルの3つの重要な側面において,ネットワークを同時に切断する方法であるジョイント・マルチディメンジョン・プルーニング(ジョイント・プルーニング)を提案する。 本手法は,1つのエンドツーエンドトレーニングにおいて3次元にわたって協調的に最適化され,従来よりも効率がよいことを示す。
  論文  参考訳（メタデータ） (2020-05-18T17:57:09Z)
• Hyperparameter Optimization in Binary Communication Networks for Neuromorphic Deployment [4.280642750854163]
  ニューロモルフィック展開のためのニューラルネットワークのトレーニングは簡単ではない。 本稿では,ニューロモルフィックハードウェアに展開可能なバイナリ通信ネットワークをトレーニングするためのアルゴリズムのハイパーパラメータを最適化するためのベイズ的手法を提案する。 このアルゴリズムでは,データセット毎のハイパーパラメータを最適化することにより,データセット毎の前の最先端よりも精度が向上できることが示されている。
  論文  参考訳（メタデータ） (2020-04-21T01:15:45Z)
• Deep Adaptive Inference Networks for Single Image Super-Resolution [72.7304455761067]
  シングルイメージ超解像(SISR)は、ディープ畳み込みニューラルネットワーク(CNN)の展開により、近年大きく進歩している。 本稿では,深部SISR(AdaDSR)の適応型推論ネットワークを活用することで,この問題に対処する。 我々のAdaDSRは、SISRモデルをバックボーンとし、画像の特徴とリソース制約を入力として取り、ローカルネットワーク深さのマップを予測する軽量アダプタモジュールを備える。
  論文  参考訳（メタデータ） (2020-04-08T10:08:20Z)
• Dynamic Hierarchical Mimicking Towards Consistent Optimization Objectives [73.15276998621582]
  一般化能力を高めたCNN訓練を推進するための汎用的特徴学習機構を提案する。 DSNに部分的にインスパイアされた私たちは、ニューラルネットワークの中間層から微妙に設計されたサイドブランチをフォークしました。 カテゴリ認識タスクとインスタンス認識タスクの両方の実験により,提案手法の大幅な改善が示された。
  論文  参考訳（メタデータ） (2020-03-24T09:56:13Z)
• Large Batch Training Does Not Need Warmup [111.07680619360528]
  大きなバッチサイズを使用してディープニューラルネットワークをトレーニングすることは、有望な結果を示し、多くの現実世界のアプリケーションに利益をもたらしている。 本稿では,大規模バッチ学習のための全層適応レートスケーリング(CLARS)アルゴリズムを提案する。 分析に基づいて,このギャップを埋め,3つの一般的な大規模バッチトレーニング手法の理論的洞察を提示する。
  論文  参考訳（メタデータ） (2020-02-04T23:03:12Z)
• Differentiable Sparsification for Deep Neural Networks [0.0]
  本稿では,ディープニューラルネットワークのための完全微分可能なスペーシフィケーション手法を提案する。 提案手法は,ネットワークのスパース化構造と重み付けの両方をエンドツーエンドに学習することができる。 私たちの知る限りでは、これが最初の完全に差別化可能なスパーシフィケーション手法である。
  論文  参考訳（メタデータ） (2019-10-08T03:57:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。