Fugu-MT 論文翻訳(概要): DNAD: Differentiable Neural Architecture Distillation

論文の概要: DNAD: Differentiable Neural Architecture Distillation

arxiv url: http://arxiv.org/abs/2504.20080v1
Date: Fri, 25 Apr 2025 08:49:31 GMT
ステータス: 翻訳完了
システム内更新日: 2025-05-02 19:15:54.568806
Title: DNAD: Differentiable Neural Architecture Distillation
Title（参考訳）: DNAD: 分化可能なニューラルアーキテクチャ蒸留
Authors: Xuan Rao, Bo Zhao, Derong Liu,
Abstract要約: 識別可能なニューラルアーキテクチャ蒸留(DNAD)アルゴリズムは、2つのコアに基づいて開発されている。 DNADは6.0Mパラメータと598M FLOPのモデルで、ImageNet分類でトップ-1エラー率23.7%を達成した。微分可能なアーキテクチャ探索(DARTS)の枠組みに基づくSNPSアルゴリズムの開発
参考スコア（独自算出の注目度）: 6.026956571669411
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: To meet the demand for designing efficient neural networks with appropriate trade-offs between model performance (e.g., classification accuracy) and computational complexity, the differentiable neural architecture distillation (DNAD) algorithm is developed based on two cores, namely search by deleting and search by imitating. Primarily, to derive neural architectures in a space where cells of the same type no longer share the same topology, the super-network progressive shrinking (SNPS) algorithm is developed based on the framework of differentiable architecture search (DARTS), i.e., search by deleting. Unlike conventional DARTS-based approaches which yield neural architectures with simple structures and derive only one architecture during the search procedure, SNPS is able to derive a Pareto-optimal set of architectures with flexible structures by forcing the dynamic super-network shrink from a dense structure to a sparse one progressively. Furthermore, since knowledge distillation (KD) has shown great effectiveness to train a compact network with the assistance of an over-parameterized model, we integrate SNPS with KD to formulate the DNAD algorithm, i.e., search by imitating. By minimizing behavioral differences between the super-network and teacher network, the over-fitting of one-level DARTS is avoided and well-performed neural architectures are derived. Experiments on CIFAR-10 and ImageNet classification tasks demonstrate that both SNPS and DNAD are able to derive a set of architectures which achieve similar or lower error rates with fewer parameters and FLOPs. Particularly, DNAD achieves the top-1 error rate of 23.7% on ImageNet classification with a model of 6.0M parameters and 598M FLOPs, which outperforms most DARTS-based methods.
Abstract（参考訳）: モデル性能(例えば、分類精度)と計算複雑性の間の適切なトレードオフを伴って効率的なニューラルネットワークを設計する需要を満たすため、識別可能なニューラルネットワーク蒸留(DNAD)アルゴリズムを2つのコアに基づいて開発する。主に、同じタイプの細胞がもはや同じトポロジを共有しない空間における神経アーキテクチャを導出するために、超ネットワークプログレッシブスライディング(SNPS)アルゴリズムは、微分可能なアーキテクチャサーチ(DARTS)のフレームワーク、すなわち削除による探索に基づいて開発されている。単純な構造を持つニューラルアーキテクチャを導き出す従来のDARTSベースのアプローチとは異なり、SNPSは、動的スーパーネットワークを密度の高い構造からスパース構造へと徐々に縮小させることで、柔軟な構造を持つパレート最適化アーキテクチャの集合を導出することができる。さらに、知識蒸留(KD)は、過パラメータ化モデルの助けを借りて、コンパクトネットワークのトレーニングに極めて有効であることから、SNPSとKDを統合して、DNADアルゴリズム、すなわち模倣による探索を定式化する。スーパーネットワークと教師ネットワークの行動差を最小化することにより、ワンレベルDARTSの過度な適合を回避し、良好な性能のニューラルアーキテクチャを導出する。 CIFAR-10 と ImageNet 分類タスクの実験では、SNPS と DNAD の両方が、パラメータや FLOP を少なくして、同様のまたは低いエラー率を達成する一連のアーキテクチャを導出できることが示されている。特にDNADは、6.0Mパラメータと598M FLOPsのモデルでImageNet分類の23.7%でトップ-1エラー率を達成した。

関連論文リスト

Enhancing Convolutional Neural Networks with Higher-Order Numerical Difference Methods [6.26650196870495]
畳み込みニューラルネットワーク(CNN)は、人間が多くの現実世界の問題を解決するのを助けることができる。本稿では,CNNの性能向上を目的とした線形多段階法に基づく重ね合わせ手法を提案する。
論文参考訳（メタデータ） (2024-09-08T05:13:58Z)
MGAS: Multi-Granularity Architecture Search for Trade-Off Between Model Effectiveness and Efficiency [10.641875933652647]
我々は,多粒度アーキテクチャサーチ(MGAS)を導入し,効率的かつ効率的なニューラルネットワークを探索する。各粒度レベル固有の離散化関数を学習し、進化したアーキテクチャに従って単位残率を適応的に決定する。 CIFAR-10、CIFAR-100、ImageNetの大規模な実験により、MGASはモデル性能とモデルサイズとのトレードオフを改善するために、他の最先端の手法よりも優れていることが示された。
論文参考訳（メタデータ） (2023-10-23T16:32:18Z)
HKNAS: Classification of Hyperspectral Imagery Based on Hyper Kernel Neural Architecture Search [104.45426861115972]
設計したハイパーカーネルを利用して,構造パラメータを直接生成することを提案する。我々は1次元または3次元の畳み込みを伴う画素レベルの分類と画像レベルの分類を別々に行う3種類のネットワークを得る。 6つの公開データセットに関する一連の実験は、提案手法が最先端の結果を得ることを示した。
論文参考訳（メタデータ） (2023-04-23T17:27:40Z)
Pushing the Efficiency Limit Using Structured Sparse Convolutions [82.31130122200578]
本稿では,画像の固有構造を利用して畳み込みフィルタのパラメータを削減する構造的スパース畳み込み(SSC)を提案する。我々は、SSCが効率的なアーキテクチャにおける一般的なレイヤ(奥行き、グループ回り、ポイント回りの畳み込み)の一般化であることを示す。 SSCに基づくアーキテクチャは、CIFAR-10、CIFAR-100、Tiny-ImageNet、ImageNet分類ベンチマークのベースラインと比較して、最先端のパフォーマンスを実現している。
論文参考訳（メタデータ） (2022-10-23T18:37:22Z)
D-DARTS: Distributed Differentiable Architecture Search [75.12821786565318]
微分可能なArchiTecture Search(DARTS)は、最も流行しているニューラルネットワークサーチ(NAS)の1つである。セルレベルで複数のニューラルネットワークをネストすることでこの問題に対処する新しいソリューションD-DARTSを提案する。
論文参考訳（メタデータ） (2021-08-20T09:07:01Z)
iDARTS: Differentiable Architecture Search with Stochastic Implicit Gradients [75.41173109807735]
微分可能なArchiTecture Search(DARTS)は先日,ニューラルアーキテクチャサーチ(NAS)の主流になった。暗黙の関数定理に基づいてDARTSの過次計算に取り組む。提案手法であるiDARTSのアーキテクチャ最適化は,定常点に収束することが期待される。
論文参考訳（メタデータ） (2021-06-21T00:44:11Z)
Differentiable Neural Architecture Search with Morphism-based Transformable Backbone Architectures [35.652234989200956]
本研究の目的は,ワンショットトレーニングやオンライントレーニングにアーキテクチャ検索プロセスをより適応させることである。ネットワークアソシエーションに基づいた、微分可能なニューラルアーキテクチャ探索のための成長メカニズムを導入している。また、リカレントニューラルネットワークのための最近提案された2入力バックボーンアーキテクチャを実装した。
論文参考訳（メタデータ） (2021-06-14T07:56:33Z)
Differentiable Neural Architecture Learning for Efficient Neural Network Design [31.23038136038325]
スケールド・シグモイド関数に基づく新しいemphアーキテクチャのパラメータ化を提案する。そこで本論文では,候補ニューラルネットワークを評価することなく,ニューラルネットワークを最適化するための汎用的エファイブルニューラルネットワーク学習(DNAL)手法を提案する。
論文参考訳（メタデータ） (2021-03-03T02:03:08Z)
SAR-NAS: Skeleton-based Action Recognition via Neural Architecture Searching [18.860051578038608]
スケルトンベースのアクションインスタンスをテンソルにエンコードし、正常細胞と還元細胞という2種類のネットワーク細胞を構築するための一連の操作を定義する。 NTU RGB+DとKinecticsのデータセットに挑戦する実験では、骨格に基づく行動認識のために開発されたネットワークのほとんどは、コンパクトで効率的なものではないことが確認された。提案手法は,最先端の手法よりも比較や性能の向上が可能な,そのようなコンパクトなネットワークを探索する手法を提供する。
論文参考訳（メタデータ） (2020-10-29T03:24:15Z)
Disentangled Neural Architecture Search [7.228790381070109]
本稿では,制御器の隠蔽表現を意味論的に意味のある概念に解き放つ,アンタングル型ニューラルネットワーク探索(DNAS)を提案する。 DNASは、オペレーションの選択、接続のスキップ、レイヤ数など、アーキテクチャ表現のアンタングルに成功している。センスサンプリングは、より高い効率とより良いパフォーマンスでニューラルネットワーク検索につながる。
論文参考訳（メタデータ） (2020-09-24T03:35:41Z)
The Heterogeneity Hypothesis: Finding Layer-Wise Differentiated Network Architectures [179.66117325866585]
我々は、通常見過ごされる設計空間、すなわち事前定義されたネットワークのチャネル構成を調整することを検討する。この調整は、拡張ベースラインネットワークを縮小することで実現でき、性能が向上する。画像分類、視覚追跡、画像復元のための様々なネットワークとデータセットで実験を行う。
論文参考訳（メタデータ） (2020-06-29T17:59:26Z)
DC-NAS: Divide-and-Conquer Neural Architecture Search [108.57785531758076]
本稿では,ディープ・ニューラル・アーキテクチャーを効果的かつ効率的に探索するためのディバイド・アンド・コンカ(DC)手法を提案する。 ImageNetデータセットで75.1%の精度を達成しており、これは同じ検索空間を使った最先端の手法よりも高い。
論文参考訳（メタデータ） (2020-05-29T09:02:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。