Fugu-MT 論文翻訳(概要): Finding the Optimal Network Depth in Classification Tasks

論文の概要: Finding the Optimal Network Depth in Classification Tasks

arxiv url: http://arxiv.org/abs/2004.08172v1
Date: Fri, 17 Apr 2020 11:08:45 GMT
ステータス: 処理完了
システム内更新日: 2022-12-12 12:40:09.095182
Title: Finding the Optimal Network Depth in Classification Tasks
Title（参考訳）: 分類課題における最適ネットワーク深さの探索
Authors: Bartosz W\'ojcik, Maciej Wo{\l}czyk, Klaudia Ba{\l}azy, Jacek Tabor
Abstract要約: 複数の分類器ヘッドを用いた軽量ニューラルネットワークの高速エンドツーエンド学習法を開発した。モデルが各ヘッドの重要性を決定することによって、ネットワークの不要なコンポーネントを検出し、取り除くことができる。
参考スコア（独自算出の注目度）: 10.248235276871258
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: We develop a fast end-to-end method for training lightweight neural networks using multiple classifier heads. By allowing the model to determine the importance of each head and rewarding the choice of a single shallow classifier, we are able to detect and remove unneeded components of the network. This operation, which can be seen as finding the optimal depth of the model, significantly reduces the number of parameters and accelerates inference across different hardware processing units, which is not the case for many standard pruning methods. We show the performance of our method on multiple network architectures and datasets, analyze its optimization properties, and conduct ablation studies.
Abstract（参考訳）: 複数の分類器ヘッドを用いた軽量ニューラルネットワークの高速エンドツーエンド学習法を開発した。モデルが各ヘッドの重要度を判断し、単一の浅い分類器の選択に報いるようにすることで、ネットワークの不要なコンポーネントを検出して削除することができる。この操作は、モデルの最適深さを見出すことができるが、パラメータの数を著しく減らし、異なるハードウェア処理ユニット間での推論を加速するが、これは多くの標準的なプルーニング手法ではそうではない。本稿では,複数のネットワークアーキテクチャとデータセット上での手法の性能,最適化特性の解析,アブレーション研究を行う。

関連論文リスト

Optimizing Sensor Network Design for Multiple Coverage [0.9668407688201359]
本稿では,より効率的で堅牢なセンサネットワークを設計するgreedy (next-best-view)アルゴリズムの目的関数を提案する。また、ほぼリアルタイムで計算を行うアルゴリズムを高速化するためのディープラーニングモデルも導入する。
論文参考訳（メタデータ） (2024-05-15T05:13:20Z)
Fast and Scalable Network Slicing by Integrating Deep Learning with Lagrangian Methods [8.72339110741777]
ネットワークスライシングは、多種多様なサービスを効率的にサポートするために、5G以上の重要なテクニックである。ディープラーニングモデルは、動的スライシング構成に対する限定的な一般化と適応性に悩まされる。本稿では,制約付き最適化手法とディープラーニングモデルを統合する新しいフレームワークを提案する。
論文参考訳（メタデータ） (2024-01-22T07:19:16Z)
Sensitivity-Aware Mixed-Precision Quantization and Width Optimization of Deep Neural Networks Through Cluster-Based Tree-Structured Parzen Estimation [4.748931281307333]
本稿では,個々のニューラルネットワーク層に対して最適なビット幅と層幅を自動的に選択する革新的な探索機構を提案する。これにより、ディープニューラルネットワークの効率が著しく向上する。
論文参考訳（メタデータ） (2023-08-12T00:16:51Z)
Dynamic Neural Network for Multi-Task Learning Searching across Diverse Network Topologies [14.574399133024594]
多様なグラフトポロジを持つ複数のタスクに対して最適化された構造を探索する新しいMTLフレームワークを提案する。我々は、トポロジ的に多様なタスク適応構造を構築するために、読み出し/読み出し層を備えたDAGベースの制限付き中央ネットワークを設計する。
論文参考訳（メタデータ） (2023-03-13T05:01:50Z)
Learning to Learn with Generative Models of Neural Network Checkpoints [71.06722933442956]
ニューラルネットワークのチェックポイントのデータセットを構築し,パラメータの生成モデルをトレーニングする。提案手法は,幅広い損失プロンプトに対するパラメータの生成に成功している。我々は、教師付きおよび強化学習における異なるニューラルネットワークアーキテクチャとタスクに本手法を適用した。
論文参考訳（メタデータ） (2022-09-26T17:59:58Z)
Gone Fishing: Neural Active Learning with Fisher Embeddings [55.08537975896764]
ディープニューラルネットワークと互換性のあるアクティブな学習アルゴリズムの必要性が高まっている。本稿では,ニューラルネットワークのための抽出可能かつ高性能な能動学習アルゴリズムBAITを紹介する。
論文参考訳（メタデータ） (2021-06-17T17:26:31Z)
Manifold Regularized Dynamic Network Pruning [102.24146031250034]
本稿では,全インスタンスの多様体情報をプルーンドネットワークの空間に埋め込むことにより,冗長フィルタを動的に除去する新しいパラダイムを提案する。提案手法の有効性をいくつかのベンチマークで検証し,精度と計算コストの両面で優れた性能を示す。
論文参考訳（メタデータ） (2021-03-10T03:59:03Z)
Learning Neural Network Subspaces [74.44457651546728]
近年の観測は,ニューラルネットワーク最適化の展望の理解を深めている。 1つのモデルのトレーニングと同じ計算コストで、高精度ニューラルネットワークの線、曲線、単純軸を学習します。 1つのモデルのトレーニングと同じ計算コストで、高精度ニューラルネットワークの線、曲線、単純軸を学習します。
論文参考訳（メタデータ） (2021-02-20T23:26:58Z)
Finding Non-Uniform Quantization Schemes using Multi-Task Gaussian Processes [12.798516310559375]
その結果,最後の層では精度が著しく低いため,メモリの節約を図りながら精度の低下が最小限に抑えられることがわかった。我々は,VGG,ResNet,GoogLeNetアーキテクチャを用いて,CIFAR10およびImageNetデータセット上で実験を行った。
論文参考訳（メタデータ） (2020-07-15T15:16:18Z)
DC-NAS: Divide-and-Conquer Neural Architecture Search [108.57785531758076]
本稿では,ディープ・ニューラル・アーキテクチャーを効果的かつ効率的に探索するためのディバイド・アンド・コンカ(DC)手法を提案する。 ImageNetデータセットで75.1%の精度を達成しており、これは同じ検索空間を使った最先端の手法よりも高い。
論文参考訳（メタデータ） (2020-05-29T09:02:16Z)
Fitting the Search Space of Weight-sharing NAS with Graph Convolutional Networks [100.14670789581811]
サンプルサブネットワークの性能に適合するグラフ畳み込みネットワークを訓練する。この戦略により、選択された候補集合において、より高いランク相関係数が得られる。
論文参考訳（メタデータ） (2020-04-17T19:12:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。