論文の概要: Auto-tuning of Deep Neural Networks by Conflicting Layer Removal

• arxiv url: http://arxiv.org/abs/2103.04331v1
• Date: Sun, 7 Mar 2021 11:51:55 GMT
• ステータス: 処理完了
• システム内更新日: 2021-03-10 09:20:01.311476
• Title: Auto-tuning of Deep Neural Networks by Conflicting Layer Removal
• Title（参考訳）: 衝突層除去によるディープニューラルネットワークの自動チューニング
• Authors: David Peer, Sebastian Stabinger, Antonio Rodriguez-Sanchez
• Abstract要約: トレーニングモデルのテスト精度を低下させる層を識別する新しい手法を提案する。 矛盾する層は、トレーニングの開始時に早期に検出される。 訓練された残存ネットワークのレイヤの約60%が、アーキテクチャから完全に取り除かれることを示しています。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Designing neural network architectures is a challenging task and knowing which specific layers of a model must be adapted to improve the performance is almost a mystery. In this paper, we introduce a novel methodology to identify layers that decrease the test accuracy of trained models. Conflicting layers are detected as early as the beginning of training. In the worst-case scenario, we prove that such a layer could lead to a network that cannot be trained at all. A theoretical analysis is provided on what is the origin of those layers that result in a lower overall network performance, which is complemented by our extensive empirical evaluation. More precisely, we identified those layers that worsen the performance because they would produce what we name conflicting training bundles. We will show that around 60% of the layers of trained residual networks can be completely removed from the architecture with no significant increase in the test-error. We will further present a novel neural-architecture-search (NAS) algorithm that identifies conflicting layers at the beginning of the training. Architectures found by our auto-tuning algorithm achieve competitive accuracy values when compared against more complex state-of-the-art architectures, while drastically reducing memory consumption and inference time for different computer vision tasks. The source code is available on https://github.com/peerdavid/conflicting-bundles
• Abstract（参考訳）: ニューラルネットワークアーキテクチャを設計することは難しい作業であり、どのモデルの特定の層をパフォーマンスを改善するために適応しなければならないかを知ることは、ほぼ謎である。 本稿では,学習モデルのテスト精度を低下させる層を識別する新しい手法を提案する。 矛盾する層は、トレーニングの開始時に早期に検出される。 最悪のシナリオでは、そのような層がまったく訓練できないネットワークにつながる可能性があることを証明します。 理論的分析は、ネットワーク全体のパフォーマンスが低下するこれらの層の起源について提供され、これは広範な実証的評価によって補完されます。 より正確には、競合するトレーニングバンドルを生成するため、パフォーマンスを悪化させるレイヤを特定しました。 トレーニングされた残存ネットワークのレイヤの約60%が、テストエラーの有意な増加なしに、アーキテクチャから完全に削除できることを示します。 さらに、トレーニングの開始時に相反する層を識別する新しいニューラルアーキテクチャサーチ(NAS)アルゴリズムを紹介します。 自動チューニングアルゴリズムが検出したアーキテクチャは、より複雑な最先端アーキテクチャと比較すると、競合精度が向上する一方で、異なるコンピュータビジョンタスクのメモリ消費と推論時間を劇的に削減する。 ソースコードはhttps://github.com/peerdavid/conflicting-bundlesで入手できる。

関連論文リスト

• Layer-wise Linear Mode Connectivity [52.6945036534469]
  ニューラルネットワークパラメータの平均化は、2つの独立したモデルの知識の直感的な方法である。 フェデレートラーニングにおいて最も顕著に用いられている。 私たちは、単一グループやグループを平均化するモデルの性能を分析します。
  論文  参考訳（メタデータ） (2023-07-13T09:39:10Z)
• Semantic-Based Neural Network Repair [4.092001692194709]
  本稿では,ニューラルネットワークの自動修復手法を提案する。 私たちのアプローチは、ディープラーニングレイヤの実行可能なセマンティクスに基づいています。 私たちは、自動生成されたニューラルネットワークと、一般的なモデルバグに苦しむ手書きのものを修復する、という2つのユースケースに対するアプローチを評価します。
  論文  参考訳（メタデータ） (2023-06-12T16:18:32Z)
• Improved Convergence Guarantees for Shallow Neural Networks [91.3755431537592]
  勾配降下法により訓練された深度2ニューラルネットの収束度を世界最小とする。 我々のモデルには、二次損失関数による回帰、完全連結フィードフォワードアーキテクチャ、RelUアクティベーション、ガウスデータインスタンス、逆ラベルといった特徴がある。 彼らは、少なくとも我々のモデルでは、収束現象がNTK体制をはるかに超越していることを強く示唆している」。
  論文  参考訳（メタデータ） (2022-12-05T14:47:52Z)
• Stacked unsupervised learning with a network architecture found by supervised meta-learning [4.209801809583906]
  階層化された教師なし学習は、バックプロパゲーションよりも生物学的に妥当に思える。 しかし、SULは実践的な応用においてバックプロパゲーションには程遠い。 MNIST桁の完全教師なしクラスタリングが可能なSULアルゴリズムを示す。
  論文  参考訳（メタデータ） (2022-06-06T16:17:20Z)
• Efficient Neural Architecture Search with Performance Prediction [0.0]
  ニューラルアーキテクチャ検索を使用して、目前にあるタスクに最適なネットワークアーキテクチャを見つけます。 既存のNASアルゴリズムは、スクラッチから完全にトレーニングすることで、新しいアーキテクチャの適合性を評価する。 サンプルアーキテクチャの評価を高速化するために,エンドツーエンドのオフライン性能予測器を提案する。
  論文  参考訳（メタデータ） (2021-08-04T05:44:16Z)
• Conflicting Bundles: Adapting Architectures Towards the Improved Training of Deep Neural Networks [1.7188280334580195]
  トレーニングされたモデルのテスト精度を低下させるレイヤを特定するために,新しい理論と計量を導入する。 矛盾するトレーニングバンドルを生成するため、パフォーマンスを悪化させるこれらのレイヤを特定します。 これらの結果に基づき、性能低下層を自動的に除去する新しいアルゴリズムが導入された。
  論文  参考訳（メタデータ） (2020-11-05T16:41:04Z)
• LoCo: Local Contrastive Representation Learning [93.98029899866866]
  重なり合うローカルブロックが重なり合うことで、デコーダの深さを効果的に増加させ、上位ブロックが暗黙的に下位ブロックにフィードバックを送ることができることを示す。 このシンプルな設計は、ローカル学習とエンドツーエンドのコントラスト学習アルゴリズムのパフォーマンスギャップを初めて埋める。
  論文  参考訳（メタデータ） (2020-08-04T05:41:29Z)
• The Heterogeneity Hypothesis: Finding Layer-Wise Differentiated Network Architectures [179.66117325866585]
  我々は、通常見過ごされる設計空間、すなわち事前定義されたネットワークのチャネル構成を調整することを検討する。 この調整は、拡張ベースラインネットワークを縮小することで実現でき、性能が向上する。 画像分類、視覚追跡、画像復元のための様々なネットワークとデータセットで実験を行う。
  論文  参考訳（メタデータ） (2020-06-29T17:59:26Z)
• Reusing Trained Layers of Convolutional Neural Networks to Shorten Hyperparameters Tuning Time [1.160208922584163]
  本稿では,この過程を短縮するために,異なるトレーニングで隠蔽層(畳み込み層)の重みを再利用する提案について述べる。 実験では、再使用時のトレーニング時間と、畳み込みレイヤの再使用時のバリデーション損失を比較した。 彼らはこの戦略がトレーニング時間を短縮し、その結果のニューラルネットワークの精度も向上することを確認した。
  論文  参考訳（メタデータ） (2020-06-16T11:39:39Z)
• Multi-fidelity Neural Architecture Search with Knowledge Distillation [69.09782590880367]
  ニューラルアーキテクチャ探索のためのベイズ的多重忠実度法 MF-KD を提案する。 知識蒸留は損失関数に追加され、ネットワークが教師ネットワークを模倣することを強制する用語となる。 このような変化した損失関数を持ついくつかのエポックに対するトレーニングは、ロジスティックな損失を持ついくつかのエポックに対するトレーニングよりも、より優れたニューラルアーキテクチャの選択につながることを示す。
  論文  参考訳（メタデータ） (2020-06-15T12:32:38Z)
• A Semi-Supervised Assessor of Neural Architectures [157.76189339451565]
  我々は、ニューラルネットワークの有意義な表現を見つけるためにオートエンコーダを用いる。 アーキテクチャの性能を予測するために、グラフ畳み込みニューラルネットワークを導入する。
  論文  参考訳（メタデータ） (2020-05-14T09:02:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。