論文の概要: Should You Go Deeper? Optimizing Convolutional Neural Network Architectures without Training by Receptive Field Analysis

• arxiv url: http://arxiv.org/abs/2106.12307v1
• Date: Wed, 23 Jun 2021 11:04:16 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-24 20:12:22.205056
• Title: Should You Go Deeper? Optimizing Convolutional Neural Network Architectures without Training by Receptive Field Analysis
• Title（参考訳）: もっと深く行くべきか? 受容場解析による学習を伴わない畳み込みニューラルネットワークアーキテクチャの最適化
• Authors: Mats L. Richter, Julius Sch\"oning, Ulf Krumnack
• Abstract要約: 特定のタスクに人工ニューラルネットワークを適用する場合、研究者、プログラマ、その他の専門家は通常、設計における畳み込み層の数をオーバーショットする。 我々はこれらの非効率性を解決するための設計戦略を提案し、ANNの説明可能性と計算性能を最適化する。 戦略も分析も実際のモデルのトレーニングを必要としないため、これらの洞察は将来的に自動化されるかもしれないANNアーキテクチャの非常に効率的な設計プロセスを可能にする。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Applying artificial neural networks (ANN) to specific tasks, researchers, programmers, and other specialists usually overshot the number of convolutional layers in their designs. By implication, these ANNs hold too many parameters, which needed unnecessarily trained without impacting the result. The features, a convolutional layer can process, are strictly limited by its receptive field. By layer-wise analyzing the expansion of the receptive fields, we can reliably predict sequences of layers that will not contribute qualitatively to the inference in thegiven ANN architecture. Based on these analyses, we propose design strategies to resolve these inefficiencies, optimizing the explainability and the computational performance of ANNs. Since neither the strategies nor the analysis requires training of the actual model, these insights allow for a very efficient design process of ANNs architectures which might be automated in the future.
• Abstract（参考訳）: 特定のタスクにニューラルネットワーク(ann)を適用する場合、研究者、プログラマ、その他の専門家は通常、設計上の畳み込み層の数をオーバーショットする。 これらのannにはパラメータが多すぎるため、結果に影響を与えずに不必要なトレーニングが必要となる。 畳み込み層が処理できる特徴は、その受容場によって厳密に制限される。 受容場の拡大を階層的に解析することにより、ANNアーキテクチャの推論に質的に寄与しない階層列を確実に予測することができる。 これらの分析に基づいて,これらの非効率性を解決するための設計戦略を提案し, annの解法と計算性能を最適化する。 戦略も分析も実際のモデルのトレーニングを必要としないため、これらの洞察は、将来自動化されるであろうansアーキテクチャの非常に効率的な設計プロセスを可能にする。

関連論文リスト

• Computation-friendly Graph Neural Network Design by Accumulating Knowledge on Large Language Models [20.31388126105889]
  グラフニューラルネットワーク(GNN)は目覚ましい成功を収めているが、アーキテクチャ設計の複雑さによって妨げられている。 人間の作業量を減らすために、研究者はGNNを設計するための自動アルゴリズムを開発しようとしている。
  論文  参考訳（メタデータ） (2024-08-13T08:22:01Z)
• NAR-Former: Neural Architecture Representation Learning towards Holistic Attributes Prediction [37.357949900603295]
  本稿では,属性の全体的推定に使用できるニューラルネットワーク表現モデルを提案する。 実験の結果,提案するフレームワークは,セルアーキテクチャとディープニューラルネットワーク全体の遅延特性と精度特性を予測できることがわかった。
  論文  参考訳（メタデータ） (2022-11-15T10:15:21Z)
• Neural Architecture Search for Speech Emotion Recognition [72.1966266171951]
  本稿では,SERモデルの自動構成にニューラルアーキテクチャサーチ(NAS)技術を適用することを提案する。 NASはモデルパラメータサイズを維持しながらSER性能(54.89%から56.28%)を向上させることができることを示す。
  論文  参考訳（メタデータ） (2022-03-31T10:16:10Z)
• Neural Architecture Search for Dense Prediction Tasks in Computer Vision [74.9839082859151]
  ディープラーニングは、ニューラルネットワークアーキテクチャエンジニアリングに対する需要の高まりにつながっている。 ニューラルネットワーク検索(NAS)は、手動ではなく、データ駆動方式でニューラルネットワークアーキテクチャを自動設計することを目的としている。 NASはコンピュータビジョンの幅広い問題に適用されている。
  論文  参考訳（メタデータ） (2022-02-15T08:06:50Z)
• Learning Interpretable Models Through Multi-Objective Neural Architecture Search [0.9990687944474739]
  本稿では,タスク性能と「イントロスペクタビリティ」の両方を最適化するフレームワークを提案する。 タスクエラーとイントロスペクタビリティを共同で最適化することは、エラー内で実行されるより不整合でデバッグ可能なアーキテクチャをもたらすことを実証する。
  論文  参考訳（メタデータ） (2021-12-16T05:50:55Z)
• Dynamically Grown Generative Adversarial Networks [111.43128389995341]
  本稿では、ネットワークアーキテクチャとそのパラメータを自動化とともに最適化し、トレーニング中にGANを動的に成長させる手法を提案する。 本手法はアーキテクチャ探索手法を勾配に基づく訓練とインターリーブステップとして組み込んで,ジェネレータと識別器の最適アーキテクチャ成長戦略を定期的に探究する。
  論文  参考訳（メタデータ） (2021-06-16T01:25:51Z)
• The Nonlinearity Coefficient -- A Practical Guide to Neural Architecture Design [3.04585143845864]
  我々は、アーキテクチャが比較的高いテストやトレーニング後のタスクのトレーニングエラーを達成できるかどうかを、トレーニングなしで予測できる手法を開発する。 その後、アーキテクチャ定義自体の観点でエラーを説明し、アーキテクチャを変更するツールを開発します。 最初の大きな貢献は、ニューラルネットワークアーキテクチャの'非線形性の度合い'がそのパフォーマンスの背後にある重要な因果的要因であることを示すことです。
  論文  参考訳（メタデータ） (2021-05-25T20:47:43Z)
• Conflicting Bundles: Adapting Architectures Towards the Improved Training of Deep Neural Networks [1.7188280334580195]
  トレーニングされたモデルのテスト精度を低下させるレイヤを特定するために,新しい理論と計量を導入する。 矛盾するトレーニングバンドルを生成するため、パフォーマンスを悪化させるこれらのレイヤを特定します。 これらの結果に基づき、性能低下層を自動的に除去する新しいアルゴリズムが導入された。
  論文  参考訳（メタデータ） (2020-11-05T16:41:04Z)
• NAS-Navigator: Visual Steering for Explainable One-Shot Deep Neural Network Synthesis [53.106414896248246]
  本稿では,分析者がドメイン知識を注入することで,解のサブグラフ空間を効果的に構築し,ネットワーク探索をガイドするフレームワークを提案する。 このテクニックを反復的に適用することで、アナリストは、与えられたアプリケーションに対して最高のパフォーマンスのニューラルネットワークアーキテクチャに収束することができる。
  論文  参考訳（メタデータ） (2020-09-28T01:48:45Z)
• A Semi-Supervised Assessor of Neural Architectures [157.76189339451565]
  我々は、ニューラルネットワークの有意義な表現を見つけるためにオートエンコーダを用いる。 アーキテクチャの性能を予測するために、グラフ畳み込みニューラルネットワークを導入する。
  論文  参考訳（メタデータ） (2020-05-14T09:02:33Z)
• Stage-Wise Neural Architecture Search [65.03109178056937]
  ResNetやNASNetのような現代の畳み込みネットワークは、多くのコンピュータビジョンアプリケーションで最先端の結果を得た。 これらのネットワークは、同じ解像度で表現を操作するレイヤのセットであるステージで構成されている。 各ステージにおけるレイヤー数の増加はネットワークの予測能力を向上させることが示されている。 しかし、結果として得られるアーキテクチャは、浮動小数点演算、メモリ要求、推論時間の観点から計算的に高価になる。
  論文  参考訳（メタデータ） (2020-04-23T14:16:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。