論文の概要: Analyze and Design Network Architectures by Recursion Formulas
- arxiv url: http://arxiv.org/abs/2108.08689v1
- Date: Wed, 18 Aug 2021 06:53:30 GMT
- ステータス: 処理完了
- システム内更新日: 2021-08-20 14:43:05.232165
- Title: Analyze and Design Network Architectures by Recursion Formulas
- Title（参考訳）: 再帰公式によるネットワークアーキテクチャの解析と設計
- Authors: Yilin Liao, Hao Wang, Zhaoran Liu, Haozhe Li and Xinggao Liu
- Abstract要約: この研究は、新しいネットワークアーキテクチャを設計するための効果的な方法を見つけ出そうとする。
ネットワークアーキテクチャの主な違いは,それらの公式に反映できることが判明した。
ResNetに基づいた改良されたアーキテクチャを生成するためのケーススタディが提供されている。
CIFARとImageNetで大規模な実験が行われ、大幅なパフォーマンス改善が見られた。
- 参考スコア（独自算出の注目度）: 4.085771561472743
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The effectiveness of shortcut/skip-connection has been widely verified, which
inspires massive explorations on neural architecture design. This work attempts
to find an effective way to design new network architectures. It is discovered
that the main difference between network architectures can be reflected in
their recursion formulas. Based on this, a methodology is proposed to design
novel network architectures from the perspective of mathematical formulas.
Afterwards, a case study is provided to generate an improved architecture based
on ResNet. Furthermore, the new architecture is compared with ResNet and then
tested on ResNet-based networks. Massive experiments are conducted on CIFAR and
ImageNet, which witnesses the significant performance improvements provided by
the architecture.
- Abstract（参考訳）: ショートカット/スキップ接続の有効性は広く検証され、ニューラルアーキテクチャ設計に多大な研究がもたらされた。
この研究は、新しいネットワークアーキテクチャを設計する効果的な方法を見つけようとしている。
ネットワークアーキテクチャの主な違いは再帰公式に反映されることが判明した。
これに基づいて,数式の観点から新しいネットワークアーキテクチャを設計するための方法論が提案されている。
その後、ResNetに基づいた改良されたアーキテクチャを生成するケーススタディが提供される。
さらに、新しいアーキテクチャはresnetと比較され、resnetベースのネットワークでテストされる。
CIFARとImageNetで大規模な実験が行われ、アーキテクチャによる大幅なパフォーマンス改善が見られた。
関連論文リスト
- Designing Network Design Strategies Through Gradient Path Analysis [12.90962626557934]
本稿では,勾配経路解析に基づいてネットワークアーキテクチャを設計するための新しいネットワーク設計戦略を提案する。
本稿では,階層レベル,ステージレベル,ネットワークレベルの勾配経路設計戦略を提案する。
論文 参考訳（メタデータ） (2022-11-09T10:51:57Z) - Visual Analysis of Neural Architecture Spaces for Summarizing Design
Principles [22.66053583920441]
ArchExplorerは、ニューラルネットワーク空間を理解し、設計原則を要約するための視覚分析手法である。
クラスタ間のグローバルな関係と各クラスタ内のアーキテクチャの局所的近傍の両方を伝達するために,サークルパッキングに基づくアーキテクチャ視覚化が開発された。
設計原則を要約し,優れたアーキテクチャを選択する上でArchExplorerの有効性を示すために,2つのケーススタディとポストアナリシスが提示される。
論文 参考訳（メタデータ） (2022-08-20T12:15:59Z) - Simple and Efficient Architectures for Semantic Segmentation [50.1563637917129]
ResNetのようなバックボーンと小型のマルチスケールヘッドを備えた単純なエンコーダデコーダアーキテクチャは,HRNetやFANet,DDRNetといった複雑なセマンティックセマンティックセマンティクスアーキテクチャよりも優れていることを示す。
そこで我々は,Cityscapesデータセット上の複雑なモデルの性能に適合する,あるいは超越した,デスクトップおよびモバイルターゲット用のこのようなシンプルなアーキテクチャのファミリーを提示する。
論文 参考訳（メタデータ） (2022-06-16T15:08:34Z) - Hysteretic Behavior Simulation Based on Pyramid Neural
Network:Principle, Network Architecture, Case Study and Explanation [0.0]
ニューラルネットワークに基づく代理モデルでは、効率と精度のバランスをとる大きな可能性を示している。
単一レベルの特徴に基づく連続的な情報フローと予測は、ネットワーク性能に悪影響を及ぼす。
ここでは重み付けされたピラミッドニューラルネットワークアーキテクチャを提案する。
論文 参考訳（メタデータ） (2022-04-29T16:42:00Z) - Learning Interpretable Models Through Multi-Objective Neural
Architecture Search [0.9990687944474739]
本稿では,タスク性能と「イントロスペクタビリティ」の両方を最適化するフレームワークを提案する。
タスクエラーとイントロスペクタビリティを共同で最適化することは、エラー内で実行されるより不整合でデバッグ可能なアーキテクチャをもたらすことを実証する。
論文 参考訳（メタデータ） (2021-12-16T05:50:55Z) - Network Graph Based Neural Architecture Search [57.78724765340237]
我々は、対応するグラフを書き換えてニューラルネットワークを探索し、グラフ特性によるアーキテクチャ性能の予測を行う。
グラフ空間全体にわたって機械学習を行わないため、探索プロセスは極めて効率的である。
論文 参考訳（メタデータ） (2021-12-15T00:12:03Z) - BNAS v2: Learning Architectures for Binary Networks with Empirical
Improvements [11.978082858160576]
ほとんどのバイナリネットワークのバックボーンアーキテクチャは、ResNetファミリのようなよく知られた浮動小数点(FP)アーキテクチャである。
本稿では,バイナリネットワークのための新しい検索空間と新しい検索対象を定義することによって,バイナリネットワークのためのアーキテクチャを探索することを提案する。
本手法は,バイナリネットワークに固有の量子化誤差にもかかわらず,安定なトレーニング曲線でアーキテクチャを探索することを示す。
論文 参考訳（メタデータ） (2021-10-16T12:38:26Z) - Rethinking Architecture Selection in Differentiable NAS [74.61723678821049]
微分可能なニューラルアーキテクチャ探索は、その探索効率と簡易性において最も人気のあるNAS手法の1つである。
本稿では,各操作がスーパーネットに与える影響を直接測定する摂動に基づくアーキテクチャ選択を提案する。
提案手法により,DARTSの故障モードを大幅に緩和できることがわかった。
論文 参考訳（メタデータ） (2021-08-10T00:53:39Z) - NAS-DIP: Learning Deep Image Prior with Neural Architecture Search [65.79109790446257]
近年の研究では、深部畳み込みニューラルネットワークの構造が、以前に構造化された画像として利用できることが示されている。
我々は,より強い画像の先行を捉えるニューラルネットワークの探索を提案する。
既存のニューラルネットワーク探索アルゴリズムを利用して,改良されたネットワークを探索する。
論文 参考訳（メタデータ） (2020-08-26T17:59:36Z) - A Semi-Supervised Assessor of Neural Architectures [157.76189339451565]
我々は、ニューラルネットワークの有意義な表現を見つけるためにオートエンコーダを用いる。
アーキテクチャの性能を予測するために、グラフ畳み込みニューラルネットワークを導入する。
論文 参考訳（メタデータ） (2020-05-14T09:02:33Z) - Stage-Wise Neural Architecture Search [65.03109178056937]
ResNetやNASNetのような現代の畳み込みネットワークは、多くのコンピュータビジョンアプリケーションで最先端の結果を得た。
これらのネットワークは、同じ解像度で表現を操作するレイヤのセットであるステージで構成されている。
各ステージにおけるレイヤー数の増加はネットワークの予測能力を向上させることが示されている。
しかし、結果として得られるアーキテクチャは、浮動小数点演算、メモリ要求、推論時間の観点から計算的に高価になる。
論文 参考訳（メタデータ） (2020-04-23T14:16:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。