論文の概要: Designing Network Design Spaces

• arxiv url: http://arxiv.org/abs/2003.13678v1
• Date: Mon, 30 Mar 2020 17:57:47 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-18 06:58:57.511739
• Title: Designing Network Design Spaces
• Title（参考訳）: ネットワーク設計空間の設計
• Authors: Ilija Radosavovic, Raj Prateek Kosaraju, Ross Girshick, Kaiming He, Piotr Doll\'ar
• Abstract要約: 個々のネットワークインスタンスを設計する代わりに、ネットワークの人口をパラメータ化するネットワーク設計スペースを設計します。 提案手法を用いて,ネットワーク設計の構造的側面を探索し,単純で正規なネットワークからなる低次元の設計空間に到達する。 我々はRegNetの設計空間を分析し、現在のネットワーク設計の実践と一致しない興味深い結果にたどり着きます。
• 参考スコア（独自算出の注目度）: 33.616649851247416
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this work, we present a new network design paradigm. Our goal is to help advance the understanding of network design and discover design principles that generalize across settings. Instead of focusing on designing individual network instances, we design network design spaces that parametrize populations of networks. The overall process is analogous to classic manual design of networks, but elevated to the design space level. Using our methodology we explore the structure aspect of network design and arrive at a low-dimensional design space consisting of simple, regular networks that we call RegNet. The core insight of the RegNet parametrization is surprisingly simple: widths and depths of good networks can be explained by a quantized linear function. We analyze the RegNet design space and arrive at interesting findings that do not match the current practice of network design. The RegNet design space provides simple and fast networks that work well across a wide range of flop regimes. Under comparable training settings and flops, the RegNet models outperform the popular EfficientNet models while being up to 5x faster on GPUs.
• Abstract（参考訳）: 本研究では,新しいネットワーク設計パラダイムを提案する。 私たちの目標は、ネットワーク設計の理解を深め、設定を一般化する設計原則を発見することにあります。 個々のネットワークインスタンスを設計する代わりに、ネットワークの人口をパラメータ化するネットワーク設計スペースを設計します。 全体的なプロセスは、ネットワークの古典的な手動設計に似ているが、設計空間レベルまで上昇している。 提案手法を用いて,ネットワーク設計の構造面を探索し,RegNetと呼ぶ単純で正規なネットワークからなる低次元の設計空間に到達する。 RegNetパラメトリゼーションの中核となる洞察は驚くほど単純で、良いネットワークの幅と深さは量子化された線形関数によって説明できる。 我々はregnetの設計空間を分析し,現在のネットワーク設計に合致しない興味深い発見に到達する。 regnetデザインスペースは、幅広いフロップレジームにわたってうまく機能する、シンプルで高速なネットワークを提供する。 同等のトレーニング設定とフロップの下では、RegNetモデルは一般的なEfficientNetモデルより優れ、GPUでは最大5倍高速である。

関連論文リスト

• GeNet: A Multimodal LLM-Based Co-Pilot for Network Topology and Configuration [21.224554993149184]
  GeNetは、大規模言語モデル(LLM)を利用してネットワーク設計を合理化するための新しいフレームワークである。 視覚的およびテキスト的モダリティを使用して、ネットワークトポロジとデバイス構成をユーザ意図に基づいて解釈し、更新する。
  論文  参考訳（メタデータ） (2024-07-11T07:51:57Z)
• Principled Architecture-aware Scaling of Hyperparameters [69.98414153320894]
  高品質のディープニューラルネットワークをトレーニングするには、非自明で高価なプロセスである適切なハイパーパラメータを選択する必要がある。 本研究では,ネットワークアーキテクチャにおける初期化と最大学習率の依存性を正確に評価する。 ネットワークランキングは、ベンチマークのトレーニングネットワークにより容易に変更可能であることを実証する。
  論文  参考訳（メタデータ） (2024-02-27T11:52:49Z)
• Designing Network Design Strategies Through Gradient Path Analysis [12.90962626557934]
  本稿では,勾配経路解析に基づいてネットワークアーキテクチャを設計するための新しいネットワーク設計戦略を提案する。 本稿では,階層レベル,ステージレベル,ネットワークレベルの勾配経路設計戦略を提案する。
  論文  参考訳（メタデータ） (2022-11-09T10:51:57Z)
• Firefly Neural Architecture Descent: a General Approach for Growing Neural Networks [50.684661759340145]
  firefly neural architecture descentは、ニューラルネットワークを漸進的かつ動的に成長させるための一般的なフレームワークである。 ホタルの降下は、より広く、より深くネットワークを柔軟に成長させ、正確だがリソース効率のよいニューラルアーキテクチャを学習するために応用できることを示す。 特に、サイズは小さいが、最先端の手法で学習したネットワークよりも平均精度が高いネットワークを学習する。
  論文  参考訳（メタデータ） (2021-02-17T04:47:18Z)
• Scaling Wide Residual Networks for Panoptic Segmentation [29.303735643858026]
  Wide Residual Networks (Wide-ResNets) はResidual Networks (ResNets) の浅層モデルである。 セマンティックセグメンテーションとインスタンスセグメンテーションを統合することを目的とした,最近の課題であるパン光学セグメンテーションタスクのために,アーキテクチャ設計を再考する。 このような単純なスケーリングスキームとグリッドサーチが組み合わさって、高速モデルと強力なモデル体制の両方において、パン光学セグメンテーションデータセットの最先端性能を大幅に向上させるSWideRNetがいくつか存在することを実証する。
  論文  参考訳（メタデータ） (2020-11-23T19:14:11Z)
• Dynamic Graph: Learning Instance-aware Connectivity for Neural Networks [78.65792427542672]
  動的グラフネットワーク(DG-Net)は完全な有向非巡回グラフであり、ノードは畳み込みブロックを表し、エッジは接続経路を表す。 ネットワークの同じパスを使用する代わりに、DG-Netは各ノードの機能を動的に集約する。
  論文  参考訳（メタデータ） (2020-10-02T16:50:26Z)
• Orthogonalized SGD and Nested Architectures for Anytime Neural Networks [30.598394152055338]
  直交化SGDはマルチタスクネットワークをトレーニングする際のタスク固有の勾配を動的に再バランスさせる。 実験により、オルソゴン化SGDによるトレーニングは、任意の時間ネットワークの精度を大幅に向上することが示された。
  論文  参考訳（メタデータ） (2020-08-15T03:06:34Z)
• The Heterogeneity Hypothesis: Finding Layer-Wise Differentiated Network Architectures [179.66117325866585]
  我々は、通常見過ごされる設計空間、すなわち事前定義されたネットワークのチャネル構成を調整することを検討する。 この調整は、拡張ベースラインネットワークを縮小することで実現でき、性能が向上する。 画像分類、視覚追跡、画像復元のための様々なネットワークとデータセットで実験を行う。
  論文  参考訳（メタデータ） (2020-06-29T17:59:26Z)
• Network Adjustment: Channel Search Guided by FLOPs Utilization Ratio [101.84651388520584]
  本稿では,ネットワークの精度をFLOPの関数として考慮した,ネットワーク調整という新しいフレームワークを提案する。 標準画像分類データセットと幅広いベースネットワークの実験は、我々のアプローチの有効性を実証している。
  論文  参考訳（メタデータ） (2020-04-06T15:51:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。