論文の概要: Inter-choice dependent super-network weights

• arxiv url: http://arxiv.org/abs/2104.11522v1
• Date: Fri, 23 Apr 2021 10:16:24 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-26 17:36:11.960734
• Title: Inter-choice dependent super-network weights
• Title（参考訳）: 格子間依存超ネットワークウェイト
• Authors: Kevin Alexander Laube, Andreas Zell
• Abstract要約: 選択間の依存関係はネットワーク検索に影響を与えやすいが、一般的なワンショットメソッドでは考慮されていない。 選択の組み合わせに依存する追加ウェイトでシングルパスワンショット検索ネットワークを拡張し、その効果を分析します。 NAS-Bench 201 と SubImageNet ベースの検索空間での実験では、畳み込みのみの設定で超ネットワーク性能が向上した。
• 参考スコア（独自算出の注目度）: 14.853897011640022
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The automatic design of architectures for neural networks, Neural Architecture Search, has gained a lot of attention over the recent years, as the thereby created networks repeatedly broke state-of-the-art results for several disciplines. The network search spaces are often finite and designed by hand, in a way that a fixed and small number of decisions constitute a specific architecture. Given these circumstances, inter-choice dependencies are likely to exist and affect the network search, but are unaccounted for in the popular one-shot methods. We extend the Single-Path One-Shot search-networks with additional weights that depend on combinations of choices and analyze their effect. Experiments in NAS-Bench 201 and SubImageNet based search spaces show an improved super-network performance in only-convolutions settings and that the overhead is nearly negligible for sequential network designs.
• Abstract（参考訳）: ニューラルネットワークのためのアーキテクチャの自動設計であるNeural Architecture Searchは、ここ数年で注目を集めている。 ネットワーク検索空間はしばしば有限であり、固定された少数の決定が特定のアーキテクチャを構成するように手動で設計される。 このような状況を踏まえると、選択間の依存関係はネットワーク検索に影響を及ぼしがちであるが、一般的なワンショット手法では考慮されていない。 シングルパスワンショット検索ネットワークを拡張して、選択の組み合わせに依存し、その効果を分析する。 NAS-Bench 201 と SubImageNet ベースのサーチスペースでの実験では、コンボリューションのみの設定でスーパーネットワークの性能が向上し、シーケンシャルなネットワーク設計ではオーバーヘッドはほぼ無視できる。

関連論文リスト

• OFA$^2$: A Multi-Objective Perspective for the Once-for-All Neural Architecture Search [79.36688444492405]
  once-for-All(OFA)は、異なるリソース制約を持つデバイスのための効率的なアーキテクチャを探索する問題に対処するために設計された、ニューラルネットワーク検索(NAS)フレームワークである。 我々は,探索段階を多目的最適化問題として明示的に考えることにより,効率の追求を一歩進めることを目指している。
  論文  参考訳（メタデータ） (2023-03-23T21:30:29Z)
• DQNAS: Neural Architecture Search using Reinforcement Learning [6.33280703577189]
  畳み込みニューラルネットワークは様々な画像関連アプリケーションで使われている。 本稿では,強化学習の原則を取り入れた,ニューラルネットワークの自動探索フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-01-17T04:01:47Z)
• Deep Neural Networks pruning via the Structured Perspective Regularization [5.061851539114448]
  機械学習では、ニューラルネットワーク(ANN)は非常に強力なツールであり、多くのアプリケーションで広く使われている。 ANN(リンク、ノード、チャネル、ldots)のすべての要素と対応する重みが削除される。 問題の性質は本質的に(プルーンの要素とそうでない要素)であるので,オペレーショナルリサーチツールに基づく新たなプルーニング手法を提案する。
  論文  参考訳（メタデータ） (2022-06-28T14:58:51Z)
• A Hardware-Aware Framework for Accelerating Neural Architecture Search Across Modalities [7.542742087154667]
  進化的アルゴリズムが、アーキテクチャ探索を加速するために反復サイクルにおいて、軽量に訓練された客観的予測器とどのように組み合わせられるかを示す。 具体的には、進化的アルゴリズムがアーキテクチャ探索を加速する反復サイクルにおいて、軽量に訓練された客観的予測器とどのように組み合わせられるかを示す。
  論文  参考訳（メタデータ） (2022-05-19T20:41:01Z)
• Firefly Neural Architecture Descent: a General Approach for Growing Neural Networks [50.684661759340145]
  firefly neural architecture descentは、ニューラルネットワークを漸進的かつ動的に成長させるための一般的なフレームワークである。 ホタルの降下は、より広く、より深くネットワークを柔軟に成長させ、正確だがリソース効率のよいニューラルアーキテクチャを学習するために応用できることを示す。 特に、サイズは小さいが、最先端の手法で学習したネットワークよりも平均精度が高いネットワークを学習する。
  論文  参考訳（メタデータ） (2021-02-17T04:47:18Z)
• NAS-Navigator: Visual Steering for Explainable One-Shot Deep Neural Network Synthesis [53.106414896248246]
  本稿では,分析者がドメイン知識を注入することで,解のサブグラフ空間を効果的に構築し,ネットワーク探索をガイドするフレームワークを提案する。 このテクニックを反復的に適用することで、アナリストは、与えられたアプリケーションに対して最高のパフォーマンスのニューラルネットワークアーキテクチャに収束することができる。
  論文  参考訳（メタデータ） (2020-09-28T01:48:45Z)
• Automated Search for Resource-Efficient Branched Multi-Task Networks [81.48051635183916]
  我々は,多タスクニューラルネットワークにおける分岐構造を自動的に定義する,微分可能なニューラルネットワーク探索に根ざした原理的アプローチを提案する。 本手法は,限られた資源予算内で高い性能の分岐構造を見いだすことができる。
  論文  参考訳（メタデータ） (2020-08-24T09:49:19Z)
• DC-NAS: Divide-and-Conquer Neural Architecture Search [108.57785531758076]
  本稿では,ディープ・ニューラル・アーキテクチャーを効果的かつ効率的に探索するためのディバイド・アンド・コンカ(DC)手法を提案する。 ImageNetデータセットで75.1%の精度を達成しており、これは同じ検索空間を使った最先端の手法よりも高い。
  論文  参考訳（メタデータ） (2020-05-29T09:02:16Z)
• Fitting the Search Space of Weight-sharing NAS with Graph Convolutional Networks [100.14670789581811]
  サンプルサブネットワークの性能に適合するグラフ畳み込みネットワークを訓練する。 この戦略により、選択された候補集合において、より高いランク相関係数が得られる。
  論文  参考訳（メタデータ） (2020-04-17T19:12:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。