論文の概要: Understanding the wiring evolution in differentiable neural architecture search

• arxiv url: http://arxiv.org/abs/2009.01272v4
• Date: Thu, 25 Feb 2021 05:44:52 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-22 18:44:39.267911
• Title: Understanding the wiring evolution in differentiable neural architecture search
• Title（参考訳）: 微分型ニューラルネットワーク探索における配線進化の理解
• Authors: Sirui Xie, Shoukang Hu, Xinjiang Wang, Chunxiao Liu, Jianping Shi, Xunying Liu, Dahua Lin
• Abstract要約: 識別可能なニューラルネットワーク探索手法が配線トポロジを効果的に発見するかどうかについては議論がある。 既存の差別化可能なNASフレームワークの基盤メカニズムについて検討する。
• 参考スコア（独自算出の注目度）: 114.31723873105082
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Controversy exists on whether differentiable neural architecture search methods discover wiring topology effectively. To understand how wiring topology evolves, we study the underlying mechanism of several existing differentiable NAS frameworks. Our investigation is motivated by three observed searching patterns of differentiable NAS: 1) they search by growing instead of pruning; 2) wider networks are more preferred than deeper ones; 3) no edges are selected in bi-level optimization. To anatomize these phenomena, we propose a unified view on searching algorithms of existing frameworks, transferring the global optimization to local cost minimization. Based on this reformulation, we conduct empirical and theoretical analyses, revealing implicit inductive biases in the cost's assignment mechanism and evolution dynamics that cause the observed phenomena. These biases indicate strong discrimination towards certain topologies. To this end, we pose questions that future differentiable methods for neural wiring discovery need to confront, hoping to evoke a discussion and rethinking on how much bias has been enforced implicitly in existing NAS methods.
• Abstract（参考訳）: 識別可能なニューラルネットワーク探索手法が配線トポロジーを効果的に発見するかどうかについては議論がある。 配線トポロジの進化を理解するため,既存の差別化可能なNASフレームワークの基礎メカニズムについて検討した。 識別可能なNASの3つの探索パターンが本研究の動機となっている。 1) 刈り取らずに成長して検索する。 2)より深いネットワークよりも広いネットワークの方が好ましい。 3)二段階最適化ではエッジは選択されない。 これらの現象を解剖するため,我々は既存のフレームワークの探索アルゴリズムに関する統一的視点を提案し,グローバル最適化を局所コスト最小化に移行した。 この再編成に基づいて経験的および理論的分析を行い、観測される現象を引き起こすコストの割り当て機構と進化のダイナミクスにおける暗黙の帰納的バイアスを明らかにする。 これらのバイアスは、特定の位相に対する強い差別を示す。 この目的のために、我々は、ニューラルネットワーク発見のための将来の差別化可能な方法が直面する必要があるという疑問を提起し、議論を引き起こし、既存のNASメソッドでどれだけのバイアスが暗黙的に実施されたかを再考することを望んでいる。

関連論文リスト

• Structure of Artificial Neural Networks -- Empirical Investigations [0.0]
  10年以内にDeep Learningは、人工知能の数え切れないほどの問題を、支配的な解法で克服した。 ニューラルネットワークの構造を形式的に定義することで、ニューラルネットワークの探索問題と解法を共通の枠組みで定式化することができる。 構造は違いをもたらすのか、それとも任意に選択できるのか?
  論文  参考訳（メタデータ） (2024-10-12T16:13:28Z)
• A Survey on Deep Neural Network Pruning-Taxonomy, Comparison, Analysis, and Recommendations [20.958265043544603]
  現代のディープニューラルネットワークには、膨大な計算とストレージリソースを必要とする巨大なモデルサイズが伴っている。 研究者たちは、ニューラルネットワーク圧縮の一般的な研究方向として、プルーニングテクニックを探求している。 我々は,1)普遍的/特異的なスピードアップ,2)いつプーンするか,3)プーンする方法,および4)プルーニングと他の圧縮技術との融合について,ディープニューラルネットワークプルーニングに関する既存の研究成果をレビューする。
  論文  参考訳（メタデータ） (2023-08-13T13:34:04Z)
• HKNAS: Classification of Hyperspectral Imagery Based on Hyper Kernel Neural Architecture Search [104.45426861115972]
  設計したハイパーカーネルを利用して,構造パラメータを直接生成することを提案する。 我々は1次元または3次元の畳み込みを伴う画素レベルの分類と画像レベルの分類を別々に行う3種類のネットワークを得る。 6つの公開データセットに関する一連の実験は、提案手法が最先端の結果を得ることを示した。
  論文  参考訳（メタデータ） (2023-04-23T17:27:40Z)
• Rank Diminishing in Deep Neural Networks [71.03777954670323]
  ニューラルネットワークのランクは、層をまたがる情報を測定する。 これは機械学習の幅広い領域にまたがる重要な構造条件の例である。 しかし、ニューラルネットワークでは、低ランク構造を生み出す固有のメカニズムはあいまいで不明瞭である。
  論文  参考訳（メタデータ） (2022-06-13T12:03:32Z)
• $\beta$-DARTS: Beta-Decay Regularization for Differentiable Architecture Search [85.84110365657455]
  本研究では,DARTSに基づくNAS探索過程を正規化するために,ベータデカイと呼ばれるシンプルだが効率的な正規化手法を提案する。 NAS-Bench-201の実験結果から,提案手法は探索過程の安定化に有効であり,探索されたネットワークを異なるデータセット間で転送しやすくする。
  論文  参考訳（メタデータ） (2022-03-03T11:47:14Z)
• Redefining Neural Architecture Search of Heterogeneous Multi-Network Models by Characterizing Variation Operators and Model Components [71.03032589756434]
  複素領域における異なる変動演算子の効果について検討する。 モデルの複雑さと性能に影響を及ぼす変化演算子と、それを構成する異なる部分の質を推定する様々な指標に依存するモデルの両方を特徴付ける。
  論文  参考訳（メタデータ） (2021-06-16T17:12:26Z)
• On the Exploitation of Neuroevolutionary Information: Analyzing the Past for a More Efficient Future [60.99717891994599]
  本稿では,神経進化過程から情報を抽出し,メタモデルを構築するアプローチを提案する。 本稿では, 異なる特徴を有する生成的対向ネットワークの神経進化的探索における最良の構造について検討する。
  論文  参考訳（メタデータ） (2021-05-26T20:55:29Z)
• Learning Interpretable Models for Coupled Networks Under Domain Constraints [8.308385006727702]
  脳ネットワークの構造的エッジと機能的エッジの相互作用に着目して,結合ネットワークの概念を検討する。 相互作用を推定しながらノイズ項にハードネットワークの制約を課す新しい定式化を提案する。 ヒトコネクトームプロジェクトから得られたマルチシェル拡散およびタスク誘発fMRIデータセットの手法を検証する。
  論文  参考訳（メタデータ） (2021-04-19T06:23:31Z)
• A Survey on Neural Network Interpretability [25.27545364222555]
  解釈性は、深層ネットワークが他の研究分野で強力なツールになるのに望ましい特性である。 本研究では,エンゲージメントのタイプ(パッシブ対アクティブ解釈アプローチ),説明のタイプ,焦点の3次元に整理した新しい分類法を提案する。
  論文  参考訳（メタデータ） (2020-12-28T15:09:50Z)
• VINNAS: Variational Inference-based Neural Network Architecture Search [2.685668802278155]
  スパース畳み込みニューラルネットワークを探索するための可変変分推論に基づくNAS法を提案する。 提案手法は,非ゼロパラメータの約2倍の精度で最先端の精度を示しながら,多様なネットワークセルを探索する。
  論文  参考訳（メタデータ） (2020-07-12T21:47:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。