論文の概要: Inter-layer Transition in Neural Architecture Search
- arxiv url: http://arxiv.org/abs/2011.14525v1
- Date: Mon, 30 Nov 2020 03:33:52 GMT
- ステータス: 処理完了
- システム内更新日: 2021-06-07 06:56:26.098926
- Title: Inter-layer Transition in Neural Architecture Search
- Title（参考訳）: ニューラルアーキテクチャ探索における層間遷移
- Authors: Benteng Ma, Jing Zhang, Yong Xia, Dacheng Tao
- Abstract要約: 本論文では、連結エッジのアーキテクチャ重み間の依存性を明示的にモデル化する。
5つのベンチマーク実験により、層間依存性のモデル化の価値を確認し、提案手法が最先端の手法より優れていることを示す。
- 参考スコア（独自算出の注目度）: 89.00449751022771
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Differential Neural Architecture Search (NAS) methods represent the network
architecture as a repetitive proxy directed acyclic graph (DAG) and optimize
the network weights and architecture weights alternatively in a differential
manner. However, existing methods model the architecture weights on each edge
(i.e., a layer in the network) as statistically independent variables, ignoring
the dependency between edges in DAG induced by their directed topological
connections. In this paper, we make the first attempt to investigate such
dependency by proposing a novel Inter-layer Transition NAS method. It casts the
architecture optimization into a sequential decision process where the
dependency between the architecture weights of connected edges is explicitly
modeled. Specifically, edges are divided into inner and outer groups according
to whether or not their predecessor edges are in the same cell. While the
architecture weights of outer edges are optimized independently, those of inner
edges are derived sequentially based on the architecture weights of their
predecessor edges and the learnable transition matrices in an attentive
probability transition manner. Experiments on five benchmarks confirm the value
of modeling inter-layer dependency and demonstrate the proposed method
outperforms state-of-the-art methods.
- Abstract（参考訳）: 微分ニューラルネットワーク探索(NAS)法は、ネットワークアーキテクチャを反復的プロキシ指向非巡回グラフ(DAG)として表現し、ネットワーク重みとアーキテクチャ重みを微分的に最適化する。
しかし、既存の手法では各エッジ(すなわちネットワーク内の層)のアーキテクチャの重み付けを統計的に独立な変数としてモデル化し、その有向位相接続によって引き起こされるdag内のエッジ間の依存性を無視している。
本稿では,新しい層間遷移nas法を提案することで,その依存性を調べる最初の試みを行う。
アーキテクチャ最適化は、接続されたエッジのアーキテクチャ重み間の依存関係を明示的にモデル化するシーケンシャルな決定プロセスに置かれる。
具体的には、エッジが同一セル内にあるか否かに応じて、内側と外側のグループに分割される。
外縁のアーキテクチャ重みは独立に最適化されるが、内縁のアーキテクチャ重みは前縁のアーキテクチャ重みと学習可能な遷移行列の注意的確率遷移法に基づいて順次導出される。
5つのベンチマーク実験で、層間依存性のモデリングの価値を確認し、提案手法が最先端手法よりも優れていることを示す。
関連論文リスト
- Detecting and Approximating Redundant Computational Blocks in Neural Networks [25.436785396394804]
ネットワーク内の類似性は、より効率的なニューラルネットワークを設計する新たな機会を提供する。
本稿では,冗長ブロックを検出するための単純な測度であるBlock Redundancyを導入し,冗長ブロックを近似するためにRBA(Redundant Blocks Approximation)を提案する。
RBAは、優れたパフォーマンスを維持しながら、モデルパラメータと時間の複雑さを減らす。
論文 参考訳（メタデータ） (2024-10-07T11:35:24Z) - Explaining Modern Gated-Linear RNNs via a Unified Implicit Attention Formulation [54.50526986788175]
効率的なシーケンスモデリングの最近の進歩は、Mamba、RWKV、および様々なゲートRNNのような注意のないレイヤーを生み出している。
我々はこれらのモデルの統一的なビューを示し、暗黙の因果自己注意層のような層を定式化する。
筆者らのフレームワークは,異なるレイヤに対する類似の基盤となるメカニズムを比較検討し,説明可能性の手法を直接適用する手段を提供する。
論文 参考訳（メタデータ） (2024-05-26T09:57:45Z) - DepGraph: Towards Any Structural Pruning [68.40343338847664]
我々は、CNN、RNN、GNN、Transformersのような任意のアーキテクチャの一般的な構造解析について研究する。
本稿では,階層間の依存関係を明示的にモデル化し,包括的にグループ化してプルーニングを行う汎用かつ完全自動な手法であるemphDependency Graph(DepGraph)を提案する。
本研究では,画像用ResNe(X)t,DenseNet,MobileNet,Vision Transformer,グラフ用GAT,3Dポイントクラウド用DGCNN,言語用LSTMなど,さまざまなアーキテクチャやタスクに関する手法を広範囲に評価し,言語用LSTMと並行して示す。
論文 参考訳（メタデータ） (2023-01-30T14:02:33Z) - Rethinking Architecture Selection in Differentiable NAS [74.61723678821049]
微分可能なニューラルアーキテクチャ探索は、その探索効率と簡易性において最も人気のあるNAS手法の1つである。
本稿では,各操作がスーパーネットに与える影響を直接測定する摂動に基づくアーキテクチャ選択を提案する。
提案手法により,DARTSの故障モードを大幅に緩和できることがわかった。
論文 参考訳（メタデータ） (2021-08-10T00:53:39Z) - iDARTS: Differentiable Architecture Search with Stochastic Implicit
Gradients [75.41173109807735]
微分可能なArchiTecture Search(DARTS)は先日,ニューラルアーキテクチャサーチ(NAS)の主流になった。
暗黙の関数定理に基づいてDARTSの過次計算に取り組む。
提案手法であるiDARTSのアーキテクチャ最適化は,定常点に収束することが期待される。
論文 参考訳（メタデータ） (2021-06-21T00:44:11Z) - Adversarially Robust Neural Architectures [43.74185132684662]
本稿では,NASフレームワークを用いたアーキテクチャの観点から,ネットワークの対角的ロバスト性を改善することを目的とする。
本稿では, 対向ロバスト性, リプシッツ定数, アーキテクチャパラメータの関係について検討する。
提案アルゴリズムは,異なるデータセットに対する様々な攻撃の下で,すべてのモデルの中で最高の性能を実証的に達成する。
論文 参考訳（メタデータ） (2020-09-02T08:52:15Z) - DC-NAS: Divide-and-Conquer Neural Architecture Search [108.57785531758076]
本稿では,ディープ・ニューラル・アーキテクチャーを効果的かつ効率的に探索するためのディバイド・アンド・コンカ(DC)手法を提案する。
ImageNetデータセットで75.1%の精度を達成しており、これは同じ検索空間を使った最先端の手法よりも高い。
論文 参考訳（メタデータ） (2020-05-29T09:02:16Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。