論文の概要: Partial Connection Based on Channel Attention for Differentiable Neural Architecture Search

• arxiv url: http://arxiv.org/abs/2208.00791v1
• Date: Mon, 1 Aug 2022 12:05:55 GMT
• ステータス: 処理完了
• システム内更新日: 2022-08-02 14:16:39.085498
• Title: Partial Connection Based on Channel Attention for Differentiable Neural Architecture Search
• Title（参考訳）: 異なるニューラルネットワーク探索のためのチャネル注意に基づく部分接続
• Authors: Yu Xue, Jiafeng Qin
• Abstract要約: 微分可能なニューラルネットワーク探索(DARTS)は勾配誘導探索法である。 いくつかの重み付き操作のパラメータは、初期段階では十分に訓練されない。 微分可能なニューラルアーキテクチャ探索(ADARTS)のためのチャネルアテンションに基づく部分チャネル接続を提案する。
• 参考スコア（独自算出の注目度）: 1.1125818448814198
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Differentiable neural architecture search (DARTS), as a gradient-guided search method, greatly reduces the cost of computation and speeds up the search. In DARTS, the architecture parameters are introduced to the candidate operations, but the parameters of some weight-equipped operations may not be trained well in the initial stage, which causes unfair competition between candidate operations. The weight-free operations appear in large numbers which results in the phenomenon of performance crash. Besides, a lot of memory will be occupied during training supernet which causes the memory utilization to be low. In this paper, a partial channel connection based on channel attention for differentiable neural architecture search (ADARTS) is proposed. Some channels with higher weights are selected through the attention mechanism and sent into the operation space while the other channels are directly contacted with the processed channels. Selecting a few channels with higher attention weights can better transmit important feature information into the search space and greatly improve search efficiency and memory utilization. The instability of network structure caused by random selection can also be avoided. The experimental results show that ADARTS achieved 2.46% and 17.06% classification error rates on CIFAR-10 and CIFAR-100, respectively. ADARTS can effectively solve the problem that too many skip connections appear in the search process and obtain network structures with better performance.
• Abstract（参考訳）: 微分可能なニューラルネットワーク探索(DARTS)は、勾配誘導探索法であり、計算コストを大幅に削減し、探索を高速化する。 dartでは、アーキテクチャパラメータが候補操作に導入されるが、いくつかの重み付き操作のパラメータは、初期段階ではうまくトレーニングされず、候補操作間の不公平な競合を引き起こす可能性がある。 重量のない操作は、パフォーマンスクラッシュの現象をもたらす多数のものが現れます。 さらに、トレーニングスーパーネット中に多くのメモリが占有され、メモリ使用率が低下する。 本稿では,adarts( differentiable neural architecture search)のためのチャネルアテンションに基づく部分チャネル接続を提案する。 重みの高い一部のチャネルは注意機構を介して選択され、操作空間に送られ、他のチャネルは処理されたチャネルに直接接触される。 注目度の高いチャンネルを選択することで、検索空間に重要な特徴情報を伝達し、検索効率とメモリ利用を大幅に向上させることができる。 ランダム選択によるネットワーク構造の不安定性も回避できる。 実験の結果、ADARTSはCIFAR-10とCIFAR-100でそれぞれ2.46%と17.06%の分類誤り率を達成した。 ADARTSは、多くのスキップ接続が検索プロセスに現れるという問題を効果的に解決し、より良い性能でネットワーク構造を得ることができる。

関連論文リスト

• Efficient Visual Fault Detection for Freight Train via Neural Architecture Search with Data Volume Robustness [6.5769476554745925]
  貨物列車の視覚的故障検出のためのNASに基づく効率的な枠組みを提案する。 まず,頭部の有効受容場を発見するためのスケールアウェア検索空間を設計する。 第2に、特に設計された検索空間に基づいて、検索コストを削減するために、データボリュームの堅牢性について検討する。
  論文  参考訳（メタデータ） (2024-05-27T09:47:49Z)
• Revisiting Random Channel Pruning for Neural Network Compression [159.99002793644163]
  チャネル(または3Dフィルタ)プルーニングは、ニューラルネットワークの推論を加速する有効な方法である。 本稿では,ランダムな探索により,プルーンドモデルのチャネル構成を決定することを試みる。 この単純な戦略は、他のチャネルプルーニング手法と比較して非常にうまく機能することを示す。
  論文  参考訳（メタデータ） (2022-05-11T17:59:04Z)
• $\beta$-DARTS: Beta-Decay Regularization for Differentiable Architecture Search [85.84110365657455]
  本研究では,DARTSに基づくNAS探索過程を正規化するために,ベータデカイと呼ばれるシンプルだが効率的な正規化手法を提案する。 NAS-Bench-201の実験結果から,提案手法は探索過程の安定化に有効であり,探索されたネットワークを異なるデータセット間で転送しやすくする。
  論文  参考訳（メタデータ） (2022-03-03T11:47:14Z)
• CATRO: Channel Pruning via Class-Aware Trace Ratio Optimization [61.71504948770445]
  本稿では,CATRO (Class-Aware Trace Ratio Optimization) を用いた新しいチャネルプルーニング手法を提案する。 CATROは、他の最先端チャネルプルーニングアルゴリズムと同等の精度で、同様のコストまたは低コストで高い精度を達成できることを示す。 CATROは、クラス認識の特性のため、様々な分類サブタスクに適応的に効率の良いネットワークを創り出すのに適している。
  論文  参考訳（メタデータ） (2021-10-21T06:26:31Z)
• RepNAS: Searching for Efficient Re-parameterizing Blocks [4.146471448631912]
  1段階NAS手法であるRepNASは、分岐数制約の下で各層に対して最適な多様な分岐ブロック(ODBB)を効率的に探索する。 実験の結果,探索されたODBBは,手動分岐ブロック(DBB)を効率よく越えることが可能であった。
  論文  参考訳（メタデータ） (2021-09-08T09:04:59Z)
• D-DARTS: Distributed Differentiable Architecture Search [75.12821786565318]
  微分可能なArchiTecture Search(DARTS)は、最も流行しているニューラルネットワークサーチ(NAS)の1つである。 セルレベルで複数のニューラルネットワークをネストすることでこの問題に対処する新しいソリューションD-DARTSを提案する。
  論文  参考訳（メタデータ） (2021-08-20T09:07:01Z)
• Group Fisher Pruning for Practical Network Compression [58.25776612812883]
  本稿では,様々な複雑な構造に応用可能な汎用チャネルプルーニング手法を提案する。 我々は、単一チャネルと結合チャネルの重要性を評価するために、フィッシャー情報に基づく統一されたメトリクスを導出する。 提案手法は,結合チャネルを含む任意の構造をプルークするために利用できる。
  論文  参考訳（メタデータ） (2021-08-02T08:21:44Z)
• Partially-Connected Differentiable Architecture Search for Deepfake and Spoofing Detection [14.792884010821762]
  本稿では,darts( differentiable architecture search)アプローチをdeepfakeおよびspoofing検出問題に適用した最初の事例について報告する。 DARTSは連続的かつ微分可能な検索空間で動作し、アーキテクチャとパラメータの両方を勾配降下により最適化することができる。
  論文  参考訳（メタデータ） (2021-04-07T13:53:20Z)
• ISTA-NAS: Efficient and Consistent Neural Architecture Search by Sparse Coding [86.40042104698792]
  スパース符号問題としてニューラルアーキテクチャ探索を定式化する。 実験では、CIFAR-10の2段階法では、検索にわずか0.05GPUしか必要としない。 本手法は,CIFAR-10とImageNetの両方において,評価時間のみのコストで最先端のパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2020-10-13T04:34:24Z)
• BS-NAS: Broadening-and-Shrinking One-Shot NAS with Searchable Numbers of Channels [25.43631259260473]
  ワンショット法はニューラルアーキテクチャサーチ(NAS)において最も一般的な方法の1つに進化した。 ワンショット法は、ウェイトシェアリングとスーパーネットの単一トレーニングにより、ニューラルネットワークサーチ(NAS)において最も一般的な方法の1つに進化した。 既存の手法では,各層に所定の数のチャネルが最適以下である場合と,重み結合と連続的な探索空間の拡大によるモデル平均化効果とランキング相関の低下という2つの問題に悩まされている。 Broadening-and-Shrinking One-Shot NAS (BS-NAS) フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-03-22T06:32:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。