Fugu-MT 論文翻訳(概要): ICDARTS: Improving the Stability and Performance of Cyclic DARTS

論文の概要: ICDARTS: Improving the Stability and Performance of Cyclic DARTS

arxiv url: http://arxiv.org/abs/2309.00664v1
Date: Fri, 1 Sep 2023 15:51:38 GMT
ステータス: 処理完了
システム内更新日: 2023-09-07 01:57:47.804943
Title: ICDARTS: Improving the Stability and Performance of Cyclic DARTS
Title（参考訳）: ICDARTS:サイクルDARTの安定性と性能向上
Authors: Emily Herron, Derek Rose, and Steven Young
Abstract要約: 本研究は, サイクルDARTSの安定性と一般化性の向上をもたらす。 ICDARTSは,評価ネットワークの重み付けが検索ネットワークの重み付けに依存することを排除した改良手法である。また、ICDARTSの検索空間を拡大する手法についても検討し、その動作範囲を拡大し、連続的な検索セルを識別するための代替手法を探索する。
参考スコア（独自算出の注目度）: 0.6349503549199401
License: http://creativecommons.org/licenses/by/4.0/
Abstract: This work introduces improvements to the stability and generalizability of Cyclic DARTS (CDARTS). CDARTS is a Differentiable Architecture Search (DARTS)-based approach to neural architecture search (NAS) that uses a cyclic feedback mechanism to train search and evaluation networks concurrently. This training protocol aims to optimize the search process by enforcing that the search and evaluation networks produce similar outputs. However, CDARTS introduces a loss function for the evaluation network that is dependent on the search network. The dissimilarity between the loss functions used by the evaluation networks during the search and retraining phases results in a search-phase evaluation network that is a sub-optimal proxy for the final evaluation network that is utilized during retraining. We present ICDARTS, a revised approach that eliminates the dependency of the evaluation network weights upon those of the search network, along with a modified process for discretizing the search network's \textit{zero} operations that allows these operations to be retained in the final evaluation networks. We pair the results of these changes with ablation studies on ICDARTS' algorithm and network template. Finally, we explore methods for expanding the search space of ICDARTS by expanding its operation set and exploring alternate methods for discretizing its continuous search cells. These experiments resulted in networks with improved generalizability and the implementation of a novel method for incorporating a dynamic search space into ICDARTS.
Abstract（参考訳）: 本研究は, サイクリックDARTS(CDARTS)の安定性と一般化性の向上をもたらす。 cdartsは、ニューラルネットワーク検索(nas)に対する差別化可能なアーキテクチャ検索(darts)ベースのアプローチで、サーチと評価ネットワークを同時にトレーニングするために循環フィードバック機構を使用する。このトレーニングプロトコルは,検索および評価ネットワークが類似の出力を生成することを強制することによって,探索プロセスを最適化することを目的としている。しかし,CDARTSでは,検索ネットワークに依存する評価ネットワークの損失関数を導入している。探索および再学習フェーズにおいて評価ネットワークが使用する損失関数の相違により、再学習時に利用する最終評価ネットワークの準最適プロキシである探索位相評価ネットワークが得られる。 icdartsは,評価ネットワークの重み付けを検索ネットワークの重み付けに依存することを排除し,これらの操作を最終評価ネットワークに保持する検索ネットワークの\textit{zero}演算を識別する修正プロセスを提案する。これらの結果とicdartsアルゴリズムとネットワークテンプレートのアブレーション研究とを組み合わせる。最後に, icdarts の探索空間を拡大する手法を探索し, 操作集合を拡大し, 連続探索セルを識別するための代替手法を探索する。これらの実験により、一般化性が向上し、動的検索空間をICDARTSに組み込む新しい手法が実装された。

関連論文リスト

A Unified Framework for Exploratory Learning-Aided Community Detection Under Topological Uncertainty [16.280950663982107]
META-CODEは、ソーシャルネットワークにおける重複コミュニティを検出する統合フレームワークである。 1)新たな再構築損失によってトレーニングされたグラフニューラルネットワーク(GNN)に基づくノードレベルのコミュニティアフィリエイト埋め込み,2)コミュニティアフィリエイトベースのノードクエリによるネットワーク探索,3)エッジ接続に基づくSiameseニューラルネットワークモデルを用いたネットワーク推論,の3つのステップで構成されている。
論文参考訳（メタデータ） (2023-04-10T10:22:21Z)
Dynamic Neural Network for Multi-Task Learning Searching across Diverse Network Topologies [14.574399133024594]
多様なグラフトポロジを持つ複数のタスクに対して最適化された構造を探索する新しいMTLフレームワークを提案する。我々は、トポロジ的に多様なタスク適応構造を構築するために、読み出し/読み出し層を備えたDAGベースの制限付き中央ネットワークを設計する。
論文参考訳（メタデータ） (2023-03-13T05:01:50Z)
MARLIN: Soft Actor-Critic based Reinforcement Learning for Congestion Control in Real Networks [63.24965775030673]
そこで本研究では,汎用的な渋滞制御(CC)アルゴリズムを設計するための新しい強化学習(RL)手法を提案する。我々の解であるMARLINは、Soft Actor-Criticアルゴリズムを用いてエントロピーとリターンの両方を最大化する。我々は,MARLINを実ネットワーク上で訓練し,実ミスマッチを克服した。
論文参考訳（メタデータ） (2023-02-02T18:27:20Z)
$\beta$-DARTS: Beta-Decay Regularization for Differentiable Architecture Search [85.84110365657455]
本研究では,DARTSに基づくNAS探索過程を正規化するために,ベータデカイと呼ばれるシンプルだが効率的な正規化手法を提案する。 NAS-Bench-201の実験結果から,提案手法は探索過程の安定化に有効であり,探索されたネットワークを異なるデータセット間で転送しやすくする。
論文参考訳（メタデータ） (2022-03-03T11:47:14Z)
Probeable DARTS with Application to Computational Pathology [44.20005949950844]
我々は、その効率のために微分可能なアーキテクチャサーチ(DARTS)を使用している。次に、最適なネットワークアーキテクチャを探索することで、CPathアプリケーションに検索フレームワークを適用します。その結果,検索したネットワークは,予測精度と複雑性の観点から,最先端ネットワークよりも優れていた。
論文参考訳（メタデータ） (2021-08-16T02:16:06Z)
Combined Depth Space based Architecture Search For Person Re-identification [70.86236888223569]
個人再識別(ReID)のための軽量で適切なネットワークの設計を目指しています。本研究では,CDNetと呼ばれる効率的なネットワークアーキテクチャの探索に基づく,複合深さ空間(Componed Depth Space, CDS)と呼ばれる新しい検索空間を提案する。そこで我々はTop-k Sample Search戦略という低コストの検索戦略を提案し、検索空間をフル活用し、局所的な最適結果のトラップを避ける。
論文参考訳（メタデータ） (2021-04-09T02:40:01Z)
ISTA-NAS: Efficient and Consistent Neural Architecture Search by Sparse Coding [86.40042104698792]
スパース符号問題としてニューラルアーキテクチャ探索を定式化する。実験では、CIFAR-10の2段階法では、検索にわずか0.05GPUしか必要としない。本手法は,CIFAR-10とImageNetの両方において,評価時間のみのコストで最先端のパフォーマンスを実現する。
論文参考訳（メタデータ） (2020-10-13T04:34:24Z)
CATCH: Context-based Meta Reinforcement Learning for Transferrable Architecture Search [102.67142711824748]
CATCHは、転送可能なarChitecture searcHのための、Context-bAsed meTa強化学習アルゴリズムである。メタラーニングとRLの組み合わせにより、CATCHは検索空間に依存しないまま、新しいタスクに効率的に適応できる。また、ImageNet、COCO、Cityscapesの競合ネットワークとしてクロスドメインアーキテクチャサーチを扱うこともできる。
論文参考訳（メタデータ） (2020-07-18T09:35:53Z)
Data-dependent Pruning to find the Winning Lottery Ticket [0.0]
Lottery Ticket仮説は、新しいニューラルネットワークには、完全なネットワークと同じようなパフォーマンスを達成するためにトレーニング可能な、小さなサブネットワークが含まれている、と仮定する。我々は、データ依存コンポーネントをプルーニング基準に組み込むことで、既存のプルーニングアルゴリズムの性能を一貫して向上させると結論付けた。
論文参考訳（メタデータ） (2020-06-25T12:48:34Z)
Cyclic Differentiable Architecture Search [99.12381460261841]
微分可能なArchiTecture Search(DARTS)は、ニューラルアーキテクチャサーチにおいて大きな注目を集めている。我々はCDARTSと呼ばれる新しい共同目標と新しい周期微分可能なArchiTecture Searchフレームワークを提案する。 DARTS検索の分野では、CIFAR10で97.52%、ImageNetで76.3%、トップ1で76.3%の精度を達成した。
論文参考訳（メタデータ） (2020-06-18T17:55:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。