論文の概要: $\alpha$ DARTS Once More: Enhancing Differentiable Architecture Search by Masked Image Modeling

• arxiv url: http://arxiv.org/abs/2211.10105v1
• Date: Fri, 18 Nov 2022 09:07:19 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-21 14:59:50.099691
• Title: $\alpha$ DARTS Once More: Enhancing Differentiable Architecture Search by Masked Image Modeling
• Title（参考訳）: 再び$\alpha$ dart: マスク画像モデリングによる差別化可能なアーキテクチャ検索の拡張
• Authors: Bicheng Guo, Shuxuan Guo, Miaojing Shi, Peng Chen, Shibo He, Jiming Chen, Kaicheng Yu
• Abstract要約: 微分可能なアーキテクチャサーチ(DARTS)は自動機械学習における主流の方向である。 パッチ回復アプローチを定式化し,意味情報を付加的に注入することを提案する。 CIFAR-10, CIFAR-100, ImageNet では, 従来の DARTS の変種を超越し, 最先端の結果が得られる。
• 参考スコア（独自算出の注目度）: 25.75814720792934
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Differentiable architecture search (DARTS) has been a mainstream direction in automatic machine learning. Since the discovery that original DARTS will inevitably converge to poor architectures, recent works alleviate this by either designing rule-based architecture selection techniques or incorporating complex regularization techniques, abandoning the simplicity of the original DARTS that selects architectures based on the largest parametric value, namely $\alpha$. Moreover, we find that all the previous attempts only rely on classification labels, hence learning only single modal information and limiting the representation power of the shared network. To this end, we propose to additionally inject semantic information by formulating a patch recovery approach. Specifically, we exploit the recent trending masked image modeling and do not abandon the guidance from the downstream tasks during the search phase. Our method surpasses all previous DARTS variants and achieves state-of-the-art results on CIFAR-10, CIFAR-100, and ImageNet without complex manual-designed strategies.
• Abstract（参考訳）: 微分可能なアーキテクチャサーチ(DARTS)は自動機械学習における主流の方向である。 オリジナルのDARTSが必然的に貧弱なアーキテクチャに収束することの発見以来、最近の研究はルールベースのアーキテクチャ選択テクニックを設計するか、複雑な正規化技術を取り入れることでこれを緩和し、最大のパラメトリック値である$\alpha$に基づいてアーキテクチャを選択するオリジナルのDARTSの単純さを放棄した。 さらに,従来の試みは分類ラベルのみに依存しており,単一のモーダル情報のみを学習し,共有ネットワークの表現力を制限していた。 そこで本研究では,パッチ回復アプローチを定式化し,意味情報の追加注入を提案する。 具体的には,最近流行しているマスキング画像モデリングを活用し,検索段階で下流タスクからのガイダンスを放棄しない。 CIFAR-10, CIFAR-100, ImageNetでは, 複雑な手動設計手法を使わずに, 従来のDARTSのバリエーションを超越し, 最先端の成果が得られる。

関連論文リスト

• EM-DARTS: Hierarchical Differentiable Architecture Search for Eye Movement Recognition [54.99121380536659]
  眼球運動バイオメトリックスは、高い安全性の識別により注目されている。 深層学習(DL)モデルは近年,眼球運動認識に成功している。 DLアーキテクチャはまだ人間の事前知識によって決定されている。 眼球運動認識のためのDLアーキテクチャを自動設計する階層的微分可能なアーキテクチャ探索アルゴリズムEM-DARTSを提案する。
  論文  参考訳（メタデータ） (2024-09-22T13:11:08Z)
• Relax DARTS: Relaxing the Constraints of Differentiable Architecture Search for Eye Movement Recognition [9.905155497581815]
  眼球運動認識の分野にNASアルゴリズムを導入する。 Relax DARTSは、より効率的なネットワーク検索とトレーニングを実現するために、DARTSの改良である。 Relax DARTSは、他の多機能時間分類タスクへの適応性を示す。
  論文  参考訳（メタデータ） (2024-09-18T02:37:04Z)
• DAFormer: Improving Network Architectures and Training Strategies for Domain-Adaptive Semantic Segmentation [99.88539409432916]
  教師なしドメイン適応(UDA)プロセスについて検討する。 ベンチマーク結果に基づいて,新しい UDA 手法である DAFormer を提案する。 DAFormerは,GTA->Cityscapesの10.8 mIoU,Synthia->Cityscapesの5.4 mIoUにより,最先端の性能を大幅に向上させる。
  論文  参考訳（メタデータ） (2021-11-29T19:00:46Z)
• D-DARTS: Distributed Differentiable Architecture Search [75.12821786565318]
  微分可能なArchiTecture Search(DARTS)は、最も流行しているニューラルネットワークサーチ(NAS)の1つである。 セルレベルで複数のニューラルネットワークをネストすることでこの問題に対処する新しいソリューションD-DARTSを提案する。
  論文  参考訳（メタデータ） (2021-08-20T09:07:01Z)
• Rethinking Architecture Selection in Differentiable NAS [74.61723678821049]
  微分可能なニューラルアーキテクチャ探索は、その探索効率と簡易性において最も人気のあるNAS手法の1つである。 本稿では,各操作がスーパーネットに与える影響を直接測定する摂動に基づくアーキテクチャ選択を提案する。 提案手法により,DARTSの故障モードを大幅に緩和できることがわかった。
  論文  参考訳（メタデータ） (2021-08-10T00:53:39Z)
• Neighborhood-Aware Neural Architecture Search [43.87465987957761]
  探索空間におけるフラットミニマアーキテクチャを同定するニューラルアーキテクチャ探索(NAS)手法を提案する。 我々の定式化は、アーキテクチャの「平坦性」を考慮に入れ、このアーキテクチャの近傍における性能を集約する。 本論文では, 地域別ランダム検索 (NA-RS) と地域別差別化アーキテクチャ検索 (NA-DARTS) を提案する。
  論文  参考訳（メタデータ） (2021-05-13T15:56:52Z)
• Multi-Stage Progressive Image Restoration [167.6852235432918]
  本稿では、これらの競合する目標を最適にバランスできる新しい相乗的設計を提案する。 本提案では, 劣化した入力の復元関数を段階的に学習する多段階アーキテクチャを提案する。 MPRNetという名前の密接な相互接続型マルチステージアーキテクチャは、10のデータセットに対して強力なパフォーマンス向上を実現している。
  論文  参考訳（メタデータ） (2021-02-04T18:57:07Z)
• Towards Learning Convolutions from Scratch [34.71001535076825]
  畳み込みはコンピュータビジョンで使用されるアーキテクチャの最も重要な構成要素の1つである。 現在の最先端アーキテクチャ検索アルゴリズムでは、データから学習するのではなく、畳み込みを既存のモジュールの1つとして使用しています。 ローカル接続でアーキテクチャを学習するLASSOアルゴリズムの簡単な変種である$beta$-LASSOを提案する。
  論文  参考訳（メタデータ） (2020-07-27T16:13:13Z)
• RC-DARTS: Resource Constrained Differentiable Architecture Search [162.7199952019152]
  資源制約付き微分可能なアーキテクチャ探索法(RC-DARTS)を提案する。 RC-DARTS法は,モデルサイズが小さく,計算量も少ない,軽量なニューラルアーキテクチャを学習する。
  論文  参考訳（メタデータ） (2019-12-30T05:02:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。