論文の概要: LT-DARTS: An Architectural Approach to Enhance Deep Long-Tailed Learning

• arxiv url: http://arxiv.org/abs/2411.06098v2
• Date: Wed, 13 Nov 2024 09:31:14 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-14 12:31:45.956889
• Title: LT-DARTS: An Architectural Approach to Enhance Deep Long-Tailed Learning
• Title（参考訳）: LT-DARTS: 長期学習の深化に向けたアーキテクチャ的アプローチ
• Authors: Yuhan Pan, Yanan Sun, Wei Gong,
• Abstract要約: 我々はLong-Tailed Differential Architecture Search (LT-DARTS)を紹介する。 長いデータに対して優れたパフォーマンスを示すアーキテクチャコンポーネントを探索するために、広範な実験を行います。 これにより、検索プロセスを通じて得られたアーキテクチャが優れたコンポーネントを組み込むことが保証される。
• 参考スコア（独自算出の注目度）: 5.214135587370722
• License:
• Abstract: Deep long-tailed recognition has been widely studied to address the issue of imbalanced data distributions in real-world scenarios. However, there has been insufficient focus on the design of neural architectures, despite empirical evidence suggesting that architecture can significantly impact performance. In this paper, we attempt to mitigate long-tailed issues through architectural improvements. To simplify the design process, we utilize Differential Architecture Search (DARTS) to achieve this goal. Unfortunately, existing DARTS methods struggle to perform well in long-tailed scenarios. To tackle this challenge, we introduce Long-Tailed Differential Architecture Search (LT-DARTS). Specifically, we conduct extensive experiments to explore architectural components that demonstrate better performance on long-tailed data and propose a new search space based on our observations. This ensures that the architecture obtained through our search process incorporates superior components. Additionally, we propose replacing the learnable linear classifier with an Equiangular Tight Frame (ETF) classifier to further enhance our method. This classifier effectively alleviates the biased search process and prevents performance collapse. Extensive experimental evaluations demonstrate that our approach consistently improves upon existing methods from an orthogonal perspective and achieves state-of-the-art results with simple enhancements.
• Abstract（参考訳）: 現実世界のシナリオにおける不均衡なデータ分布の問題に対処するために、深い長い尾の認識が広く研究されている。 しかしながら、アーキテクチャがパフォーマンスに著しく影響を及ぼすという実証的な証拠があるにもかかわらず、ニューラルネットワークの設計にはあまり焦点が当てられていない。 本稿では,アーキテクチャ改善による長期的課題の軽減を試みる。 設計プロセスを簡単にするため,微分アーキテクチャ探索(DARTS)を用いて目的を達成した。 残念ながら、既存のDARTSメソッドは長い尾のシナリオでうまく機能しない。 この課題に対処するために,Long-Tailed Differential Architecture Search (LT-DARTS)を導入する。 具体的には,長期データに対する優れた性能を示すアーキテクチャコンポーネントを探索し,観測結果に基づく新しい探索空間を提案する。 これにより、検索プロセスを通じて得られたアーキテクチャが優れたコンポーネントを組み込むことが保証される。 さらに,学習可能な線形分類器をEquiangular Tight Frame (ETF) 分類器に置き換えることを提案する。 この分類器は、偏りのある探索プロセスを効果的に軽減し、性能の崩壊を防止する。 本手法は従来手法を直交的観点から一貫的に改善し, 簡易な改良により最先端の成果が得られたことを示す。

関連論文リスト

• Heterogeneous Learning Rate Scheduling for Neural Architecture Search on Long-Tailed Datasets [0.0]
  本稿では,DARTSのアーキテクチャパラメータに適した適応学習率スケジューリング手法を提案する。 提案手法は,学習エポックに基づくアーキテクチャパラメータの学習率を動的に調整し,よく訓練された表現の破壊を防止する。
  論文  参考訳（メタデータ） (2024-06-11T07:32:25Z)
• Masked Autoencoders Are Robust Neural Architecture Search Learners [14.965550562292476]
  本研究では,Masked Autoencoders (MAE) に基づく新しいNASフレームワークを提案する。 教師あり学習対象を画像再構成タスクに置き換えることで,ネットワークアーキテクチャの堅牢な発見を可能にする。
  論文  参考訳（メタデータ） (2023-11-20T13:45:21Z)
• Making Differentiable Architecture Search less local [9.869449181400466]
  微分可能なニューラルネットワークアーキテクチャ検索(DARTS)は、検索効率を劇的に向上させる有望なNASアプローチである。 これは、検索がしばしば有害なアーキテクチャにつながるパフォーマンスの崩壊に苦しむことが示されています。 DARTS問題の定式化を変更することなく、空間をよりよく探索できる、よりグローバルな最適化スキームを開発する。
  論文  参考訳（メタデータ） (2021-04-21T10:36:43Z)
• A Design Space Study for LISTA and Beyond [79.76740811464597]
  近年では、反復アルゴリズムの展開による問題固有のディープネットワーク構築に大きな成功を収めている。 本稿では,深層ネットワークにおける設計アプローチとしてのアンローリングの役割について再考する。 スパースリカバリのためのlistaを代表例として,未ロールモデルに対する設計空間調査を初めて実施した。
  論文  参考訳（メタデータ） (2021-04-08T23:01:52Z)
• CM-NAS: Cross-Modality Neural Architecture Search for Visible-Infrared Person Re-Identification [102.89434996930387]
  VI-ReIDは、暗い環境での単一モダリティ人物ReIDの制限を突破し、クロスモダリティ歩行者のイメージを一致させることを目指しています。 既存の作品は、さまざまな2ストリームアーキテクチャを手動で設計して、モダリティ固有およびモダリティシャーブル表現を別々に学習する。 CM-NAS(Cross-Modality Neural Architecture Search)という手法を提案する。
  論文  参考訳（メタデータ） (2021-01-21T07:07:00Z)
• Off-Policy Reinforcement Learning for Efficient and Effective GAN Architecture Search [50.40004966087121]
  本稿では,GANアーキテクチャ探索のための強化学習に基づくニューラルアーキテクチャ探索手法を提案する。 鍵となる考え方は、よりスムーズなアーキテクチャサンプリングのためのマルコフ決定プロセス(MDP)として、GANアーキテクチャ探索問題を定式化することである。 我々は,従来の政策によって生成されたサンプルを効率的に活用する,非政治的なGANアーキテクチャ探索アルゴリズムを利用する。
  論文  参考訳（メタデータ） (2020-07-17T18:29:17Z)
• DrNAS: Dirichlet Neural Architecture Search [88.56953713817545]
  ディリクレ分布をモデルとした連続緩和型混合重みをランダム変数として扱う。 最近開発されたパスワイズ微分により、ディリクレパラメータは勾配に基づく一般化で容易に最適化できる。 微分可能なNASの大きなメモリ消費を軽減するために, 単純かつ効果的な進行学習方式を提案する。
  論文  参考訳（メタデータ） (2020-06-18T08:23:02Z)
• Stage-Wise Neural Architecture Search [65.03109178056937]
  ResNetやNASNetのような現代の畳み込みネットワークは、多くのコンピュータビジョンアプリケーションで最先端の結果を得た。 これらのネットワークは、同じ解像度で表現を操作するレイヤのセットであるステージで構成されている。 各ステージにおけるレイヤー数の増加はネットワークの予測能力を向上させることが示されている。 しかし、結果として得られるアーキテクチャは、浮動小数点演算、メモリ要求、推論時間の観点から計算的に高価になる。
  論文  参考訳（メタデータ） (2020-04-23T14:16:39Z)
• Stabilizing Differentiable Architecture Search via Perturbation-based Regularization [99.81980366552408]
  最終アーキテクチャを蒸留する際の劇的な性能低下につながる急激なバリデーション損失の状況は、不安定を引き起こす重要な要因であることがわかった。 本研究では,DARTSに基づく手法の汎用性の向上と損失景観の円滑化を図るため,摂動型正規化(SmoothDARTS)を提案する。
  論文  参考訳（メタデータ） (2020-02-12T23:46:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。