論文の概要: FX-DARTS: Designing Topology-unconstrained Architectures with Differentiable Architecture Search and Entropy-based Super-network Shrinking

• arxiv url: http://arxiv.org/abs/2504.20079v1
• Date: Fri, 25 Apr 2025 08:34:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-02 19:15:54.567478
• Title: FX-DARTS: Designing Topology-unconstrained Architectures with Differentiable Architecture Search and Entropy-based Super-network Shrinking
• Title（参考訳）: FX-DARTS: 異なるアーキテクチャ探索とエントロピーに基づくスーパーネットワークシンクによるトポロジー制約のないアーキテクチャの設計
• Authors: Xuan Rao, Bo Zhao, Derong Liu, Cesare Alippi,
• Abstract要約: 微分可能なアーキテクチャサーチ(DARTS)の探索空間に強い先行性が課せられる 本稿では,セルトポロジの制約を排除し,スーパーネットワークの離散化機構を変更することで,これらの制約を緩和することを目的とする。 FX-DARTSは、パフォーマンスと計算複雑性の間の競合するトレードオフを持つ一連のニューラルネットワークを探索することができる。
• 参考スコア（独自算出の注目度）: 19.98065888943856
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Strong priors are imposed on the search space of Differentiable Architecture Search (DARTS), such that cells of the same type share the same topological structure and each intermediate node retains two operators from distinct nodes. While these priors reduce optimization difficulties and improve the applicability of searched architectures, they hinder the subsequent development of automated machine learning (Auto-ML) and prevent the optimization algorithm from exploring more powerful neural networks through improved architectural flexibility. This paper aims to reduce these prior constraints by eliminating restrictions on cell topology and modifying the discretization mechanism for super-networks. Specifically, the Flexible DARTS (FX-DARTS) method, which leverages an Entropy-based Super-Network Shrinking (ESS) framework, is presented to address the challenges arising from the elimination of prior constraints. Notably, FX-DARTS enables the derivation of neural architectures without strict prior rules while maintaining the stability in the enlarged search space. Experimental results on image classification benchmarks demonstrate that FX-DARTS is capable of exploring a set of neural architectures with competitive trade-offs between performance and computational complexity within a single search procedure.
• Abstract（参考訳）: 微分可能なアーキテクチャ探索 (DARTS) の探索空間には、同じタイプのセルが同じ位相構造を共有し、それぞれの中間ノードが異なるノードから2つの演算子を保持するように強い事前条件が課される。 これらの事前は最適化の困難を減らし、検索されたアーキテクチャの適用性を向上させる一方で、自動機械学習(Auto-ML)の開発を阻害し、アーキテクチャの柔軟性を改善して最適化アルゴリズムがより強力なニューラルネットワークを探索するのを防ぐ。 本稿では,セルトポロジの制約を排除し,スーパーネットワークの離散化機構を変更することで,これらの制約を緩和することを目的とする。 具体的には、エントロピーベースの Super-Network Shrinking (ESS) フレームワークを利用するフレキシブルDARTS (FX-DARTS) 法を提示し、事前制約の排除による課題に対処する。 特に、FX-DARTSは、拡張された検索空間の安定性を維持しながら、厳格な事前ルールなしでニューラルアーキテクチャの導出を可能にする。 画像分類ベンチマークの実験結果から、FX-DARTSは1つの探索手順で性能と計算複雑性の競合するトレードオフを持つニューラルネットワークの集合を探索できることが示された。

関連論文リスト

• DNAD: Differentiable Neural Architecture Distillation [6.026956571669411]
  識別可能なニューラルアーキテクチャ蒸留(DNAD)アルゴリズムは、2つのコアに基づいて開発されている。 DNADは6.0Mパラメータと598M FLOPのモデルで、ImageNet分類でトップ-1エラー率23.7%を達成した。 微分可能なアーキテクチャ探索(DARTS)の枠組みに基づくSNPSアルゴリズムの開発
  論文  参考訳（メタデータ） (2025-04-25T08:49:31Z)
• Spectral Architecture Search for Neural Networks [0.0]
  本稿では,層間転送行列のスペクトル特性を利用した新しいアーキテクチャ探索プロトコルを提案する。 提案手法は, 最小限の表現率を有する自己創出型アーキテクチャで, 調査対象のタスクを処理可能であることを示す。
  論文  参考訳（メタデータ） (2025-04-01T15:14:30Z)
• ZeroLM: Data-Free Transformer Architecture Search for Language Models [54.83882149157548]
  現在の自動プロキシ発見アプローチは、検索時間の拡張、データの過度なオーバーフィットへの感受性、構造的な複雑さに悩まされている。 本稿では,効率的な重み統計によるモデルキャパシティの定量化を目的とした,新しいゼロコストプロキシ手法を提案する。 本評価は,FlexiBERT ベンチマークで Spearman's rho 0.76 と Kendall's tau 0.53 を達成し,このアプローチの優位性を示すものである。
  論文  参考訳（メタデータ） (2025-03-24T13:11:22Z)
• OStr-DARTS: Differentiable Neural Architecture Search based on Operation Strength [70.76342136866413]
  分散アーキテクチャサーチ(DARTS)は、効果的なニューラルネットワークサーチの有望な技術として登場した。 DARTSは、アーキテクチャの劣化につながる、よく知られた退化問題に悩まされている。 最終損失に対する操作の重要性を推定する操作強度に基づく新しい基準を提案する。
  論文  参考訳（メタデータ） (2024-09-22T13:16:07Z)
• EM-DARTS: Hierarchical Differentiable Architecture Search for Eye Movement Recognition [20.209756662832365]
  微分可能なニューラルアーキテクチャサーチ(DARTS)は、高い探索効率でアーキテクチャ設計のマニュアルプロセスを自動化する。 眼球運動認識のためのDLアーキテクチャを自動設計する階層的微分可能なアーキテクチャ探索アルゴリズムEM-DARTSを提案する。 EM-DARTSは、最先端の認識性能につながる最適なアーキテクチャを実現できることを示す。
  論文  参考訳（メタデータ） (2024-09-22T13:11:08Z)
• HKNAS: Classification of Hyperspectral Imagery Based on Hyper Kernel Neural Architecture Search [104.45426861115972]
  設計したハイパーカーネルを利用して,構造パラメータを直接生成することを提案する。 我々は1次元または3次元の畳み込みを伴う画素レベルの分類と画像レベルの分類を別々に行う3種類のネットワークを得る。 6つの公開データセットに関する一連の実験は、提案手法が最先端の結果を得ることを示した。
  論文  参考訳（メタデータ） (2023-04-23T17:27:40Z)
• Iterative Soft Shrinkage Learning for Efficient Image Super-Resolution [91.3781512926942]
  画像超解像(SR)は、CNNからトランスフォーマーアーキテクチャへの広範なニューラルネットワーク設計を目撃している。 本研究は,市販のネットワーク設計を生かし,基礎となる計算オーバーヘッドを低減するため,超高解像度イテレーションにおけるネットワークプルーニングの可能性について検討する。 本研究では, ランダムネットワークのスパース構造を最適化し, 重要でない重みを小さめに微調整することにより, 反復型軟収縮率(ISS-P)法を提案する。
  論文  参考訳（メタデータ） (2023-03-16T21:06:13Z)
• $\Lambda$-DARTS: Mitigating Performance Collapse by Harmonizing Operation Selection among Cells [11.777101481512423]
  微分可能なニューラルアーキテクチャサーチ(DARTS)はニューラルアーキテクチャサーチ(NAS)の一般的な方法である 我々は、DARTSの収束をソフトマックス関数の飽和点に制限するウェイトシェアリングフレームワークにより、DARTSは特定の構造欠陥に悩まされていることを示す。 そこで本稿では,階層の勾配を整合させて動作選択を調和させることにより,性能低下を防止するための2つの新たな正規化用語を提案する。
  論文  参考訳（メタデータ） (2022-10-14T17:54:01Z)
• D-DARTS: Distributed Differentiable Architecture Search [75.12821786565318]
  微分可能なArchiTecture Search(DARTS)は、最も流行しているニューラルネットワークサーチ(NAS)の1つである。 セルレベルで複数のニューラルネットワークをネストすることでこの問題に対処する新しいソリューションD-DARTSを提案する。
  論文  参考訳（メタデータ） (2021-08-20T09:07:01Z)
• iDARTS: Differentiable Architecture Search with Stochastic Implicit Gradients [75.41173109807735]
  微分可能なArchiTecture Search(DARTS)は先日,ニューラルアーキテクチャサーチ(NAS)の主流になった。 暗黙の関数定理に基づいてDARTSの過次計算に取り組む。 提案手法であるiDARTSのアーキテクチャ最適化は,定常点に収束することが期待される。
  論文  参考訳（メタデータ） (2021-06-21T00:44:11Z)
• AlphaGAN: Fully Differentiable Architecture Search for Generative Adversarial Networks [15.740179244963116]
  GAN (Generative Adversarial Networks) はミニマックスゲーム問題として定式化され、ジェネレータは差別者に対する対戦学習によって実際のデータ分布にアプローチしようとする。 本研究は,ネットワークアーキテクチャの観点からのモデル学習を促進することを目的として,GANに自動アーキテクチャ探索の最近の進歩を取り入れた。 我々は,αGANと呼ばれる,生成的敵ネットワークのための,完全に差別化可能な検索フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-06-16T13:27:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。