Fugu-MT 論文翻訳(概要): ECToNAS: Evolutionary Cross-Topology Neural Architecture Search

論文の概要: ECToNAS: Evolutionary Cross-Topology Neural Architecture Search

arxiv url: http://arxiv.org/abs/2403.05123v1
Date: Fri, 8 Mar 2024 07:36:46 GMT
ステータス: 処理完了
システム内更新日: 2024-03-11 20:37:37.954204
Title: ECToNAS: Evolutionary Cross-Topology Neural Architecture Search
Title（参考訳）: ECToNAS:進化的クロストポロジーニューラルアーキテクチャ検索
Authors: Elisabeth J. Schiessler and Roland C. Aydin and Christian J. Cyron
Abstract要約: ECToNASは、コスト効率のよい進化的クロストポロジーニューラルアーキテクチャ探索アルゴリズムである。トレーニングとトポロジの最適化を融合して,軽量でリソースフレンドリなプロセスにします。
参考スコア（独自算出の注目度）: 0.0
License: http://creativecommons.org/licenses/by-sa/4.0/
Abstract: We present ECToNAS, a cost-efficient evolutionary cross-topology neural architecture search algorithm that does not require any pre-trained meta controllers. Our framework is able to select suitable network architectures for different tasks and hyperparameter settings, independently performing cross-topology optimisation where required. It is a hybrid approach that fuses training and topology optimisation together into one lightweight, resource-friendly process. We demonstrate the validity and power of this approach with six standard data sets (CIFAR-10, CIFAR-100, EuroSAT, Fashion MNIST, MNIST, SVHN), showcasing the algorithm's ability to not only optimise the topology within an architectural type, but also to dynamically add and remove convolutional cells when and where required, thus crossing boundaries between different network types. This enables researchers without a background in machine learning to make use of appropriate model types and topologies and to apply machine learning methods in their domains, with a computationally cheap, easy-to-use cross-topology neural architecture search framework that fully encapsulates the topology optimisation within the training process.
Abstract（参考訳）: 提案するECToNASは,事前学習したメタコントローラを必要としない,コスト効率のよい進化的クロストポロジーニューラルアーキテクチャ探索アルゴリズムである。我々のフレームワークは、異なるタスクやハイパーパラメータ設定に適したネットワークアーキテクチャを選択でき、必要に応じて、個別にクロストポロジー最適化を行うことができる。これは、トレーニングとトポロジーの最適化を1つの軽量でリソースフレンドリなプロセスに融合するハイブリッドアプローチである。 6つの標準データセット(cifar-10, cifar-100, eurosat, fashion mnist, mnist, svhn)を用いて、このアプローチの有効性とパワーを実証し、そのアルゴリズムがアーキテクチャタイプ内のトポロジーを最適化するだけでなく、必要に応じて畳み込みセルを動的に追加・削除し、異なるネットワークタイプの境界を横断する能力を示す。これにより、機械学習のバックグラウンドを持たない研究者たちは、適切なモデルタイプとトポロジを使用し、そのドメインに機械学習メソッドを適用することが可能になる。

関連論文リスト

Growing Tiny Networks: Spotting Expressivity Bottlenecks and Fixing Them Optimally [2.645067871482715]
機械学習タスクでは、ある機能空間内で最適な関数を探索する。この方法で、トレーニング中の機能の進化を、選択したアーキテクチャで表現可能な領域内に配置させます。表現力のボトルネックによる望ましいアーキテクチャ変更に関する情報は, 後処理の % から抽出可能であることを示す。
論文参考訳（メタデータ） (2024-05-30T08:23:56Z)
Auto-Train-Once: Controller Network Guided Automatic Network Pruning from Scratch [72.26822499434446]
オートトレインオース (Auto-Train-Once, ATO) は、DNNの計算コストと記憶コストを自動的に削減するために設計された、革新的なネットワークプルーニングアルゴリズムである。総合的な収束解析と広範な実験を行い,本手法が様々なモデルアーキテクチャにおける最先端性能を実現することを示す。
論文参考訳（メタデータ） (2024-03-21T02:33:37Z)
Principled Architecture-aware Scaling of Hyperparameters [69.98414153320894]
高品質のディープニューラルネットワークをトレーニングするには、非自明で高価なプロセスである適切なハイパーパラメータを選択する必要がある。本研究では,ネットワークアーキテクチャにおける初期化と最大学習率の依存性を正確に評価する。ネットワークランキングは、ベンチマークのトレーニングネットワークにより容易に変更可能であることを実証する。
論文参考訳（メタデータ） (2024-02-27T11:52:49Z)
XC-NAS: A New Cellular Encoding Approach for Neural Architecture Search of Multi-path Convolutional Neural Networks [0.4915744683251149]
本稿では,画像とテキストの分類タスクにおいて,深さ,幅,複雑さの異なる新しいマルチパスCNNアーキテクチャを進化させるアルゴリズムを提案する。代用モデルアプローチを用いることで、1日以内のGPUで高性能CNNアーキテクチャを進化させることができることを示す。実験の結果,アルゴリズムは競争力が高く,いくつかの最先端手法を破り,画像領域とテキスト領域の両方に一般化可能であることがわかった。
論文参考訳（メタデータ） (2023-12-12T22:03:11Z)
OFA$^2$: A Multi-Objective Perspective for the Once-for-All Neural Architecture Search [79.36688444492405]
once-for-All(OFA)は、異なるリソース制約を持つデバイスのための効率的なアーキテクチャを探索する問題に対処するために設計された、ニューラルネットワーク検索(NAS)フレームワークである。我々は,探索段階を多目的最適化問題として明示的に考えることにより,効率の追求を一歩進めることを目指している。
論文参考訳（メタデータ） (2023-03-23T21:30:29Z)
FreeREA: Training-Free Evolution-based Architecture Search [17.202375422110553]
FreeREAは、トレーニングなしメトリクスの最適化組み合わせを利用してアーキテクチャをランク付けする、独自のセルベースの進化NASアルゴリズムである。本実験はNAS-Bench-101とNATS-Benchの共通ベンチマークを用いて,フリーレアがモデル自動設計のための高速で効率的かつ効果的な探索手法であることを実証した。
論文参考訳（メタデータ） (2022-06-17T11:16:28Z)
Pruning-as-Search: Efficient Neural Architecture Search via Channel Pruning and Structural Reparameterization [50.50023451369742]
プルーニング・アズ・サーチ(Pruning-as-Search、PaS)は、必要なサブネットワークを自動的に効率的に検索するエンドツーエンドのプルーニング手法である。提案したアーキテクチャは,ImageNet-1000分類タスクにおいて,1.0%$ Top-1精度で先行技術より優れていた。
論文参考訳（メタデータ） (2022-06-02T17:58:54Z)
iDARTS: Differentiable Architecture Search with Stochastic Implicit Gradients [75.41173109807735]
微分可能なArchiTecture Search(DARTS)は先日,ニューラルアーキテクチャサーチ(NAS)の主流になった。暗黙の関数定理に基づいてDARTSの過次計算に取り組む。提案手法であるiDARTSのアーキテクチャ最適化は,定常点に収束することが期待される。
論文参考訳（メタデータ） (2021-06-21T00:44:11Z)
Disentangling Neural Architectures and Weights: A Case Study in Supervised Classification [8.976788958300766]
本研究は、神経構造とそのエッジウェイトの役割を解消する問題について考察する。十分に訓練されたアーキテクチャでは、重み付けのリンク固有の微調整は不要である。我々は、ハードアーキテクチャ探索問題を実現可能な最適化問題に変換する、新しい計算効率のよい手法を用いる。
論文参考訳（メタデータ） (2020-09-11T11:22:22Z)
AlphaGAN: Fully Differentiable Architecture Search for Generative Adversarial Networks [15.740179244963116]
GAN (Generative Adversarial Networks) はミニマックスゲーム問題として定式化され、ジェネレータは差別者に対する対戦学習によって実際のデータ分布にアプローチしようとする。本研究は,ネットワークアーキテクチャの観点からのモデル学習を促進することを目的として,GANに自動アーキテクチャ探索の最近の進歩を取り入れた。我々は,αGANと呼ばれる,生成的敵ネットワークのための,完全に差別化可能な検索フレームワークを提案する。
論文参考訳（メタデータ） (2020-06-16T13:27:30Z)
Binarizing MobileNet via Evolution-based Searching [66.94247681870125]
そこで本稿では,MobileNet をバイナライズする際の構築と訓練を容易にするための進化的探索手法を提案する。ワンショットアーキテクチャ検索フレームワークに着想を得て、グループ畳み込みのアイデアを操り、効率的な1ビット畳み込みニューラルネットワーク(CNN)を設計する。我々の目標は、グループ畳み込みの最良の候補を探索することで、小さなが効率的なバイナリニューラルアーキテクチャを考案することである。
論文参考訳（メタデータ） (2020-05-13T13:25:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。