論文の概要: Training-free Neural Architecture Search through Variance of Knowledge of Deep Network Weights

• arxiv url: http://arxiv.org/abs/2502.04975v1
• Date: Fri, 07 Feb 2025 14:48:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-10 14:56:29.327526
• Title: Training-free Neural Architecture Search through Variance of Knowledge of Deep Network Weights
• Title（参考訳）: ディープ・ネットワーク重みの知識の分散による学習不要なニューラルネットワーク探索
• Authors: Ondřej Týbl, Lukáš Neumann,
• Abstract要約: 本稿では,フィッシャー情報に基づく画像分類精度のトレーニングフリープロキシを提案する。 提案するプロキシは,3つの公開データセットと2つの検索空間において,最先端の結果を達成する。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: Deep learning has revolutionized computer vision, but it achieved its tremendous success using deep network architectures which are mostly hand-crafted and therefore likely suboptimal. Neural Architecture Search (NAS) aims to bridge this gap by following a well-defined optimization paradigm which systematically looks for the best architecture, given objective criterion such as maximal classification accuracy. The main limitation of NAS is however its astronomical computational cost, as it typically requires training each candidate network architecture from scratch. In this paper, we aim to alleviate this limitation by proposing a novel training-free proxy for image classification accuracy based on Fisher Information. The proposed proxy has a strong theoretical background in statistics and it allows estimating expected image classification accuracy of a given deep network without training the network, thus significantly reducing computational cost of standard NAS algorithms. Our training-free proxy achieves state-of-the-art results on three public datasets and in two search spaces, both when evaluated using previously proposed metrics, as well as using a new metric that we propose which we demonstrate is more informative for practical NAS applications. The source code is publicly available at http://www.github.com/ondratybl/VKDNW
• Abstract（参考訳）: ディープラーニングはコンピュータビジョンに革命をもたらしたが、ディープ・ネットワーク・アーキテクチャによって大きな成功を収めた。 ニューラルアーキテクチャサーチ(NAS)は、最適アーキテクチャを体系的に探す、明確に定義された最適化パラダイムに従うことで、このギャップを埋めることを目的としている。 しかしながら、NASの主な制限は天文学的な計算コストであり、一般に各候補ネットワークアーキテクチャをゼロからトレーニングする必要がある。 本稿では,フィッシャー情報に基づく画像分類精度向上のための新しい訓練不要プロキシを提案することにより,この制限を緩和することを目的とする。 提案するプロキシは、統計学において強力な理論的背景を持ち、ネットワークを訓練することなく、所定の深層ネットワークの予測画像分類精度を推定できるため、標準NASアルゴリズムの計算コストを大幅に削減できる。 本研究では,3つの公開データセットと2つの検索空間において,従来提案されていた指標を用いた評価を行うとともに,実用的なNASアプリケーションにおいてより有益であることを示す新しい指標を提案する。 ソースコードはhttp://www.github.com/ondratybl/VKDNWで公開されている。

関連論文リスト

• GeNAS: Neural Architecture Search with Better Generalization [14.92869716323226]
  最近のニューラルアーキテクチャサーチ(NAS)アプローチは、対象データに対して優れたネットワークを見つけるために、検証損失または精度に依存している。 そこで本研究では,より一般化した探索型アーキテクチャのためのニューラルアーキテクチャ探索手法について検討する。
  論文  参考訳（メタデータ） (2023-05-15T12:44:54Z)
• NASiam: Efficient Representation Learning using Neural Architecture Search for Siamese Networks [76.8112416450677]
  シームズネットワークは、自己教師付き視覚表現学習(SSL)を実現するための最も傾向のある方法の1つである。 NASiamは、初めて微分可能なNASを使用して、多層パーセプトロンプロジェクタと予測器(エンコーダ/予測器ペア)を改善する新しいアプローチである。 NASiamは、小規模(CIFAR-10/CIFAR-100)と大規模(画像Net)画像分類データセットの両方で競合性能を達成し、わずか数GPU時間しかかからない。
  論文  参考訳（メタデータ） (2023-01-31T19:48:37Z)
• FlowNAS: Neural Architecture Search for Optical Flow Estimation [65.44079917247369]
  本研究では,フロー推定タスクにおいて,より優れたエンコーダアーキテクチャを自動で見つけるために,FlowNASというニューラルアーキテクチャ探索手法を提案する。 実験の結果、スーパーネットワークから受け継いだ重み付きアーキテクチャは、KITTI上で4.67%のF1-allエラーを達成していることがわかった。
  論文  参考訳（メタデータ） (2022-07-04T09:05:25Z)
• Towards Self-supervised and Weight-preserving Neural Architecture Search [38.497608743382145]
  本研究では,現在のNASフレームワークの拡張として,自己教師付き重み保存型ニューラルネットワーク探索(SSWP-NAS)を提案する。 CIFAR-10, CIFAR-100, ImageNetデータセットにおいて, 提案したフレームワークによって探索されたアーキテクチャが, 最先端の精度を実現することを示す。
  論文  参考訳（メタデータ） (2022-06-08T18:48:05Z)
• Towards Disentangling Information Paths with Coded ResNeXt [11.884259630414515]
  ネットワーク全体の機能の透明性を高めるために,我々は新しいアプローチを採っている。 分類のためのニューラルネットワークアーキテクチャを提案し、各クラスに関連する情報が特定の経路を流れる。
  論文  参考訳（メタデータ） (2022-02-10T21:45:49Z)
• KNAS: Green Neural Architecture Search [49.36732007176059]
  我々は新しいカーネルベースのアーキテクチャ探索手法KNASを提案する。 実験により、KNASは画像分類タスクにおける「列車試験」パラダイムよりも桁違いに高速な競合結果が得られることが示された。 検索されたネットワークは、2つのテキスト分類タスクで強力なベースラインであるRoBERTAよりも優れています。
  論文  参考訳（メタデータ） (2021-11-26T02:11:28Z)
• AceNAS: Learning to Rank Ace Neural Architectures with Weak Supervision of Weight Sharing [6.171090327531059]
  空間から最高のアーキテクチャを選択するためのLearning to Rank手法を紹介します。 また,スーパーネットから得られた弱いラベルのアーキテクチャ表現を事前学習することで,重み共有から弱い管理を活用することを提案する。 NASベンチマークと大規模検索空間を用いた実験により,提案手法はSOTAよりも検索コストが大幅に削減された。
  論文  参考訳（メタデータ） (2021-08-06T08:31:42Z)
• Neural Architecture Search on ImageNet in Four GPU Hours: A Theoretically Inspired Perspective [88.39981851247727]
  トレーニングフリーニューラルアーキテクチャサーチ(TE-NAS)という新しいフレームワークを提案する。 TE-NASは、ニューラルネットワークカーネル(NTK)のスペクトルと入力空間内の線形領域の数を分析することによってアーキテクチャをランク付けする。 1) この2つの測定はニューラルネットワークのトレーサビリティと表現性を示し, (2) ネットワークのテスト精度と強く相関することを示した。
  論文  参考訳（メタデータ） (2021-02-23T07:50:44Z)
• Hierarchical Neural Architecture Search for Deep Stereo Matching [131.94481111956853]
  本稿では, ディープステレオマッチングのための最初のエンドツーエンド階層型NASフレームワークを提案する。 我々のフレームワークは、タスク固有の人間の知識をニューラルアーキテクチャ検索フレームワークに組み込んでいる。 KITTI stereo 2012、2015、Middleburyベンチマークで1位、SceneFlowデータセットで1位にランクインしている。
  論文  参考訳（メタデータ） (2020-10-26T11:57:37Z)
• DA-NAS: Data Adapted Pruning for Efficient Neural Architecture Search [76.9225014200746]
  ニューラルネットワーク探索(NAS)における効率的な探索は中核的な問題である 本稿では,大規模ターゲットタスクのアーキテクチャを直接検索できるDA-NASを提案する。 従来の手法より2倍速く、精度は現在最先端であり、小さなFLOPの制約下で76.2%である。
  論文  参考訳（メタデータ） (2020-03-27T17:55:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。