論文の概要: Does Unsupervised Architecture Representation Learning Help Neural Architecture Search?

• arxiv url: http://arxiv.org/abs/2006.06936v2
• Date: Sat, 24 Oct 2020 21:54:36 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-22 03:18:16.117883
• Title: Does Unsupervised Architecture Representation Learning Help Neural Architecture Search?
• Title（参考訳）: 教師なしアーキテクチャ表現学習はニューラルネットワーク検索に役立つか?
• Authors: Shen Yan, Yu Zheng, Wei Ao, Xiao Zeng, Mi Zhang
• Abstract要約: 既存のニューラルアーキテクチャサーチ(NAS)手法は、スケールが良くない離散符号化を用いてニューラルアーキテクチャをエンコードするか、アーキテクチャ表現を共同で学習し、探索バイアスを引き起こすような表現上でアーキテクチャ探索を最適化するための教師付き学習ベースの手法を採用する。 アーキテクチャ表現学習と探索が組み合わさっていれば,ニューラルネットワークの構造的特性を潜時空間に保持することは困難であり,その結果,探索性能は低下する。
• 参考スコア（独自算出の注目度）: 22.63641173256389
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Existing Neural Architecture Search (NAS) methods either encode neural architectures using discrete encodings that do not scale well, or adopt supervised learning-based methods to jointly learn architecture representations and optimize architecture search on such representations which incurs search bias. Despite the widespread use, architecture representations learned in NAS are still poorly understood. We observe that the structural properties of neural architectures are hard to preserve in the latent space if architecture representation learning and search are coupled, resulting in less effective search performance. In this work, we find empirically that pre-training architecture representations using only neural architectures without their accuracies as labels considerably improve the downstream architecture search efficiency. To explain these observations, we visualize how unsupervised architecture representation learning better encourages neural architectures with similar connections and operators to cluster together. This helps to map neural architectures with similar performance to the same regions in the latent space and makes the transition of architectures in the latent space relatively smooth, which considerably benefits diverse downstream search strategies.
• Abstract（参考訳）: 既存のneural architecture search(nas)メソッドは、スケールしない離散的なエンコーディングを使用してニューラルネットワークをエンコードするか、アーキテクチャ表現を共同学習し、検索バイアスを引き起こすような表現でアーキテクチャ検索を最適化するために教師付き学習ベースの手法を採用する。 広く使われているにもかかわらず、NASで学んだアーキテクチャ表現はまだ理解されていない。 アーキテクチャ表現学習と探索が組み合わさっていれば,ニューラルネットワークの構造的特性を潜時空間に保持することは困難であり,その結果,探索性能は低下する。 本研究では,ラベルを付けずにニューラルネットワークのみを使用して事前学習したアーキテクチャ表現が,下流のアーキテクチャ探索効率を大幅に改善することを示す。 これらの観察を説明するために、教師なしのアーキテクチャ表現学習が、類似した接続と演算子をクラスタ化するニューラルアーキテクチャをいかに促進するかを可視化する。 これにより、潜伏空間の同じ領域に類似したパフォーマンスを持つニューラルアーキテクチャをマッピングし、潜伏空間におけるアーキテクチャの移行を比較的スムーズなものにすることができる。

関連論文リスト

• EM-DARTS: Hierarchical Differentiable Architecture Search for Eye Movement Recognition [54.99121380536659]
  眼球運動バイオメトリックスは、高い安全性の識別により注目されている。 深層学習(DL)モデルは近年,眼球運動認識に成功している。 DLアーキテクチャはまだ人間の事前知識によって決定されている。 眼球運動認識のためのDLアーキテクチャを自動設計する階層的微分可能なアーキテクチャ探索アルゴリズムEM-DARTSを提案する。
  論文  参考訳（メタデータ） (2024-09-22T13:11:08Z)
• Visual Analysis of Neural Architecture Spaces for Summarizing Design Principles [22.66053583920441]
  ArchExplorerは、ニューラルネットワーク空間を理解し、設計原則を要約するための視覚分析手法である。 クラスタ間のグローバルな関係と各クラスタ内のアーキテクチャの局所的近傍の両方を伝達するために,サークルパッキングに基づくアーキテクチャ視覚化が開発された。 設計原則を要約し,優れたアーキテクチャを選択する上でArchExplorerの有効性を示すために,2つのケーススタディとポストアナリシスが提示される。
  論文  参考訳（メタデータ） (2022-08-20T12:15:59Z)
• Neural Architecture Search for Speech Emotion Recognition [72.1966266171951]
  本稿では,SERモデルの自動構成にニューラルアーキテクチャサーチ(NAS)技術を適用することを提案する。 NASはモデルパラメータサイズを維持しながらSER性能(54.89%から56.28%)を向上させることができることを示す。
  論文  参考訳（メタデータ） (2022-03-31T10:16:10Z)
• Learning Interpretable Models Through Multi-Objective Neural Architecture Search [0.9990687944474739]
  本稿では,タスク性能と「イントロスペクタビリティ」の両方を最適化するフレームワークを提案する。 タスクエラーとイントロスペクタビリティを共同で最適化することは、エラー内で実行されるより不整合でデバッグ可能なアーキテクチャをもたらすことを実証する。
  論文  参考訳（メタデータ） (2021-12-16T05:50:55Z)
• Network Graph Based Neural Architecture Search [57.78724765340237]
  我々は、対応するグラフを書き換えてニューラルネットワークを探索し、グラフ特性によるアーキテクチャ性能の予測を行う。 グラフ空間全体にわたって機械学習を行わないため、探索プロセスは極めて効率的である。
  論文  参考訳（メタデータ） (2021-12-15T00:12:03Z)
• Contrastive Neural Architecture Search with Neural Architecture Comparators [46.45102111497492]
  neural architecture search(nas)における重要なステップの1つは、候補アーキテクチャのパフォーマンスを見積もることである。 既存のメソッドは、バリデーションパフォーマンスを直接使用するか、あるいは予測子を学習してパフォーマンスを見積もる。 本稿では,アーキテクチャ間の比較結果を報奨としてアーキテクチャ探索を行うCTNAS(Contrastive Neural Architecture Search)手法を提案する。
  論文  参考訳（メタデータ） (2021-03-08T11:24:07Z)
• Interpretable Neural Architecture Search via Bayesian Optimisation with Weisfeiler-Lehman Kernels [17.945881805452288]
  現在のニューラルアーキテクチャサーチ(NAS)戦略は、単一の優れたアーキテクチャを見つけることに集中している。 そこで我々は,Weisfeiler-Lehmanグラフカーネルとガウス過程サロゲートを組み合わせたNASに対するベイズ最適化手法を提案する。 提案手法は,有用なネットワーク特徴とそれに伴うネットワーク性能への影響を発見することによって,解釈可能性を実現する。
  論文  参考訳（メタデータ） (2020-06-13T04:10:34Z)
• A Semi-Supervised Assessor of Neural Architectures [157.76189339451565]
  我々は、ニューラルネットワークの有意義な表現を見つけるためにオートエンコーダを用いる。 アーキテクチャの性能を予測するために、グラフ畳み込みニューラルネットワークを導入する。
  論文  参考訳（メタデータ） (2020-05-14T09:02:33Z)
• Stage-Wise Neural Architecture Search [65.03109178056937]
  ResNetやNASNetのような現代の畳み込みネットワークは、多くのコンピュータビジョンアプリケーションで最先端の結果を得た。 これらのネットワークは、同じ解像度で表現を操作するレイヤのセットであるステージで構成されている。 各ステージにおけるレイヤー数の増加はネットワークの予測能力を向上させることが示されている。 しかし、結果として得られるアーキテクチャは、浮動小数点演算、メモリ要求、推論時間の観点から計算的に高価になる。
  論文  参考訳（メタデータ） (2020-04-23T14:16:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。