論文の概要: Contrastive Embeddings for Neural Architectures

• arxiv url: http://arxiv.org/abs/2102.04208v1
• Date: Mon, 8 Feb 2021 14:06:35 GMT
• ステータス: 処理完了
• システム内更新日: 2021-02-09 16:01:03.558403
• Title: Contrastive Embeddings for Neural Architectures
• Title（参考訳）: ニューラルアーキテクチャのための対照的な埋め込み
• Authors: Daniel Hesslow and Iacopo Poli
• Abstract要約: 従来のブラックボックス最適化アルゴリズムは,修正することなく,ニューラルアーキテクチャサーチの最先端性能に到達可能であることを示す。 また,学習中の埋め込みの進化を示すとともに,異なる学習段階における埋め込みの活用に向けた将来の研究を動機付け,検索空間におけるネットワークの理解を深める。
• 参考スコア（独自算出の注目度）: 1.90365714903665
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The performance of algorithms for neural architecture search strongly depends on the parametrization of the search space. We use contrastive learning to identify networks across different initializations based on their data Jacobians, and automatically produce the first architecture embeddings independent from the parametrization of the search space. Using our contrastive embeddings, we show that traditional black-box optimization algorithms, without modification, can reach state-of-the-art performance in Neural Architecture Search. As our method provides a unified embedding space, we perform for the first time transfer learning between search spaces. Finally, we show the evolution of embeddings during training, motivating future studies into using embeddings at different training stages to gain a deeper understanding of the networks in a search space.
• Abstract（参考訳）: ニューラルネットワークの探索のためのアルゴリズムの性能は、検索空間のパラメータ化に強く依存する。 コントラスト学習を用いて,データヤコビアンに基づいて異なる初期化のネットワークを識別し,探索空間のパラメトリゼーションとは独立に,最初のアーキテクチャを自動生成する。 従来のブラックボックス最適化アルゴリズムは, 改良することなく, ニューラルアーキテクチャサーチの最先端性能に到達できることを示す。 本手法は統一埋め込み空間を提供するため,検索空間間の転送学習を初めて行う。 最後に、学習中の埋め込みの進化を示し、異なる訓練段階における埋め込みを用いた将来の研究を動機付け、検索空間におけるネットワークのより深い理解を得る。

関連論文リスト

• EM-DARTS: Hierarchical Differentiable Architecture Search for Eye Movement Recognition [54.99121380536659]
  眼球運動バイオメトリックスは、高い安全性の識別により注目されている。 深層学習(DL)モデルは近年,眼球運動認識に成功している。 DLアーキテクチャはまだ人間の事前知識によって決定されている。 眼球運動認識のためのDLアーキテクチャを自動設計する階層的微分可能なアーキテクチャ探索アルゴリズムEM-DARTSを提案する。
  論文  参考訳（メタデータ） (2024-09-22T13:11:08Z)
• OFA$^2$: A Multi-Objective Perspective for the Once-for-All Neural Architecture Search [79.36688444492405]
  once-for-All(OFA)は、異なるリソース制約を持つデバイスのための効率的なアーキテクチャを探索する問題に対処するために設計された、ニューラルネットワーク検索(NAS)フレームワークである。 我々は,探索段階を多目的最適化問題として明示的に考えることにより,効率の追求を一歩進めることを目指している。
  論文  参考訳（メタデータ） (2023-03-23T21:30:29Z)
• Searching a High-Performance Feature Extractor for Text Recognition Network [92.12492627169108]
  優れた特徴抽出器を持つための原理を探求し,ドメイン固有の検索空間を設計する。 空間は巨大で複雑な構造であるため、既存のNASアルゴリズムを適用することはできない。 本研究では,空間内を効率的に探索する2段階のアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-09-27T03:49:04Z)
• Search Space Adaptation for Differentiable Neural Architecture Search in Image Classification [15.641353388251465]
  微分可能なニューラルネットワークサーチ(NAS)は、検索コストを単一のネットワークをトレーニングするレベルに削減することで大きな影響を与える。 本稿では,探索範囲を導入することで,探索空間の適応スキームを提案する。 画像分類タスクにおいて, ProxylessNAS を用いて提案手法の有効性を示す。
  論文  参考訳（メタデータ） (2022-06-05T05:27:12Z)
• Neural Architecture Search for Speech Emotion Recognition [72.1966266171951]
  本稿では,SERモデルの自動構成にニューラルアーキテクチャサーチ(NAS)技術を適用することを提案する。 NASはモデルパラメータサイズを維持しながらSER性能(54.89%から56.28%)を向上させることができることを示す。
  論文  参考訳（メタデータ） (2022-03-31T10:16:10Z)
• NeuralArTS: Structuring Neural Architecture Search with Type Theory [0.0]
  本稿では,ニューラルネットワーク型システム(NeuralArTS)と呼ばれる,構造化型システムにおけるネットワーク操作の無限集合を分類する新しいフレームワークを提案する。 本稿では,NeuralArTSを畳み込み層に適用し,今後の方向性を示す。
  論文  参考訳（メタデータ） (2021-10-17T03:28:27Z)
• Task-Aware Neural Architecture Search [33.11791812491669]
  本稿では,ベースタスクのモデル辞書と対象タスクと辞書の原子との類似性を利用して,ニューラルアーキテクチャ探索のための新しいフレームワークを提案する。 勾配に基づく探索アルゴリズムを導入することにより、ネットワークを完全に訓練することなく、検索空間の最良のアーキテクチャを評価し、発見することができる。
  論文  参考訳（メタデータ） (2020-10-27T00:10:40Z)
• NAS-Navigator: Visual Steering for Explainable One-Shot Deep Neural Network Synthesis [53.106414896248246]
  本稿では,分析者がドメイン知識を注入することで,解のサブグラフ空間を効果的に構築し,ネットワーク探索をガイドするフレームワークを提案する。 このテクニックを反復的に適用することで、アナリストは、与えられたアプリケーションに対して最高のパフォーマンスのニューラルネットワークアーキテクチャに収束することができる。
  論文  参考訳（メタデータ） (2020-09-28T01:48:45Z)
• NAS-DIP: Learning Deep Image Prior with Neural Architecture Search [65.79109790446257]
  近年の研究では、深部畳み込みニューラルネットワークの構造が、以前に構造化された画像として利用できることが示されている。 我々は,より強い画像の先行を捉えるニューラルネットワークの探索を提案する。 既存のニューラルネットワーク探索アルゴリズムを利用して,改良されたネットワークを探索する。
  論文  参考訳（メタデータ） (2020-08-26T17:59:36Z)
• An Introduction to Neural Architecture Search for Convolutional Networks [0.0]
  ニューラルアーキテクチャサーチ(英: Neural Architecture Search、NAS)は、最適化アルゴリズムを利用して最適なニューラルネットワークアーキテクチャを設計する研究分野である。 我々は、畳み込みネットワークのためのNASの基本概念と、探索空間、アルゴリズム、評価技術の大きな進歩について紹介する。
  論文  参考訳（メタデータ） (2020-05-22T09:33:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。