論文の概要: Contrastive Self-supervised Neural Architecture Search

• arxiv url: http://arxiv.org/abs/2102.10557v1
• Date: Sun, 21 Feb 2021 08:38:28 GMT
• ステータス: 処理完了
• システム内更新日: 2021-02-24 13:38:09.236695
• Title: Contrastive Self-supervised Neural Architecture Search
• Title（参考訳）: 対比的自己監督型ニューラルネットワーク探索
• Authors: Nam Nguyen and J. Morris Chang
• Abstract要約: 本稿では,新しいセルベースニューラルアーキテクチャ探索アルゴリズム(NAS)を提案する。 本アルゴリズムは,画像表現における自己教師付き学習の有効性を生かしている。 実験の結果,検索アルゴリズムが最先端の結果を得ることができた。
• 参考スコア（独自算出の注目度）: 6.162410142452926
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This paper proposes a novel cell-based neural architecture search algorithm (NAS), which completely alleviates the expensive costs of data labeling inherited from supervised learning. Our algorithm capitalizes on the effectiveness of self-supervised learning for image representations, which is an increasingly crucial topic of computer vision. First, using only a small amount of unlabeled train data under contrastive self-supervised learning allow us to search on a more extensive search space, discovering better neural architectures without surging the computational resources. Second, we entirely relieve the cost for labeled data (by contrastive loss) in the search stage without compromising architectures' final performance in the evaluation phase. Finally, we tackle the inherent discrete search space of the NAS problem by sequential model-based optimization via the tree-parzen estimator (SMBO-TPE), enabling us to reduce the computational expense response surface significantly. An extensive number of experiments empirically show that our search algorithm can achieve state-of-the-art results with better efficiency in data labeling cost, searching time, and accuracy in final validation.
• Abstract（参考訳）: 本論文では,教師付き学習から受け継いだデータラベリングのコストを完全に軽減する,細胞ベースのニューラルアーキテクチャ探索アルゴリズム(NAS)を提案する。 本アルゴリズムは,画像表現に対する自己教師あり学習の有効性を活かし,コンピュータビジョンの重要課題となっている。 まず、対照的な自己監督学習の下でわずかのラベルなしの列車データを使用して、より広範な検索空間を検索し、計算リソースを消費することなく、より良い神経アーキテクチャを発見することができます。 第二に、評価段階でのアーキテクチャの最終性能を損なうことなく、検索段階でのラベル付きデータ(コントラスト損失)のコストを完全に軽減します。 最後に,木分割推定器 (SMBO-TPE) による逐次モデルベース最適化によりNAS問題の固有離散探索空間に取り組み,計算コスト応答面を著しく低減する。 実験により, 検索アルゴリズムは, データラベリングコスト, 探索時間, 最終的な検証精度において, より効率的な結果が得られることを示した。

関連論文リスト

• A Pairwise Comparison Relation-assisted Multi-objective Evolutionary Neural Architecture Search Method with Multi-population Mechanism [58.855741970337675]
  ニューラルアーキテクチャサーチ(NAS)により、リサーチ者は広大なサーチスペースを自動的に探索し、効率的なニューラルネットワークを見つけることができる。 NASは重要なボトルネックに悩まされており、探索プロセス中に多くのアーキテクチャを評価する必要がある。 SMEM-NASは,多集団構造に基づく多目的進化アルゴリズムである。
  論文  参考訳（メタデータ） (2024-07-22T12:46:22Z)
• Efficient Visual Fault Detection for Freight Train via Neural Architecture Search with Data Volume Robustness [6.5769476554745925]
  貨物列車の視覚的故障検出のためのNASに基づく効率的な枠組みを提案する。 まず,頭部の有効受容場を発見するためのスケールアウェア検索空間を設計する。 第2に、特に設計された検索空間に基づいて、検索コストを削減するために、データボリュームの堅牢性について検討する。
  論文  参考訳（メタデータ） (2024-05-27T09:47:49Z)
• Masked Autoencoders Are Robust Neural Architecture Search Learners [14.965550562292476]
  本研究では,Masked Autoencoders (MAE) に基づく新しいNASフレームワークを提案する。 教師あり学習対象を画像再構成タスクに置き換えることで,ネットワークアーキテクチャの堅牢な発見を可能にする。
  論文  参考訳（メタデータ） (2023-11-20T13:45:21Z)
• $\beta$-DARTS: Beta-Decay Regularization for Differentiable Architecture Search [85.84110365657455]
  本研究では,DARTSに基づくNAS探索過程を正規化するために,ベータデカイと呼ばれるシンプルだが効率的な正規化手法を提案する。 NAS-Bench-201の実験結果から,提案手法は探索過程の安定化に有効であり,探索されたネットワークを異なるデータセット間で転送しやすくする。
  論文  参考訳（メタデータ） (2022-03-03T11:47:14Z)
• NAS-FCOS: Efficient Search for Object Detection Architectures [113.47766862146389]
  簡易なアンカーフリー物体検出器の特徴ピラミッドネットワーク (FPN) と予測ヘッドを探索し, より効率的な物体検出手法を提案する。 慎重に設計された検索空間、検索アルゴリズム、ネットワーク品質を評価するための戦略により、8つのV100 GPUを使用して、4日以内に最高のパフォーマンスの検知アーキテクチャを見つけることができる。
  論文  参考訳（メタデータ） (2021-10-24T12:20:04Z)
• RANK-NOSH: Efficient Predictor-Based Architecture Search via Non-Uniform Successive Halving [74.61723678821049]
  予算の浪費を回避するため,早期に性能の低いアーキテクチャのトレーニングを終了する階層的スケジューリングアルゴリズムであるNOn-uniform Successive Halving (NOSH)を提案する。 予測器に基づくアーキテクチャ探索をペア比較でランク付けする学習として定式化する。 その結果、RANK-NOSHは検索予算を5倍に削減し、様々な空間やデータセットにおける従来の最先端予測手法よりも、競争力やパフォーマンスの向上を実現した。
  論文  参考訳（メタデータ） (2021-08-18T07:45:21Z)
• Poisoning the Search Space in Neural Architecture Search [0.0]
  我々は,探索空間におけるデータ中毒攻撃に対して,効率的なNASと呼ばれるアルゴリズムのロバスト性を評価する。 以上の結果から,NASを用いたアーキテクチャ探索の課題に対する洞察が得られた。
  論文  参考訳（メタデータ） (2021-06-28T05:45:57Z)
• On the performance of deep learning for numerical optimization: an application to protein structure prediction [0.0]
  本稿では,グローバルな最適化問題に対処するディープラーニングモデルの性能について述べる。 提案手法は、効率的なニューラルネットワークを生成するために、NAS(Neural Architecture Search)の概念を採用する。 実験により、手書きのアルゴリズムと比較して、生成された学習モデルが競合する結果が得られることが明らかになった。
  論文  参考訳（メタデータ） (2020-12-17T17:01:30Z)
• MS-RANAS: Multi-Scale Resource-Aware Neural Architecture Search [94.80212602202518]
  我々は,MS-RANAS(Multi-Scale Resource-Aware Neural Architecture Search)を提案する。 我々は,検索コストの削減を図るために,ワンショットのアーキテクチャ探索手法を採用した。 我々は精度-速度トレードオフの観点から最先端の結果を得る。
  論文  参考訳（メタデータ） (2020-09-29T11:56:01Z)
• Self-supervised Neural Architecture Search [41.07083436560303]
  本稿では,ラベル付きデータを必要とせず,新たなネットワークモデルを見つけることができる自己教師型ニューラルネットワークサーチ(SSNAS)を提案する。 このような検索は,NASを用いた教師あり学習に匹敵する結果となり,自己教師あり学習の性能を向上させることができることを示す。
  論文  参考訳（メタデータ） (2020-07-03T05:09:30Z)
• AutoOD: Automated Outlier Detection via Curiosity-guided Search and Self-imitation Learning [72.99415402575886]
  外乱検出は重要なデータマイニングの課題であり、多くの実用的応用がある。 本稿では,最適なニューラルネットワークモデルを探すことを目的とした自動外乱検出フレームワークであるAutoODを提案する。 さまざまな実世界のベンチマークデータセットに対する実験結果から、AutoODが特定したディープモデルが最高のパフォーマンスを達成することが示された。
  論文  参考訳（メタデータ） (2020-06-19T18:57:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。