論文の概要: Data-Free Neural Architecture Search via Recursive Label Calibration

• arxiv url: http://arxiv.org/abs/2112.02086v1
• Date: Fri, 3 Dec 2021 18:53:16 GMT
• ステータス: 処理完了
• システム内更新日: 2021-12-06 14:16:58.089485
• Title: Data-Free Neural Architecture Search via Recursive Label Calibration
• Title（参考訳）: Recursive Label Calibrationによるデータフリーニューラルネットワーク探索
• Authors: Zechun Liu and Zhiqiang Shen and Yun Long and Eric Xing and Kwang-Ting Cheng and Chas Leichner
• Abstract要約: 本稿では,事前学習モデルのみを用いたニューラルネットワーク探索の実現可能性を検討することを目的としている。 まず、トレーニング済みのディープニューラルネットワークから知識を回復することで、使用可能なデータを合成する。 我々は提案するフレームワークをDARTS, ProxylessNAS, SPOSの3つの一般的なNASアルゴリズムでインスタンス化する。
• 参考スコア（独自算出の注目度）: 34.84457903882755
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper aims to explore the feasibility of neural architecture search (NAS) given only a pre-trained model without using any original training data. This is an important circumstance for privacy protection, bias avoidance, etc., in real-world scenarios. To achieve this, we start by synthesizing usable data through recovering the knowledge from a pre-trained deep neural network. Then we use the synthesized data and their predicted soft-labels to guide neural architecture search. We identify that the NAS task requires the synthesized data (we target at image domain here) with enough semantics, diversity, and a minimal domain gap from the natural images. For semantics, we propose recursive label calibration to produce more informative outputs. For diversity, we propose a regional update strategy to generate more diverse and semantically-enriched synthetic data. For minimal domain gap, we use input and feature-level regularization to mimic the original data distribution in latent space. We instantiate our proposed framework with three popular NAS algorithms: DARTS, ProxylessNAS and SPOS. Surprisingly, our results demonstrate that the architectures discovered by searching with our synthetic data achieve accuracy that is comparable to, or even higher than, architectures discovered by searching from the original ones, for the first time, deriving the conclusion that NAS can be done effectively with no need of access to the original or called natural data if the synthesis method is well designed. Our code will be publicly available.
• Abstract（参考訳）: 本稿では,事前学習モデルのみを用いたニューラルネットワーク探索(NAS)の実現可能性を検討することを目的とする。 これは、現実世界のシナリオにおいて、プライバシー保護やバイアス回避などの重要な状況です。 そこで本研究では,事前学習した深層ニューラルネットワークから知識を回収し,有用データを合成することから始める。 次に、合成データとその予測ソフトラベルを用いて、ニューラルネットワーク探索を誘導する。 NASタスクには、十分なセマンティクス、多様性、および自然画像とのドメインギャップを最小限に抑えた合成データ(画像領域を対象とする)が必要である。 意味論では,より有意義な出力を生成するために再帰的ラベル校正を提案する。 多様性のために,より多様で意味に富んだ合成データを生成する地域更新戦略を提案する。 最小限のドメイン間隙では、入力と機能レベルの正規化を使って、潜在空間における元のデータ分布を模倣します。 我々は提案するフレームワークをDARTS, ProxylessNAS, SPOSの3つの一般的なNASアルゴリズムでインスタンス化する。 意外なことに、我々の合成データを用いて探索したアーキテクチャは、元のデータから探索したアーキテクチャに匹敵する、あるいはそれ以上の精度を達成し、合成方法がうまく設計されている場合、NASは原データや自然データへのアクセスを必要とせずに効果的に行うことができるという結論を導出した。 私たちのコードは公開されます。

関連論文リスト

• DNA Family: Boosting Weight-Sharing NAS with Block-Wise Supervisions [121.05720140641189]
  蒸留型ニューラルアーキテクチャ(DNA)技術を用いたモデル群を開発した。 提案するDNAモデルでは,アルゴリズムを用いてサブサーチ空間にのみアクセス可能な従来の手法とは対照的に,すべてのアーキテクチャ候補を評価できる。 当社のモデルでは,モバイルコンボリューションネットワークと小型ビジョントランスフォーマーにおいて,ImageNet上で78.9%,83.6%の最先端トップ1精度を実現している。
  論文  参考訳（メタデータ） (2024-03-02T22:16:47Z)
• GeNAS: Neural Architecture Search with Better Generalization [14.92869716323226]
  最近のニューラルアーキテクチャサーチ(NAS)アプローチは、対象データに対して優れたネットワークを見つけるために、検証損失または精度に依存している。 そこで本研究では,より一般化した探索型アーキテクチャのためのニューラルアーキテクチャ探索手法について検討する。
  論文  参考訳（メタデータ） (2023-05-15T12:44:54Z)
• NASiam: Efficient Representation Learning using Neural Architecture Search for Siamese Networks [76.8112416450677]
  シームズネットワークは、自己教師付き視覚表現学習(SSL)を実現するための最も傾向のある方法の1つである。 NASiamは、初めて微分可能なNASを使用して、多層パーセプトロンプロジェクタと予測器(エンコーダ/予測器ペア)を改善する新しいアプローチである。 NASiamは、小規模(CIFAR-10/CIFAR-100)と大規模(画像Net)画像分類データセットの両方で競合性能を達成し、わずか数GPU時間しかかからない。
  論文  参考訳（メタデータ） (2023-01-31T19:48:37Z)
• Synthetic Dataset Generation for Privacy-Preserving Machine Learning [7.489265323050362]
  本稿では,従来のプライベートデータセットからセキュアな合成データセットを生成する手法を提案する。 提案手法は,様々なプライバシー侵害攻撃下でデータプライバシを保護していることを示す。
  論文  参考訳（メタデータ） (2022-10-06T20:54:52Z)
• UnrealNAS: Can We Search Neural Architectures with Unreal Data? [84.78460976605425]
  ニューラルアーキテクチャサーチ(NAS)はディープニューラルネットワーク(DNN)の自動設計において大きな成功を収めた。 これまでの研究は、NASに地道ラベルを持つことの必要性を分析し、幅広い関心を喚起した。 NASが有効であるためには、実際のデータが必要であるかどうか、さらに疑問を呈する。
  論文  参考訳（メタデータ） (2022-05-04T16:30:26Z)
• Self-Supervised Neural Architecture Search for Imbalanced Datasets [129.3987858787811]
  ニューラルアーキテクチャサーチ(NAS)は、アノテートラベル付きよく計算されたデータセットでトレーニングされた場合、最先端の結果を提供する。 a) アーキテクチャを決定するためにラベルを必要とせず、(b) データセットが不均衡であると仮定する自己管理シナリオに焦点を当てたNASベースのフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-09-17T14:56:36Z)
• Search to aggregate neighborhood for graph neural network [47.47628113034479]
  そこで本研究では,データ固有のGNNアーキテクチャを自動的に設計するためのフレームワークとして,SANE(Search to Aggregate NEighborhood)を提案する。 新規で表現力のある検索空間を設計することにより,従来の強化学習法よりも効率的である微分可能な探索アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-04-14T03:15:19Z)
• Hierarchical Neural Architecture Search for Deep Stereo Matching [131.94481111956853]
  本稿では, ディープステレオマッチングのための最初のエンドツーエンド階層型NASフレームワークを提案する。 我々のフレームワークは、タスク固有の人間の知識をニューラルアーキテクチャ検索フレームワークに組み込んでいる。 KITTI stereo 2012、2015、Middleburyベンチマークで1位、SceneFlowデータセットで1位にランクインしている。
  論文  参考訳（メタデータ） (2020-10-26T11:57:37Z)
• Direct Federated Neural Architecture Search [0.0]
  本稿では,ハードウェアに依存せず,計算的に軽量な直接フェデレーションNASと,準備の整ったニューラルネットワークモデルを探すためのワンステージ手法を提案する。 以上の結果から, 従来技術の精度向上を図りながら, 資源消費の大幅な削減を図った。
  論文  参考訳（メタデータ） (2020-10-13T08:11:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。