論文の概要: Differentially-private Federated Neural Architecture Search

• arxiv url: http://arxiv.org/abs/2006.10559v2
• Date: Mon, 22 Jun 2020 21:48:41 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-20 20:28:19.256816
• Title: Differentially-private Federated Neural Architecture Search
• Title（参考訳）: 差動的共役型ニューラルネットワーク探索
• Authors: Ishika Singh, Haoyi Zhou, Kunlin Yang, Meng Ding, Bill Lin, Pengtao Xie
• Abstract要約: 本稿では,FNAS(Federated Neural Architecture Search)を提案する。 我々は,DP-FNASが差分プライバシーを達成するための理論的保証を提供する。 DP-FNASは、個々のパーティのプライバシを保護しながら、高性能なニューラルアーキテクチャを検索できることが実験で示されている。
• 参考スコア（独自算出の注目度）: 16.400046407385734
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Neural architecture search, which aims to automatically search for architectures (e.g., convolution, max pooling) of neural networks that maximize validation performance, has achieved remarkable progress recently. In many application scenarios, several parties would like to collaboratively search for a shared neural architecture by leveraging data from all parties. However, due to privacy concerns, no party wants its data to be seen by other parties. To address this problem, we propose federated neural architecture search (FNAS), where different parties collectively search for a differentiable architecture by exchanging gradients of architecture variables without exposing their data to other parties. To further preserve privacy, we study differentially-private FNAS (DP-FNAS), which adds random noise to the gradients of architecture variables. We provide theoretical guarantees of DP-FNAS in achieving differential privacy. Experiments show that DP-FNAS can search highly-performant neural architectures while protecting the privacy of individual parties. The code is available at https://github.com/UCSD-AI4H/DP-FNAS
• Abstract（参考訳）: ニューラルネットワークのアーキテクチャ(例えば、畳み込み、最大プーリング)を自動的に検索することを目的としたニューラルアーキテクチャサーチは、最近顕著な進歩を遂げた。 多くのアプリケーションシナリオでは、複数のパーティが協力して、すべてのパーティのデータを活用することで、共有ニューラルネットワークを検索したいと考えています。 しかし、プライバシー上の懸念から、他の当事者がデータを見ることを望んでいない。 この問題に対処するため、我々はフェデレートされたニューラルネットワーク探索(FNAS)を提案し、各パーティは、他のパーティにデータを公開することなく、アーキテクチャ変数の勾配を交換することで、一括して識別可能なアーキテクチャを探索する。 さらにプライバシーを守るため,アーキテクチャ変数の勾配にランダムノイズを付加する差分プライベートfna(dp-fnas)の研究を行った。 我々は,DP-FNASが差分プライバシーを達成するための理論的保証を提供する。 DP-FNASは、個々のパーティのプライバシを保護しながら、高性能なニューラルアーキテクチャを探索することができる。 コードはhttps://github.com/UCSD-AI4H/DP-FNASで公開されている。

関連論文リスト

• Differential Privacy on Trust Graphs [54.55190841518906]
  差分プライバシー(DP)は、各当事者がそのデータで他の当事者の(既知の)サブセットのみを信頼するマルチパーティ環境で研究する。 我々は、DPのローカルモデルよりもはるかに優れたプライバシーとユーティリティのトレードオフを持つ集約のためのDPアルゴリズムを提供する。
  論文  参考訳（メタデータ） (2024-10-15T20:31:04Z)
• The devil is in discretization discrepancy. Robustifying Differentiable NAS with Single-Stage Searching Protocol [2.4300749758571905]
  勾配に基づく手法は離散化誤差に悩まされ、最終的なアーキテクチャを得る過程を著しく損なう可能性がある。 本稿では,連続的なアーキテクチャの復号化に依存しない新しい単一ステージ探索プロトコルを提案する。 本手法は,Cityscapes検証データセットの検索段階において75.3%の精度で他のDNAS法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2024-05-26T15:44:53Z)
• DNA Family: Boosting Weight-Sharing NAS with Block-Wise Supervisions [121.05720140641189]
  蒸留型ニューラルアーキテクチャ(DNA)技術を用いたモデル群を開発した。 提案するDNAモデルでは,アルゴリズムを用いてサブサーチ空間にのみアクセス可能な従来の手法とは対照的に,すべてのアーキテクチャ候補を評価できる。 当社のモデルでは,モバイルコンボリューションネットワークと小型ビジョントランスフォーマーにおいて,ImageNet上で78.9%,83.6%の最先端トップ1精度を実現している。
  論文  参考訳（メタデータ） (2024-03-02T22:16:47Z)
• GeNAS: Neural Architecture Search with Better Generalization [14.92869716323226]
  最近のニューラルアーキテクチャサーチ(NAS)アプローチは、対象データに対して優れたネットワークを見つけるために、検証損失または精度に依存している。 そこで本研究では,より一般化した探索型アーキテクチャのためのニューラルアーキテクチャ探索手法について検討する。
  論文  参考訳（メタデータ） (2023-05-15T12:44:54Z)
• Data-Free Neural Architecture Search via Recursive Label Calibration [34.84457903882755]
  本稿では,事前学習モデルのみを用いたニューラルネットワーク探索の実現可能性を検討することを目的としている。 まず、トレーニング済みのディープニューラルネットワークから知識を回復することで、使用可能なデータを合成する。 我々は提案するフレームワークをDARTS, ProxylessNAS, SPOSの3つの一般的なNASアルゴリズムでインスタンス化する。
  論文  参考訳（メタデータ） (2021-12-03T18:53:16Z)
• Pi-NAS: Improving Neural Architecture Search by Reducing Supernet Training Consistency Shift [128.32670289503025]
  最近提案されたニューラルアーキテクチャサーチ (NAS) 手法は,スーパーネット上で数十億のアーキテクチャを共存させ,その潜在的な精度を推定する。 アーキテクチャの予測精度と実際の能力のランキング相関は誤りであり、既存のNAS手法のジレンマを引き起こす。 このランク付け相関問題は,特徴シフトやパラメータシフトを含む,スーパーネットトレーニングの整合性シフトに起因している。 この2つのシフトを、Pi-NASと呼ばれる非自明なスーパーネットPiモデルを用いて同時に解決する。
  論文  参考訳（メタデータ） (2021-08-22T09:08:48Z)
• D-DARTS: Distributed Differentiable Architecture Search [75.12821786565318]
  微分可能なArchiTecture Search(DARTS)は、最も流行しているニューラルネットワークサーチ(NAS)の1つである。 セルレベルで複数のニューラルネットワークをネストすることでこの問題に対処する新しいソリューションD-DARTSを提案する。
  論文  参考訳（メタデータ） (2021-08-20T09:07:01Z)
• Learning Versatile Neural Architectures by Propagating Network Codes [74.2450894473073]
  アーキテクチャの性能を複数のデータセットやタスクで予測できる新しい「神経予測器」を提案する。 ncpはネットワークコードから学習するが、オリジナルデータではないため、データセット間で効率的にアーキテクチャを更新することができる。
  論文  参考訳（メタデータ） (2021-03-24T15:20:38Z)
• FDNAS: Improving Data Privacy and Model Diversity in AutoML [7.402044070683503]
  クライアントの分散データからハードウェアを意識したNASを実現するためのFDNAS(Federated Direct Neural Architecture Search)フレームワークを提案する。 メタラーニングにインスパイアされたクライアントのデータ分散をさらに適応させるために、CFDNAS(Federated Direct Neural Architecture Search)フレームワークが提案され、クライアント対応NASを実現する。
  論文  参考訳（メタデータ） (2020-11-06T14:13:42Z)
• GOLD-NAS: Gradual, One-Level, Differentiable [100.12492801459105]
  GOLD-NAS (Gradual One-Level Differentiable Neural Architecture Search) という新しいアルゴリズムを提案する。 1レベル最適化に可変リソース制約を導入し、弱い演算子をスーパーネットワークから徐々に追い出す。
  論文  参考訳（メタデータ） (2020-07-07T10:37:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。