論文の概要: FEATHERS: Federated Architecture and Hyperparameter Search

• arxiv url: http://arxiv.org/abs/2206.12342v3
• Date: Mon, 27 Mar 2023 09:26:59 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-29 03:13:02.376124
• Title: FEATHERS: Federated Architecture and Hyperparameter Search
• Title（参考訳）: FEATHERS: フェデレーションアーキテクチャとハイパーパラメータ検索
• Authors: Jonas Seng, Pooja Prasad, Martin Mundt, Devendra Singh Dhami, Kristian Kersting
• Abstract要約: FEATHERS - $textbfFE$derated $textbfA$rchi$textbfT$ecture and $textbfH$yp$textbfER$ $textbfS$earchを紹介します。
• 参考スコア（独自算出の注目度）: 18.217609851581084
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Deep neural architectures have profound impact on achieved performance in many of today's AI tasks, yet, their design still heavily relies on human prior knowledge and experience. Neural architecture search (NAS) together with hyperparameter optimization (HO) helps to reduce this dependence. However, state of the art NAS and HO rapidly become infeasible with increasing amount of data being stored in a distributed fashion, typically violating data privacy regulations such as GDPR and CCPA. As a remedy, we introduce FEATHERS - $\textbf{FE}$derated $\textbf{A}$rchi$\textbf{T}$ecture and $\textbf{H}$yp$\textbf{ER}$parameter $\textbf{S}$earch, a method that not only optimizes both neural architectures and optimization-related hyperparameters jointly in distributed data settings, but further adheres to data privacy through the use of differential privacy (DP). We show that FEATHERS efficiently optimizes architectural and optimization-related hyperparameters alike, while demonstrating convergence on classification tasks at no detriment to model performance when complying with privacy constraints.
• Abstract（参考訳）: ディープニューラルアーキテクチャは、今日のaiタスクの多くで達成されたパフォーマンスに大きな影響を与えるが、その設計はまだ人間の事前知識と経験に大きく依存している。 neural architecture search (nas) と hyperparameter optimization (ho) は、この依存性を減らすのに役立つ。 しかし、NASとHOの状態は、GDPRやCCPAといったデータプライバシ規則に違反した分散形式で保存されるデータの量が増加するにつれて、急速に実現不可能になる。 FEATHERS$\textbf{FE}$derated $\textbf{A}$rchi$\textbf{T}$ecture and $\textbf{H}$yp$\textbf{ER}$parameter $\textbf{S}$earch – ニューラルネットワークと最適化関連ハイパーパラメータを分散データ設定で共同で最適化するだけでなく、差分プライバシ(DP)を使用してデータのプライバシにも準拠する手法である。 FEATHERS はアーキテクチャや最適化に関連するハイパーパラメータを最適化すると同時に,プライバシ制約に従えば,性能のモデル化を犠牲にすることなく,分類タスクの収束性を示す。

関連論文リスト

• Efficient Hyperparameter Importance Assessment for CNNs [1.7778609937758323]
  本稿では,畳み込みニューラルネットワーク(CNN)におけるハイパーパラメータの重み付けを,N-RReliefFというアルゴリズムを用いて定量化する。 我々は10の人気のある画像分類データセットから1万以上のCNNモデルをトレーニングし、広範囲にわたる研究を行う。
  論文  参考訳（メタデータ） (2024-10-11T15:47:46Z)
• POMONAG: Pareto-Optimal Many-Objective Neural Architecture Generator [4.09225917049674]
  Transferable NASが登場し、データセット依存からタスク依存への探索プロセスを一般化した。 本稿では多目的拡散プロセスを通じて拡散NAGを拡張するPOMONAGを紹介する。 結果は、NAS201とMobileNetV3の2つの検索スペースで検証され、15の画像分類データセットで評価された。
  論文  参考訳（メタデータ） (2024-09-30T16:05:29Z)
• Differentially Private Fine-Tuning of Diffusion Models [22.454127503937883]
  微分プライバシーと拡散モデル(DM)の統合は、有望だが挑戦的なフロンティアを示している。 この分野での最近の進歩は、公開データによる事前学習によって高品質な合成データを生成する可能性を強調している。 本稿では,プライバシとユーティリティのトレードオフを高めるために,トレーニング可能なパラメータの数を最小限に抑える,プライベート拡散モデルに最適化された戦略を提案する。
  論文  参考訳（メタデータ） (2024-06-03T14:18:04Z)
• Efficient Architecture Search via Bi-level Data Pruning [70.29970746807882]
  この研究は、DARTSの双方向最適化におけるデータセット特性の重要な役割を探求する先駆者となった。 我々は、スーパーネット予測力学を計量として活用する新しいプログレッシブデータプルーニング戦略を導入する。 NAS-Bench-201サーチスペース、DARTSサーチスペース、MobileNetのようなサーチスペースに関する総合的な評価は、BDPがサーチコストを50%以上削減することを検証する。
  論文  参考訳（メタデータ） (2023-12-21T02:48:44Z)
• Fairer and More Accurate Tabular Models Through NAS [14.147928131445852]
  本稿では,多目的ニューラルアーキテクチャサーチ (NAS) とハイパーパラメータ最適化 (HPO) を,表データの非常に困難な領域への最初の応用として提案する。 我々はNASで精度のみに最適化されたモデルが、本質的に公正な懸念に対処できないことをしばしば示している。 公平性、正確性、あるいは両方において、最先端のバイアス緩和手法を一貫して支配するアーキテクチャを作成します。
  論文  参考訳（メタデータ） (2023-10-18T17:56:24Z)
• Efficient and Joint Hyperparameter and Architecture Search for Collaborative Filtering [31.25094171513831]
  協調フィルタリングモデルのための2段階探索アルゴリズムを提案する。 最初の段階では、サブサンプルデータセットからの知識を活用して評価コストを削減します。 第2段階では、データセット全体の上位候補モデルを効率的に微調整する。
  論文  参考訳（メタデータ） (2023-07-12T10:56:25Z)
• A New Linear Scaling Rule for Private Adaptive Hyperparameter Optimization [57.450449884166346]
  本稿では,HPOのプライバシコストを考慮した適応型HPO法を提案する。 我々は22のベンチマークタスク、コンピュータビジョンと自然言語処理、事前学習と微調整で最先端のパフォーマンスを得る。
  論文  参考訳（メタデータ） (2022-12-08T18:56:37Z)
• Pre-training helps Bayesian optimization too [49.28382118032923]
  機能的事前設定のための代替的なプラクティスを模索する。 特に、より厳密な分布を事前訓練できるような、類似した関数のデータを持つシナリオを考察する。 提案手法は, 競合する手法の少なくとも3倍の効率で, 優れたハイパーパラメータを見つけることができることを示す。
  論文  参考訳（メタデータ） (2022-07-07T04:42:54Z)
• AUTOMATA: Gradient Based Data Subset Selection for Compute-Efficient Hyper-parameter Tuning [72.54359545547904]
  ハイパーパラメータチューニングのための勾配に基づくサブセット選択フレームワークを提案する。 ハイパーパラメータチューニングに勾配ベースのデータサブセットを用いることで、3$times$-30$times$のターンアラウンド時間とスピードアップが大幅に向上することを示す。
  論文  参考訳（メタデータ） (2022-03-15T19:25:01Z)
• DHA: End-to-End Joint Optimization of Data Augmentation Policy, Hyper-parameter and Architecture [81.82173855071312]
  本稿では,AutoMLコンポーネントを統合したエンドツーエンドソリューションを提案する。 Dhaは、様々なデータセット、特にセルベースの検索空間を持つImageNetの77.4%の精度で、最先端(SOTA)結果を達成する。
  論文  参考訳（メタデータ） (2021-09-13T08:12:50Z)
• iDARTS: Differentiable Architecture Search with Stochastic Implicit Gradients [75.41173109807735]
  微分可能なArchiTecture Search(DARTS)は先日,ニューラルアーキテクチャサーチ(NAS)の主流になった。 暗黙の関数定理に基づいてDARTSの過次計算に取り組む。 提案手法であるiDARTSのアーキテクチャ最適化は,定常点に収束することが期待される。
  論文  参考訳（メタデータ） (2021-06-21T00:44:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。