論文の概要: On Noisy Evaluation in Federated Hyperparameter Tuning

• arxiv url: http://arxiv.org/abs/2212.08930v1
• Date: Sat, 17 Dec 2022 18:51:00 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-20 18:09:10.216476
• Title: On Noisy Evaluation in Federated Hyperparameter Tuning
• Title（参考訳）: フェデレーションハイパーパラメータチューニングにおけるノイズ評価について
• Authors: Kevin Kuo, Pratiksha Thaker, Mikhail Khodak, John Ngyuen, Daniel Jiang, Ameet Talwalkar, Virginia Smith
• Abstract要約: 少量のノイズがチューニング方法に大きな影響を及ぼす可能性がある。 本稿では,公開プロキシデータを利用して評価信号を強化する,シンプルで効果的な手法を提案する。
• 参考スコア（独自算出の注目度）: 27.97637333107678
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Hyperparameter tuning is critical to the success of federated learning applications. Unfortunately, appropriately selecting hyperparameters is challenging in federated networks. Issues of scale, privacy, and heterogeneity introduce noise in the tuning process and make it difficult to evaluate the performance of various hyperparameters. In this work, we perform the first systematic study on the effect of noisy evaluation in federated hyperparameter tuning. We first identify and rigorously explore key sources of noise, including client subsampling, data and systems heterogeneity, and data privacy. Surprisingly, our results indicate that even small amounts of noise can significantly impact tuning methods-reducing the performance of state-of-the-art approaches to that of naive baselines. To address noisy evaluation in such scenarios, we propose a simple and effective approach that leverages public proxy data to boost the evaluation signal. Our work establishes general challenges, baselines, and best practices for future work in federated hyperparameter tuning.
• Abstract（参考訳）: ハイパーパラメータチューニングは、連合学習アプリケーションの成功に不可欠である。 残念なことに、ハイパーパラメータを適切に選択することは、フェデレーションネットワークでは難しい。 スケール,プライバシ,不均一性の問題はチューニングプロセスにノイズを導入し,様々なハイパーパラメータの性能評価を困難にする。 本研究では,フェデレートハイパーパラメータチューニングにおけるノイズ評価の効果について,最初の体系的検討を行った。 まず、クライアントサブサンプリング、データとシステムの不均一性、データプライバシなど、重要なノイズ源を特定し、厳密に調査する。 意外なことに,本研究の結果は,少ないノイズでもチューニング手法に大きく影響しうることを示唆している。 このようなシナリオにおけるノイズ評価に対処するために,公開プロキシデータを利用して評価信号を強化する,シンプルで効果的な手法を提案する。 私たちの研究は、フェデレーションハイパーパラメータチューニングにおける将来の作業のための一般的な課題、ベースライン、ベストプラクティスを確立します。

関連論文リスト

• One-step Noisy Label Mitigation [86.57572253460125]
  ノイズラベルのトレーニング過程に対する有害な影響の軽減がますます重要になっている。 モデルに依存しないノイズラベル緩和パラダイムである1ステップアンチノイズ(OSA)を提案する。 我々はOSAの優位性を実証的に実証し、トレーニングの堅牢性の向上、タスク転送性の向上、デプロイメントの容易性、計算コストの削減を強調した。
  論文  参考訳（メタデータ） (2024-10-02T18:42:56Z)
• ROPO: Robust Preference Optimization for Large Language Models [59.10763211091664]
  外部モデルの助けを借りずにノイズ耐性とノイズサンプルのフィルタリングを統合する反復アライメント手法を提案する。 Mistral-7BとLlama-2-7Bで広く使われている3つのデータセットの実験では、ROPOが既存の嗜好アライメント法を大幅に上回っていることが示されている。
  論文  参考訳（メタデータ） (2024-04-05T13:58:51Z)
• Learning with Noisy Foundation Models [95.50968225050012]
  本論文は、事前学習データセットにおけるノイズの性質を包括的に理解し分析する最初の研究である。 雑音の悪影響を緩和し、一般化を改善するため、特徴空間に適応するチューニング法(NMTune)を提案する。
  論文  参考訳（メタデータ） (2024-03-11T16:22:41Z)
• Adaptive Differential Privacy in Federated Learning: A Priority-Based Approach [0.0]
  フェデレートラーニング(FL)は、ローカルデータセットに直接アクセスせずにグローバルモデルを開発する。 DPはパラメータに一定のノイズを加えることで、プライバシーを保証するフレームワークを提供する。 本稿では,特徴量の相対的重要度に基づいて入射雑音の値を決定するFLの適応雑音付加法を提案する。
  論文  参考訳（メタデータ） (2024-01-04T03:01:15Z)
• Improve Noise Tolerance of Robust Loss via Noise-Awareness [60.34670515595074]
  本稿では,NARL-Adjuster(NARL-Adjuster for brevity)と呼ばれる,ハイパーパラメータ予測関数を適応的に学習するメタラーニング手法を提案する。 4つのSOTAロバストな損失関数を我々のアルゴリズムに統合し,提案手法の一般性および性能をノイズ耐性と性能の両面で検証した。
  論文  参考訳（メタデータ） (2023-01-18T04:54:58Z)
• Exploring Robustness of Prefix Tuning in Noisy Data: A Case Study in Financial Sentiment Analysis [0.0]
  ノイズデータに直面する場合,ファインチューニングはプレフィックスチューニングよりもノイズに強いことを示す。 我々は,現在最先端のプレフィックスチューニング手法をノイズデータに適用する場合,注意が必要であることを強く主張する。
  論文  参考訳（メタデータ） (2022-10-26T01:13:41Z)
• Partial Identification with Noisy Covariates: A Robust Optimization Approach [94.10051154390237]
  観測データセットからの因果推論は、しばしば共変量の測定と調整に依存する。 このロバストな最適化手法により、広範囲な因果調整法を拡張し、部分的同定を行うことができることを示す。 合成および実データセット全体で、このアプローチは既存の手法よりも高いカバレッジ確率でATEバウンダリを提供する。
  論文  参考訳（メタデータ） (2022-02-22T04:24:26Z)
• Efficient Hyperparameter Tuning for Large Scale Kernel Ridge Regression [19.401624974011746]
  本稿では,データ依存型ペナルティに基づく複雑性正規化基準を提案し,その効率的な最適化について議論する。 提案手法の利点は,大規模カーネル手法のライブラリに組み込んで,適応的に調整されたソリューションを導出することにある。
  論文  参考訳（メタデータ） (2022-01-17T09:57:32Z)
• Amortized Auto-Tuning: Cost-Efficient Transfer Optimization for Hyperparameter Recommendation [83.85021205445662]
  本稿では,機械学習モデルのチューニングを高速化する自動チューニング(AT2)を提案する。 マルチタスクマルチ忠実ベイズ最適化フレームワークの徹底的な解析を行い、最適なインスタンス化-アモータイズ自動チューニング(AT2)を実現する。
  論文  参考訳（メタデータ） (2021-06-17T00:01:18Z)
• Tuning-free Plug-and-Play Proximal Algorithm for Inverse Imaging Problems [22.239477171296056]
  Plug-and-play ()は、異なる学習アルゴリズムと先進的なデノイザプリエントを組み合わせた、カスタマイズされていないフレームワークである。 重要な問題です。 ベースとなるアプローチは、手動でパラメータを調整する必要があることです。 提案手法の鍵となるのは,パラメータの自動チューニングのためのネットワークポリシの開発である。 圧縮センシングと位相検索において有望な結果を示す。
  論文  参考訳（メタデータ） (2020-02-22T03:09:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。