論文の概要: The Risk of Federated Learning to Skew Fine-Tuning Features and Underperform Out-of-Distribution Robustness

• arxiv url: http://arxiv.org/abs/2401.14027v1
• Date: Thu, 25 Jan 2024 09:18:51 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-26 15:24:23.850341
• Title: The Risk of Federated Learning to Skew Fine-Tuning Features and Underperform Out-of-Distribution Robustness
• Title（参考訳）: ファインチューニング機能とアウト・オブ・ディストリビューションロバスト性を損なうフェデレーション学習のリスク
• Authors: Mengyao Du, Miao Zhang, Yuwen Pu, Kai Xu, Shouling Ji, Quanjun Yin
• Abstract要約: フェデレートされた学習は、微調整された特徴をスキイングし、モデルの堅牢性を損なうリスクがある。 3つのロバスト性指標を導入し、多様なロバストデータセットで実験を行う。 提案手法は,パラメータ効率のよい微調整手法を含む多種多様なシナリオにまたがるロバスト性を著しく向上させる。
• 参考スコア（独自算出の注目度）: 50.52507648690234
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: To tackle the scarcity and privacy issues associated with domain-specific datasets, the integration of federated learning in conjunction with fine-tuning has emerged as a practical solution. However, our findings reveal that federated learning has the risk of skewing fine-tuning features and compromising the out-of-distribution robustness of the model. By introducing three robustness indicators and conducting experiments across diverse robust datasets, we elucidate these phenomena by scrutinizing the diversity, transferability, and deviation within the model feature space. To mitigate the negative impact of federated learning on model robustness, we introduce GNP, a \underline{G}eneral \underline{N}oisy \underline{P}rojection-based robust algorithm, ensuring no deterioration of accuracy on the target distribution. Specifically, the key strategy for enhancing model robustness entails the transfer of robustness from the pre-trained model to the fine-tuned model, coupled with adding a small amount of Gaussian noise to augment the representative capacity of the model. Comprehensive experimental results demonstrate that our approach markedly enhances the robustness across diverse scenarios, encompassing various parameter-efficient fine-tuning methods and confronting different levels of data heterogeneity.
• Abstract（参考訳）: ドメイン固有のデータセットに関連する不足とプライバシの問題に対処するため、ファインチューニングと組み合わせたフェデレーション学習の統合が現実的なソリューションとして現れている。 しかし, フェデレーション学習は, 微調整機能を歪め, モデルの分散的頑健性を損なうリスクがあることが明らかとなった。 3つのロバスト性指標を導入し、多様なロバストなデータセットに対して実験を行うことで、モデル特徴空間内の多様性、伝達可能性、偏差を精査することでこれらの現象を解明する。 モデルロバスト性に対するフェデレーション学習の負の影響を緩和するため,ターゲット分布における精度の劣化を確実に抑えるために,GNP, \underline{G}eneral \underline{N}oisy \underline{P}rojection-based robust algorithmを導入する。 具体的には、モデルロバスト性を高めるための重要な戦略は、事前訓練されたモデルから微調整されたモデルへのロバスト性の移動と、モデルの代表能力を高めるために少量のガウスノイズを加えることである。 総合的な実験結果から,本手法は多種多様なシナリオにまたがるロバスト性を顕著に向上し,パラメータ効率のよい微調整手法を包含し,異なるレベルのデータヘテロジニティに直面することを示した。

関連論文リスト

• On the KL-Divergence-based Robust Satisficing Model [2.425685918104288]
  頑丈さを満足させる枠組みは 学界から注目を集めています 本稿では,解析的解釈,多様な性能保証,効率的で安定した数値法,収束解析,階層型データ構造に適した拡張について述べる。 我々は、最先端のベンチマークと比較して、モデルの性能が優れていることを実証する。
  論文  参考訳（メタデータ） (2024-08-17T10:05:05Z)
• Exploring the Interplay of Interpretability and Robustness in Deep Neural Networks: A Saliency-guided Approach [3.962831477787584]
  敵対的攻撃は、ディープラーニングモデルを安全クリティカルなアプリケーションにデプロイする上で大きな課題となる。 モデルの堅牢性を維持しながら解釈可能性を確保することは、これらのモデルの信頼と理解を促進する上で不可欠である。 本研究では,Saliency-Guided Trainingがモデルロバスト性に及ぼす影響について検討した。
  論文  参考訳（メタデータ） (2024-05-10T07:21:03Z)
• Distributionally Robust Model-based Reinforcement Learning with Large State Spaces [55.14361269378122]
  強化学習における3つの大きな課題は、大きな状態空間を持つ複雑な力学系、コストのかかるデータ取得プロセス、トレーニング環境の展開から現実の力学を逸脱させることである。 広範に用いられているKullback-Leibler, chi-square, および全変分不確実性集合の下で, 連続状態空間を持つ分布ロバストなマルコフ決定過程について検討した。 本稿では,ガウス過程と最大分散削減アルゴリズムを用いて,多出力名目遷移力学を効率的に学習するモデルベースアプローチを提案する。
  論文  参考訳（メタデータ） (2023-09-05T13:42:11Z)
• Enhancing Multiple Reliability Measures via Nuisance-extended Information Bottleneck [77.37409441129995]
  トレーニングデータに制限がある現実的なシナリオでは、データ内の多くの予測信号は、データ取得のバイアスからより多く得る。 我々は,相互情報制約の下で,より広い範囲の摂動をカバーできる敵の脅威モデルを考える。 そこで本研究では,その目的を実現するためのオートエンコーダベーストレーニングと,提案したハイブリッド識別世代学習を促進するための実用的なエンコーダ設計を提案する。
  論文  参考訳（メタデータ） (2023-03-24T16:03:21Z)
• Robust Direct Learning for Causal Data Fusion [14.462235940634969]
  我々は、他のニュアンス関数から処理効果を分離するマルチソースデータを統合するためのフレームワークを提供する。 また,半パラメトリック効率理論の理論的洞察に基づく因果情報認識重み付け関数を提案する。
  論文  参考訳（メタデータ） (2022-11-01T03:33:22Z)
• Trustworthy Multimodal Regression with Mixture of Normal-inverse Gamma Distributions [91.63716984911278]
  このアルゴリズムは、異なるモードの適応的統合の原理における不確かさを効率的に推定し、信頼できる回帰結果を生成する。 実世界のデータと実世界のデータの両方に対する実験結果から,多モード回帰タスクにおける本手法の有効性と信頼性が示された。
  論文  参考訳（メタデータ） (2021-11-11T14:28:12Z)
• Enhancing Model Robustness and Fairness with Causality: A Regularization Approach [15.981724441808147]
  最近の研究は、機械学習モデルにおける急激な相関と意図しないバイアスのリスクを懸念している。 モデルトレーニング中に因果知識を統合するためのシンプルで直感的な正規化手法を提案する。 因果的特徴に依存し、因果的でない特徴に依存しない予測モデルを構築します。
  論文  参考訳（メタデータ） (2021-10-03T02:49:33Z)
• High-Robustness, Low-Transferability Fingerprinting of Neural Networks [78.2527498858308]
  本稿では,ディープニューラルネットワークを効果的にフィンガープリントするための特性例を提案する。 モデルプルーニングに対するベースモデルへの高いロバスト性、無関係モデルへの低透過性などが特徴である。
  論文  参考訳（メタデータ） (2021-05-14T21:48:23Z)
• Trust but Verify: Assigning Prediction Credibility by Counterfactual Constrained Learning [123.3472310767721]
  予測信頼性尺度は統計学と機械学習において基本的なものである。 これらの措置は、実際に使用される多種多様なモデルを考慮に入れるべきである。 この研究で開発されたフレームワークは、リスクフィットのトレードオフとして信頼性を表現している。
  論文  参考訳（メタデータ） (2020-11-24T19:52:38Z)
• Robust Bayesian Inference for Discrete Outcomes with the Total Variation Distance [5.139874302398955]
  離散的に評価された結果のモデルは、データがゼロインフレーション、過分散または汚染を示す場合、容易に誤特定される。 ここでは、Ttal Variation Distance (TVD) を用いた頑健な相違に基づくベイズ的アプローチを提案する。 我々は、我々のアプローチが堅牢で、シミュレーションおよび実世界のデータの範囲で予測性能を著しく改善していることを実証的に実証した。
  論文  参考訳（メタデータ） (2020-10-26T09:53:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。