論文の概要: When More Parameters Hurt: Foundation Model Priors Amplify Worst-Client Disparity Under Extreme Federated Heterogeneity

• arxiv url: http://arxiv.org/abs/2605.08992v1
• Date: Sat, 09 May 2026 15:22:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-13 02:24:05.511768
• Title: When More Parameters Hurt: Foundation Model Priors Amplify Worst-Client Disparity Under Extreme Federated Heterogeneity
• Title（参考訳）: より多くのパラメータがハルトされるとき: ファンデーションモデルは、極端にフェデレートされたヘテロジニティの下で、最悪のクライアント格差を増幅する
• Abstract要約: フェデレートラーニング(FL)は、分散プライベートデータに基づく基礎モデル(FM)の微調整に益々使われている。 低ランク適応 (LoRA) を用いたTextCNN (2.7Mパラメータ) と DistilBERT の比較を行った。 極端なラベルスキュー (alpha = 0.1) の下では、DistilBERT+LoRAは、25倍のパラメータと広範囲な事前訓練があるにもかかわらず、TextCNNの32.2%のギャップよりも50.1% -- 56%大きい最悪の精度ギャップを生じる。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Federated learning (FL) is increasingly used to fine-tune foundation models (FMs) on distributed private data. The community largely assumes that large-scale pretraining serves as a 'rising tide that lifts all boats' in federated settings. However, our experiments reveal that these powerful priors can hinder rather than help the most disadvantaged clients under extreme heterogeneity. Through controlled experiments on federated text classification, we compare worst-client accuracy between TextCNN (2.7M parameters) and DistilBERT with Low-Rank Adaptation (LoRA, 66M parameters) across four Non-IID heterogeneity levels. Under extreme label skew (alpha = 0.1), DistilBERT+LoRA produces a worst-client accuracy gap of 50.1% -- 56% larger than TextCNN's 32.2% gap, despite having 25x more parameters and extensive pretraining. Under moderate heterogeneity (alpha >= 0.5), the pattern reverses: the FM nearly eliminates the gap. We call this the FM Fairness Paradox. We further show that an inverse-weighted LoRA aggregation method (FedAvgW) does not resolve the disparity, suggesting aggregation reweighting alone may be insufficient. Our results highlight the need for mechanisms that explicitly protect minority clients before deploying foundation models in high-stakes federated contexts such as healthcare and education.
• Abstract（参考訳）: フェデレートラーニング(FL)は、分散プライベートデータに基づく基礎モデル(FM)の微調整に益々使われている。 地域社会は、大規模な事前訓練が連合した環境で「すべてのボートを持ち上げる上昇潮」として機能していると想定している。 しかし、我々の実験は、これらの強力な先駆者は、非常に不均一な条件下で最も不利なクライアントを助けるのではなく、妨げられることを示した。 フェデレートされたテキスト分類に関する制御実験を通じて,TextCNN (2.7Mパラメータ) と DistilBERT と低ランク適応 (LoRA,66Mパラメータ) を4つの非IIDヘテロジニティレベルで比較した。 極端なラベルスキュー (alpha = 0.1) の下では、DistilBERT+LoRAは、25倍のパラメータと広範囲な事前訓練があるにもかかわらず、TextCNNの32.2%のギャップよりも50.1% -- 56%大きい最悪の精度ギャップを生じる。 中等度の不均一性(アルファ>=0.5)の下では、パターンは逆転する:FMはギャップをほとんど排除する。 これをFM Fairness Paradoxと呼ぶ。 さらに,逆重み付きLoRAアグリゲーション法 (FedAvgW) では差を解消できないことを示し,アグリゲーション再重み付けだけでは不十分である可能性が示唆された。 本研究は,医療・教育などの高度に包括された文脈に基礎モデルを配置する前に,マイノリティクライアントを明示的に保護するメカニズムの必要性を強調した。

関連論文リスト

• FedProIn: Mitigating Client Drift for Learnable Prototypes in Federated Medical Imaging [3.6868085124383625]
  本稿では,FedProIn(FedProIn)のプロトタイプによる影響認識型フェデレーション学習フレームワークを提案する。 FedProInは、複数の学習可能なクラスプロトタイプを使用して、異種クライアント間の共有セマンティック構造をキャプチャする。 HAM10000とMatek-19の2つの公開医療データセットの実験結果は、FedProInがそれぞれ83.5%のIDD、81.1%のIDD、96.2%のIDD、95.8%のIDDを達成していることを示している。
  論文  参考訳（メタデータ） (2026-07-05T07:54:17Z)
• Subspace-Constrained Federated Learning with Low-Rank Adaptation [0.0]
  フェデレートされた低ランク適応手法は、通信とプライバシーの制約下での大型モデルの微調整には魅力的である。 この部分空間の不整合がLoRAに基づくフェデレーション学習における破壊的な凝集と緩やかな収束をもたらすかどうかを考察する。 本稿では,ローカルクライアントの更新をグローバルな参照サブスペースに近い状態に保つための,サブスペース規則化されたフェデレーションLoRAの目的を提案する。
  論文  参考訳（メタデータ） (2026-06-21T23:49:22Z)
• Stabilized Fine-Tuning with LoRA in Federated Learning: Mitigating the Side Effect of Client Size and Rank via the Scaling Factor [8.51407618718798]
  プライバシ制約がフェデレーション学習(FL)を必要とする分散シナリオでは、ローランド適応(LoRA)の統合は不安定であることが多い。 本稿では,アダプタランクとフェデレートアグリゲーションの相互作用を理論的に特徴付けるフレームワークである安定化フェデレートロラ(SFed-LoRA)を紹介する。 SFed-LoRAは高階崩壊を防止し,安定性を著しく向上し,より高速な収束を実現することを実証した。
  論文  参考訳（メタデータ） (2026-03-09T07:49:56Z)
• FedHL: Federated Learning for Heterogeneous Low-Rank Adaptation via Unbiased Aggregation [6.5370850242187855]
  フェデレートラーニング(FL)は、分散データソースを使用したファンデーションモデル(FM)の微調整を容易にする。 Low-Rank Adaptation (LoRA) は通信コストの低さと高い性能で人気を博している。 既存の手法ではパラメータの切り離しとバイアス付き勾配更新による公式収束保証が欠如している。
  論文  参考訳（メタデータ） (2025-05-24T04:12:12Z)
• Project-Probe-Aggregate: Efficient Fine-Tuning for Group Robustness [61.45587642780908]
  画像テキスト基礎モデルのパラメータ効率向上のための3段階のアプローチを提案する。 本手法は, マイノリティ標本同定とロバストトレーニングアルゴリズムの2つの重要な要素を改良する。 我々の理論分析は,PPAが少数群の識別を向上し,バランスの取れたグループエラーを最小限に抑えるためにベイズが最適であることを示している。
  論文  参考訳（メタデータ） (2025-03-12T15:46:12Z)
• Federated Learning under Partially Class-Disjoint Data via Manifold Reshaping [64.58402571292723]
  我々はFedMRと呼ばれる多様体再構成手法を提案し、局所訓練の特徴空間を校正する。 我々は、FedMRがはるかに高い精度と通信効率を達成することを示すために、さまざまなデータセットに関する広範な実験を行います。
  論文  参考訳（メタデータ） (2024-05-29T10:56:13Z)
• Heterogeneous LoRA for Federated Fine-tuning of On-Device Foundation Models [20.707283766914017]
  HetLoRAはクライアントデバイス間での不均一なランク付けを可能にし、これらの不均一なLoRAモジュールを効率的に集約し、配布する。 HetLoRAは同種LoRAに比べて収束速度と最終性能が向上する。
  論文  参考訳（メタデータ） (2024-01-12T07:52:07Z)
• Marginal Debiased Network for Fair Visual Recognition [59.05212866862219]
  本稿では,デバイアス表現を学習するための新しい限界脱バイアスネットワーク(MDN)を提案する。 我々のMDNは、表現不足のサンプルに対して顕著な性能を達成できる。
  論文  参考訳（メタデータ） (2024-01-04T08:57:09Z)
• Fairness-enhancing mixed effects deep learning improves fairness on in- and out-of-distribution clustered (non-iid) data [6.596656267996196]
  フェア・ミックスド・エフェクト・ディープ・ラーニング(Fair MEDL)フレームワークを提案する。 本フレームワークは,1)不変なFEを学習するためのクラスタ逆効果,2)REのためのベイズニューラルネットワーク,3)最終的な予測のためにFEとREを組み合わせた混合関数,を通じて,クラスタ不変な固定効果(FE)とクラスタ固有ランダムエフェクト(RE)を定量化する。 公正なMEDLフレームワークは、年齢で86.4%、人種で64.9%、性で57.8%、結婚で36.2%の公正性を向上し、堅牢な予測性能を維持している。
  論文  参考訳（メタデータ） (2023-10-04T20:18:45Z)
• DFedADMM: Dual Constraints Controlled Model Inconsistency for Decentralized Federated Learning [52.83811558753284]
  分散学習(DFL)は、中央サーバーを捨て、分散通信ネットワークを確立する。 既存のDFL手法は依然として、局所的な矛盾と局所的な過度なオーバーフィッティングという2つの大きな課題に悩まされている。
  論文  参考訳（メタデータ） (2023-08-16T11:22:36Z)
• FedSkip: Combatting Statistical Heterogeneity with Federated Skip Aggregation [95.85026305874824]
  我々はFedSkipと呼ばれるデータ駆動型アプローチを導入し、フェデレーション平均化を定期的にスキップし、ローカルモデルをクロスデバイスに分散することで、クライアントの最適化を改善する。 我々は、FedSkipがはるかに高い精度、より良いアグリゲーション効率、競合する通信効率を達成することを示すために、さまざまなデータセットに関する広範な実験を行う。
  論文  参考訳（メタデータ） (2022-12-14T13:57:01Z)
• Beyond ADMM: A Unified Client-variance-reduced Adaptive Federated Learning Framework [82.36466358313025]
  我々はFedVRAと呼ばれる原始二重FLアルゴリズムを提案し、このアルゴリズムはグローバルモデルの分散還元レベルとバイアスを適応的に制御することができる。 半教師付き画像分類タスクに基づく実験は,既存の手法よりもFedVRAの方が優れていることを示す。
  論文  参考訳（メタデータ） (2022-12-03T03:27:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。