論文の概要: FedFIbOS: Fisher Importance based Optimal Submodelling for Heterogeneous Federated Learning

• arxiv url: http://arxiv.org/abs/2609.19559v1
• Date: Thu, 17 Sep 2026 01:41:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-20 08:55:54.063048
• Title: FedFIbOS: Fisher Importance based Optimal Submodelling for Heterogeneous Federated Learning
• Title（参考訳）: FedFIbOS:不均一なフェデレーション学習のための漁業重要度に基づく最適サブモデリング
• Abstract要約: 不均一なフェデレーション学習は、グローバルモデルを協調的に訓練するために、多様な計算能力を持つクライアントを必要とする。 textbfFedFIbOS: 不均一なフェデレーション学習のためのフィッシャーベース最適サブモデリングを提案する。 実験の結果、FedFIbOSは最先端技術よりも精度が$approx10%$高いことが示され、改良はより強い異質性の下でより顕著になる。
• 参考スコア（独自算出の注目度）: 1.5216282947604407
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Heterogeneous federated learning requires clients with diverse computational capacities to collaboratively train a global model, where each client trains a capacity-constrained submodel. Existing methods select submodel parameters using heuristic importance measures---most prominently parameter magnitude---without theoretical justification for why these measures support convergence. We identify a fundamental gap: existing parameter selection criteria lack theoretical grounding in the convergence framework, partial client participation introduces additional estimation effects in the Fisher scores. We propose \textbf{FedFIbOS}: Fisher Importance-based Optimal Submodelling for heterogeneous federated learning, using Fisher Information in a principled criterion derived from minimizing submodel masking error. %We formally establish when magnitude selection is equivalent to Fisher selection fail under non-IID heterogeneous federated learning. We theoretically formulate submodel selection through a Fisher-weighted quadratic masking surrogate and show that the raw Fisher top-$k$ rule implemented by FedFIbOS solves this surrogate under a Fisher-dominant ranking condition. The resulting method retains the convergence structure of the underlying masked federated optimization bound. Fisher scores are efficiently estimated from empirical diagonal Fisher information using squared gradients, enabling stable and adaptive parameter selection without additional optimization overhead. Experiments on CIFAR-10, CIFAR-100, and AGNews under pathological and Dirichlet non-IID settings show FedFIbOS achieves ${\approx}10\%$ higher accuracy than the state of the art, with improvements becoming more pronounced under stronger heterogeneity.
• Abstract（参考訳）: 不均一なフェデレーション学習では、多様な計算能力を持つクライアントがグローバルモデルを協調的に訓練し、各クライアントはキャパシティに制約のあるサブモデルを訓練する。 既存の手法では、ヒューリスティックな重要度尺度(最も顕著なパラメータの大きさ)を用いてサブモデルパラメータを選択するが、これらの尺度が収束をサポートする理由を理論的に正当化しない。 既存のパラメータ選択基準は収束フレームワークに理論的根拠がなく、部分的なクライアント参加はフィッシャースコアにさらなる推定効果をもたらす。 そこで本稿では,FedFIbOS: Fisher Importance-based Optimal Submodelling for heterogeneous federated learning, using Fisher Information in a principled criterion from Minimizing submodel masking error。 % 等級選択がフィッシャー選択と等価である場合, 非IID 等質なフェデレーション学習で正式に確立する。 理論的には、フィッシャー重み付き二次マスキングサロゲートを用いてサブモデル選択を定式化し、FedFIbOSによって実装された生のFisher top-$k$ルールがフィッシャー優位なランキング条件下でこのサロゲートを解くことを示す。 得られた手法は、基礎となるマスク付きフェデレート最適化境界の収束構造を保持する。 魚の得点は、二乗勾配を用いた経験的対角的フィッシャー情報から効率的に推定され、さらなる最適化オーバーヘッドを伴わずに安定かつ適応的なパラメータ選択が可能となる。 CIFAR-10、CIFAR-100、AGNewsの病理およびディリクレ非IID設定による実験では、FedFIbOSは最先端技術よりも高い精度で${\approx}10\%の精度で達成され、改良はより強い不均一性の下でより顕著になる。

関連論文リスト

• Fisher-Routed Mixture of Experts for Federated Class-Incremental Learning [4.9788177236136635]
  Federated Learning (FL)は、有望な分散機械学習パラダイムとして登場した。 FLをクラスにインクリメンタルな学習シナリオに拡張することは、ユニークな課題をもたらす。 textbfFederated Class-Incremental Learning (textscFedFMX) のためのエキスパートのtextbfFisher-Routed textbfMitextbfXture を提案する。
  論文  参考訳（メタデータ） (2026-06-27T09:45:52Z)
• Fisher-Guided Progressive Parameter Selection for Adaptive Fine-Tuning [5.8006596438443125]
  TextbfFisherAdapTuneはFisherジオメトリの時間的ドリフトを追跡することでパラメータ群を選択するFisher-Guided Adaptive Fine-Tuningフレームワークである。 我々は,下流セグメンテーションタスクに対するアプローチを評価し,FisherAdapTuneが複数設定で分散性能とゼロショット転送を改善したことを示す。
  論文  参考訳（メタデータ） (2026-06-08T21:35:11Z)
• FISMO: Fisher-Structured Momentum-Orthogonalized Optimizer [30.184978506988767]
  我々は、フィッシャー情報幾何を通して異方性ニューロトロピックな幾何情報を含むFISMOを紹介する。 FISMOは、確立されたベースラインよりも優れた効率と最終性能を達成する。
  論文  参考訳（メタデータ） (2026-01-29T14:05:04Z)
• Fisher-Informed Parameterwise Aggregation for Federated Learning with Heterogeneous Data [3.7661886858419735]
  フェデレーション学習は、分散クライアントからのモデル更新を集約する。 FedAvgのような標準のファーストオーダーメソッドは、各クライアントのすべてのパラメータに同じスカラーウェイトを適用します。
  論文  参考訳（メタデータ） (2026-01-20T05:18:09Z)
• Client-Centric Federated Adaptive Optimization [78.30827455292827]
  Federated Learning(FL)は、クライアントが独自のデータをプライベートに保ちながら、協調的にモデルをトレーニングする分散学習パラダイムである。 本稿では,新しいフェデレーション最適化手法のクラスであるフェデレーション中心適応最適化を提案する。
  論文  参考訳（メタデータ） (2025-01-17T04:00:50Z)
• Over-the-Air Fair Federated Learning via Multi-Objective Optimization [52.295563400314094]
  本稿では,公平なFLモデルを訓練するためのOTA-FFL(Over-the-air Fair Federated Learning Algorithm)を提案する。 OTA-FFLの公正性とロバストな性能に対する優位性を示す実験を行った。
  論文  参考訳（メタデータ） (2025-01-06T21:16:51Z)
• Boosting Fair Classifier Generalization through Adaptive Priority Reweighing [59.801444556074394]
  より優れた一般化性を持つ性能向上フェアアルゴリズムが必要である。 本稿では,トレーニングデータとテストデータ間の分散シフトがモデル一般化性に与える影響を解消する適応的リライジング手法を提案する。
  論文  参考訳（メタデータ） (2023-09-15T13:04:55Z)
• Beyond ADMM: A Unified Client-variance-reduced Adaptive Federated Learning Framework [82.36466358313025]
  我々はFedVRAと呼ばれる原始二重FLアルゴリズムを提案し、このアルゴリズムはグローバルモデルの分散還元レベルとバイアスを適応的に制御することができる。 半教師付き画像分類タスクに基づく実験は,既存の手法よりもFedVRAの方が優れていることを示す。
  論文  参考訳（メタデータ） (2022-12-03T03:27:51Z)
• Faster Adaptive Federated Learning [84.38913517122619]
  フェデレートラーニングは分散データの出現に伴って注目を集めている。 本稿では,クロスサイロFLにおけるモーメントに基づく分散低減手法に基づく適応アルゴリズム(FAFED)を提案する。
  論文  参考訳（メタデータ） (2022-12-02T05:07:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。