論文の概要: Technical note on Fisher Information for Robust Federated Cross-Validation

• arxiv url: http://arxiv.org/abs/2510.03838v1
• Date: Sat, 04 Oct 2025 15:30:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-07 16:52:59.288717
• Title: Technical note on Fisher Information for Robust Federated Cross-Validation
• Title（参考訳）: ロバスト・フェデレーテッド・クロスバリデーションのための漁業情報に関する技術ノート
• Authors: Behraj Khan, Tahir Qasim Syed,
• Abstract要約: 我々はロバストなfEderated Validation(textbfFIRE)のためのフィッシャー情報を提案する。 ファイアは重み付けベンチマークを最大で5.1%、フェデレーションラーニングベンチマークを最大で5.3%、シフト検証セットで最大で5.3%で上回っている。
• 参考スコア（独自算出の注目度）: 3.5808917363708743
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: When training data are fragmented across batches or federated-learned across different geographic locations, trained models manifest performance degradation. That degradation partly owes to covariate shift induced by data having been fragmented across time and space and producing dissimilar empirical training distributions. Each fragment's distribution is slightly different to a hypothetical unfragmented training distribution of covariates, and to the single validation distribution. To address this problem, we propose Fisher Information for Robust fEderated validation (\textbf{FIRE}). This method accumulates fragmentation-induced covariate shift divergences from the global training distribution via an approximate Fisher information. That term, which we prove to be a more computationally-tractable estimate, is then used as a per-fragment loss penalty, enabling scalable distribution alignment. FIRE outperforms importance weighting benchmarks by $5.1\%$ at maximum and federated learning (FL) benchmarks by up to $5.3\%$ on shifted validation sets.
• Abstract（参考訳）: トレーニングデータがバッチにまたがって断片化されたり、異なる地理的ロケーションにまたがってフェデレーションを受けたりした場合、トレーニングされたモデルはパフォーマンスの劣化を示す。 この劣化は、時間と空間にまたがって断片化されたデータによって引き起こされる共変量シフトと、異なる経験的トレーニング分布を生み出すことによる。 各フラグメントの分布は、共変量の仮説的未断片化学習分布と、単一の検証分布とにわずかに異なる。 この問題に対処するため,Robost fEderated Validation (\textbf{FIRE}) のためのFisher Informationを提案する。 この方法は, 近似フィッシャー情報を用いて, 大域的な訓練分布から断片化誘起共変量シフトを蓄積する。 この用語は、より計算的に抽出可能な推定値であることが証明され、フラグメント当たりの損失ペナルティとして使用され、スケーラブルな分散アライメントを可能にします。 FIREは、重み付けベンチマークを最大5.1 %、フェデレーションラーニング(FL)ベンチマークを最大5.3 %、シフト検証セットを最大5.3 %で上回っている。

関連論文リスト

• Distributional Training Data Attribution [20.18145179467698]
  モデル出力の分布がデータセットに依存するかを予測するために、分布学習データ属性(d-TDA)を導入する。 平均を必ずしも変化させることなく、目標値の分布を劇的に変化させる訓練例を同定する。 また, 分布構造から影響関数 (IF) が自然に出現することが, アンロール化微分の限界として見出された。
  論文  参考訳（メタデータ） (2025-06-15T21:02:36Z)
• Mitigating covariate shift in non-colocated data with learned parameter priors [0.0]
  textitFragmentation-induced co-shift remediation(FIcsR$)は、フラグメントの共変量分布と標準クロスバリデーションベースラインとの$f$-divergenceを最小限にする。 複数のデータクラス、40ドル以上のデータセット、および複数のシーケンス長にわたってバッチ化されたデータに対して、広範な分類実験を行います。 バッチとフォールド・オブ・ザ・アーティファクトに対する精度は、それぞれ5%以上と10%以上向上している。
  論文  参考訳（メタデータ） (2024-11-10T15:48:29Z)
• Consistent Diffusion Models: Mitigating Sampling Drift by Learning to be Consistent [97.64313409741614]
  本稿では, モデルが生成したデータ上での予測が時間とともに一定であることを示す, 両立性特性を強制することを提案する。 CIFAR-10の条件および非条件生成とAFHQとFFHQのベースライン改良について,本研究の新たな訓練目標が得られた。
  論文  参考訳（メタデータ） (2023-02-17T18:45:04Z)
• Integrating Local Real Data with Global Gradient Prototypes for Classifier Re-Balancing in Federated Long-Tailed Learning [60.41501515192088]
  フェデレートラーニング(FL)は、グローバルモデルを協調的にトレーニングする複数のクライアントを含む、人気のある分散ラーニングパラダイムになっています。 データサンプルは通常、現実世界の長い尾の分布に従っており、分散化された長い尾のデータのFLは、貧弱なグローバルモデルをもたらす。 本研究では、局所的な実データとグローバルな勾配のプロトタイプを統合し、局所的なバランスの取れたデータセットを形成する。
  論文  参考訳（メタデータ） (2023-01-25T03:18:10Z)
• Learnable Distribution Calibration for Few-Shot Class-Incremental Learning [122.2241120474278]
  FSCIL(Few-shot class-incremental Learning)は、古いクラス分布を記憶し、少数のトレーニングサンプルから新しいクラス分布を推定するという課題に直面している。 本稿では,これら2つの課題を統一フレームワークを用いて体系的に解決することを目的とした,学習可能な分布校正手法を提案する。
  論文  参考訳（メタデータ） (2022-10-01T09:40:26Z)
• Wakeword Detection under Distribution Shifts [4.128269694687]
  本稿では,訓練データと実世界のデータの分散シフトを克服するために,半教師付き学習(SSL)のための新しい手法を提案する。 教師モデルからラベル分布のエントロピーを低減するために,教師の信頼度に基づくラベリング戦略を開発する。
  論文  参考訳（メタデータ） (2022-07-13T17:35:08Z)
• KL Guided Domain Adaptation [88.19298405363452]
  ドメイン適応は重要な問題であり、現実世界のアプリケーションにしばしば必要である。 ドメイン適応文学における一般的なアプローチは、ソースとターゲットドメインに同じ分布を持つ入力の表現を学ぶことである。 確率的表現ネットワークにより、KL項はミニバッチサンプルにより効率的に推定できることを示す。
  論文  参考訳（メタデータ） (2021-06-14T22:24:23Z)
• Examining and Combating Spurious Features under Distribution Shift [94.31956965507085]
  我々は、最小限の統計量という情報理論の概念を用いて、ロバストで刺激的な表現を定義し、分析する。 入力分布のバイアスしか持たない場合でも、モデルはトレーニングデータから急激な特徴を拾い上げることができることを証明しています。 分析から着想を得た結果,グループDROは,グループ同士の相関関係を直接考慮しない場合に失敗する可能性が示唆された。
  論文  参考訳（メタデータ） (2021-06-14T05:39:09Z)
• Posterior Re-calibration for Imbalanced Datasets [33.379680556475314]
  トレーニングラベルの分布が極めて不均衡な場合、ニューラルネットワークは性能が良くない。 我々は、KL分割に基づく最適化によって解決できる訓練後の事前バランス手法を導出する。 6つの異なるデータセットと5つの異なるアーキテクチャで得られた結果は、芸術的正確性を示している。
  論文  参考訳（メタデータ） (2020-10-22T15:57:14Z)
• Learning Calibrated Uncertainties for Domain Shift: A Distributionally Robust Learning Approach [150.8920602230832]
  ドメインシフトの下で校正された不確実性を学習するためのフレームワークを提案する。 特に、密度比推定は、ターゲット(テスト)サンプルの近さをソース(トレーニング)分布に反映する。 提案手法は下流タスクに有利な校正不確実性を生成する。
  論文  参考訳（メタデータ） (2020-10-08T02:10:54Z)
• Robust Federated Learning: The Case of Affine Distribution Shifts [41.27887358989414]
  我々は,ユーザのサンプルの分布変化に対して良好な性能を実現するための,堅牢なフェデレーション学習アルゴリズムを開発した。 新しいテストユーザにおいて,アフィン分布シフトは学習者分類器の性能を著しく低下させるのに十分であることを示す。
  論文  参考訳（メタデータ） (2020-06-16T03:43:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。