論文の概要: An Information-Theoretic Analysis for Federated Learning under Concept Drift

• arxiv url: http://arxiv.org/abs/2506.21036v1
• Date: Thu, 26 Jun 2025 06:25:15 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-27 19:53:09.998478
• Title: An Information-Theoretic Analysis for Federated Learning under Concept Drift
• Title（参考訳）: 概念ドリフト下におけるフェデレーション学習のための情報理論解析
• Authors: Fu Peng, Meng Zhang, Ming Tang,
• Abstract要約: 本稿では,情報理論を用いてコンセプトドリフトにおける性能を解析し,性能劣化を軽減するアルゴリズムを提案する。 本研究では,3つのドリフトパターン(周期的,漸進的,ランダム)とそのFL性能への影響について検討した。 そこで本研究では,KL分散と相互情報を用いた経験的リスク最小化手法を標準化し,長期的性能を向上させるアルゴリズムを提案する。
• 参考スコア（独自算出の注目度）: 8.343774282372337
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent studies in federated learning (FL) commonly train models on static datasets. However, real-world data often arrives as streams with shifting distributions, causing performance degradation known as concept drift. This paper analyzes FL performance under concept drift using information theory and proposes an algorithm to mitigate the performance degradation. We model concept drift as a Markov chain and introduce the \emph{Stationary Generalization Error} to assess a model's capability to capture characteristics of future unseen data. Its upper bound is derived using KL divergence and mutual information. We study three drift patterns (periodic, gradual, and random) and their impact on FL performance. Inspired by this, we propose an algorithm that regularizes the empirical risk minimization approach with KL divergence and mutual information, thereby enhancing long-term performance. We also explore the performance-cost tradeoff by identifying a Pareto front. To validate our approach, we build an FL testbed using Raspberry Pi4 devices. Experimental results corroborate with theoretical findings, confirming that drift patterns significantly affect performance. Our method consistently outperforms existing approaches for these three patterns, demonstrating its effectiveness in adapting concept drift in FL.
• Abstract（参考訳）: 連邦学習(FL)の最近の研究は、静的データセット上でモデルを訓練することが多い。 しかし、現実のデータはしばしば、シフトする分散を伴うストリームとして届き、コンセプトドリフトとして知られるパフォーマンス劣化を引き起こす。 本稿では,情報理論を用いてコンセプトドリフト下でのFL性能を解析し,性能劣化を軽減するアルゴリズムを提案する。 我々は、概念ドリフトをマルコフ連鎖としてモデル化し、将来の目に見えないデータの特徴を捉えるモデルの能力を評価するために 'emph{Stationary Generalization Error} を導入する。 上界はKLの発散と相互情報を用いて導出される。 本研究では,3つのドリフトパターン(周期的,漸進的,ランダム)とそのFL性能への影響について検討した。 そこで本研究では,KL分散と相互情報を用いた経験的リスク最小化手法を標準化し,長期的性能を向上させるアルゴリズムを提案する。 パレートフロントを特定することで、パフォーマンスコストのトレードオフも検討します。 このアプローチを検証するために,Raspberry Pi4デバイスを使用したFLテストベッドを構築した。 実験結果は理論的な結果と相関し、ドリフトパターンが性能に大きく影響することを確認する。 提案手法は,これらの3つのパターンに対する既存のアプローチを常に上回り,FLにおける概念ドリフトの適応効果を示す。

関連論文リスト

• Solving Inverse Problems with FLAIR [59.02385492199431]
  フローベースの潜在生成モデルは、驚くべき品質の画像を生成でき、テキスト・ツー・イメージ生成も可能である。 本稿では,フローベース生成モデルを逆問題の前兆として活用する新しい学習自由変分フレームワークFLAIRを提案する。 標準画像ベンチマークの結果、FLAIRは再現性やサンプルの多様性の観点から、既存の拡散法や流れ法よりも一貫して優れていることが示された。
  論文  参考訳（メタデータ） (2025-06-03T09:29:47Z)
• Consistent World Models via Foresight Diffusion [56.45012929930605]
  我々は、一貫した拡散に基づく世界モデルを学習する上で重要なボトルネックは、最適下予測能力にあると主張している。 本稿では,拡散に基づく世界モデリングフレームワークであるForesight Diffusion(ForeDiff)を提案する。
  論文  参考訳（メタデータ） (2025-05-22T10:01:59Z)
• Cluster Analysis and Concept Drift Detection in Malware [1.3812010983144798]
  概念ドリフト(concept drift)とは、機械学習モデルの精度に影響を与えるデータの特性の漸進的または突然の変化を指す。 マルウェア領域におけるコンセプトドリフトを検出するためのクラスタリングに基づく手法を提案し,解析する。
  論文  参考訳（メタデータ） (2025-02-19T22:42:30Z)
• An Efficient Occupancy World Model via Decoupled Dynamic Flow and Image-assisted Training [50.71892161377806]
  DFIT-OccWorldは、分離されたダイナミックフローとイメージアシストトレーニング戦略を活用する、効率的な3D占有世界モデルである。 提案モデルでは, 静止ボクセルはポーズ変換により容易に得られるのに対し, 既存のボクセルフローを用いて既存の観測を歪曲することで, 将来のダイナミックボクセルを予測できる。
  論文  参考訳（メタデータ） (2024-12-18T12:10:33Z)
• datadriftR: An R Package for Concept Drift Detection in Predictive Models [0.0]
  本稿では,コンセプトドリフトを検出するためのRパッケージであるドリフト器を紹介する。 ドリフト検出とドリフトの背後にある原因の理解を深めることのできるプロファイルドリフト検出(PDD)と呼ばれる新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-12-15T20:59:49Z)
• Can We Theoretically Quantify the Impacts of Local Updates on the Generalization Performance of Federated Learning? [50.03434441234569]
  フェデレートラーニング(FL)は、直接データ共有を必要とせず、さまざまなサイトで機械学習モデルをトレーニングする効果により、大きな人気を集めている。 局所的な更新を伴うFLは通信効率のよい分散学習フレームワークであることが様々なアルゴリズムによって示されているが、局所的な更新によるFLの一般化性能は比較的低い。
  論文  参考訳（メタデータ） (2024-09-05T19:00:18Z)
• Addressing Concept Shift in Online Time Series Forecasting: Detect-then-Adapt [37.98336090671441]
  概念 textbfDrift textbfDetection antextbfD textbfAdaptation (D3A) まずドリフトの概念を検知し、次に急激な適応の検出の後、現在のモデルをドリフトされた概念に積極的に適応する。 これは、トレイン-テストのパフォーマンスの不整合に寄与する重要な要因であるデータ分散ギャップを軽減するのに役立ちます。
  論文  参考訳（メタデータ） (2024-03-22T04:44:43Z)
• Over-the-Air Federated Learning and Optimization [52.5188988624998]
  エッジ・ザ・エア計算(AirComp)によるフェデレーション学習(FL)に焦点を当てる。 本稿では,AirComp ベースの FedAvg (AirFedAvg) アルゴリズムの凸および非凸条件下での収束について述べる。 エッジデバイス(モデル、勾配、モデル差など)で送信できるローカルアップデートの種類によって、AirFedAvgで送信するとアグリゲーションエラーが発生する可能性がある。 さらに、より実用的な信号処理方式を検討し、通信効率を改善し、これらの信号処理方式によって引き起こされるモデル集約誤差の異なる形式に収束解析を拡張する。
  論文  参考訳（メタデータ） (2023-10-16T05:49:28Z)
• The Surprising Effectiveness of Diffusion Models for Optical Flow and Monocular Depth Estimation [42.48819460873482]
  拡散確率モデルは、その印象的な忠実さと多様性で画像生成を変換した。 また,タスク固有のアーキテクチャや損失関数を使わずに,光学的フローと単眼深度の推定に優れることを示す。
  論文  参考訳（メタデータ） (2023-06-02T21:26:20Z)
• Autoregressive based Drift Detection Method [0.0]
  我々はADDMと呼ばれる自己回帰モデルに基づく新しい概念ドリフト検出手法を提案する。 以上の結果から,新しいドリフト検出法は最先端ドリフト検出法よりも優れていることがわかった。
  論文  参考訳（メタデータ） (2022-03-09T14:36:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。