論文の概要: Adapting to Fragmented and Evolving Data: A Fisher Information Perspective

• arxiv url: http://arxiv.org/abs/2507.18996v1
• Date: Fri, 25 Jul 2025 06:50:09 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-28 16:16:48.850295
• Title: Adapting to Fragmented and Evolving Data: A Fisher Information Perspective
• Title（参考訳）: 断片化・進化するデータに適応する:漁業情報の観点から
• Authors: Behraj Khan, Tahir Qasim Syed, Nouman Muhammad Durrani,
• Abstract要約: FADEは動的環境下での堅牢な学習のための軽量フレームワークである。 フィッシャー情報幾何学に固定されたシフトアウェアの正規化機構を採用している。 FADEは固定メモリでオンラインで動作し、ターゲットラベルにアクセスできない。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Modern machine learning systems operating in dynamic environments often face \textit{sequential covariate shift} (SCS), where input distributions evolve over time while the conditional distribution remains stable. We introduce FADE (Fisher-based Adaptation to Dynamic Environments), a lightweight and theoretically grounded framework for robust learning under SCS. FADE employs a shift-aware regularization mechanism anchored in Fisher information geometry, guiding adaptation by modulating parameter updates based on sensitivity and stability. To detect significant distribution changes, we propose a Cramer-Rao-informed shift signal that integrates KL divergence with temporal Fisher dynamics. Unlike prior methods requiring task boundaries, target supervision, or experience replay, FADE operates online with fixed memory and no access to target labels. Evaluated on seven benchmarks spanning vision, language, and tabular data, FADE achieves up to 19\% higher accuracy under severe shifts, outperforming methods such as TENT and DIW. FADE also generalizes naturally to federated learning by treating heterogeneous clients as temporally fragmented environments, enabling scalable and stable adaptation in decentralized settings. Theoretical analysis guarantees bounded regret and parameter consistency, while empirical results demonstrate FADE's robustness across modalities and shift intensities.
• Abstract（参考訳）: 動的環境で動作する現代の機械学習システムは、入力分布が時間とともに進化するのに対して、条件分布は安定したままであるような、しばしば \textit{sequential covariate shift} (SCS) に直面している。 SCS下での頑健な学習のための軽量かつ理論的基盤となるフレームワークであるFADE(Fisher-based Adaptation to Dynamic Environments)を紹介する。 FADEは、フィッシャー情報幾何学に固定されたシフトアウェア正規化機構を採用し、感度と安定性に基づいてパラメータ更新を変調することで適応を誘導する。 そこで本研究では,KLの発散と時間的フィッシャーダイナミクスを融合したCramer-Raoインフォームドシフト信号を提案する。 タスクバウンダリ、ターゲットの監視、あるいは経験の再生を必要とする従来の方法とは異なり、FADEは固定メモリとターゲットのラベルへのアクセスなしでオンラインで動作している。 視覚、言語、および表データにまたがる7つのベンチマークに基づいて評価されたFADEは、TENTやDIWなどのパフォーマンス向上手法において、厳しいシフトの下で最大19倍の精度を達成する。 FADEはまた、異種クライアントを時間的に断片化された環境として扱い、分散化された環境におけるスケーラブルで安定した適応を可能にすることで、自然に連合学習に一般化する。 理論的解析は、有界な後悔とパラメータの整合性を保証するが、実証的な結果は、FADEのモダリティとシフト強度に対する堅牢性を示している。

関連論文リスト

• RAAG: Ratio Aware Adaptive Guidance [7.2455669888408085]
  非条件予測に対する相対的強度(RATIO)の急激な上昇により,初期の逆ステップは誘導尺度に非常に敏感であることが示唆された。 進化するRATIOに基づいて,誘導尺度を早期段階において自動的に減衰させる,シンプルな,理論的に基礎付けられた適応型ガイダンススケジュールを提案する。 我々のアプローチは、生成品質、堅牢性、セマンティックアライメントを維持したり改善したりしながら、最大3倍のサンプリングを可能にします。
  論文  参考訳（メタデータ） (2025-08-05T13:41:05Z)
• Learning from Heterogeneity: Generalizing Dynamic Facial Expression Recognition via Distributionally Robust Optimization [23.328511708942045]
  Heterogeneity-Aware Distributional Framework (HDF) は、時間周波数モデリングを強化し、ハードサンプルによる不均衡を軽減するために設計された。 時間周波数分散アテンションモジュール(DAM)は、時間的一貫性と周波数ロバスト性の両方をキャプチャする。 適応最適化モジュール 分散対応スケーリングモジュール (DSM) は、動的に分類と対照的な損失のバランスをとるために導入された。
  論文  参考訳（メタデータ） (2025-07-21T16:21:47Z)
• Shift Happens: Mixture of Experts based Continual Adaptation in Federated Learning [3.120955853908236]
  フェデレートラーニング(FL)は、生データを共有することなく、分散クライアント間で協調的なモデルトレーニングを可能にする。 我々は,検出された分散シフトに応じて,特殊なグローバルモデルを作成し,訓練する専門家フレームワークのシフト対応ミックスであるShiftExを紹介する。 本研究では,5.5-12.9ポイントの精度向上と22-95%の適応率を示す。
  論文  参考訳（メタデータ） (2025-06-23T15:59:21Z)
• Generalized Incremental Learning under Concept Drift across Evolving Data Streams [32.62505920071586]
  実世界のデータストリームは、概念の漂流を特徴とする固有の非定常性を示し、適応学習システムにとって重要な課題となっている。 我々は,GILCD (Generalized Incremental Learning under Concept Drift) を定式化し,オープン環境ストリーミング環境における分布空間とラベル空間の連成進化を特徴付ける。 本稿では,新しいプロトタイプをベース表現と融合させ,新しいクラス識別を安定的に実現するCalibrated Source-Free Adaptation (CSFA)を提案する。
  論文  参考訳（メタデータ） (2025-06-06T04:36:24Z)
• Predictability Shapes Adaptation: An Evolutionary Perspective on Modes of Learning in Transformers [51.992454203752686]
  トランスフォーマーモデルは、IWL(In-weights Learning)とICL(In-context Learning)の2つの異なるモードで学習する。 我々は進化生物学の類似した適応戦略である遺伝的エンコーディングと表現型可塑性からインスピレーションを得ている。 我々はこれらの予測可能性の次元を実験的に運用し、トランスフォーマーのICL/IWLバランスへの影響について検討する。
  論文  参考訳（メタデータ） (2025-05-14T23:31:17Z)
• Model Hemorrhage and the Robustness Limits of Large Language Models [119.46442117681147]
  大規模言語モデル(LLM)は、自然言語処理タスク全体で強力なパフォーマンスを示すが、デプロイメント用に修正された場合、大幅なパフォーマンス低下を経験する。 この現象をモデル出血(パラメータ変更とアーキテクチャ変更によるパフォーマンス低下)と定義する。
  論文  参考訳（メタデータ） (2025-03-31T10:16:03Z)
• Towards Continual Learning Desiderata via HSIC-Bottleneck Orthogonalization and Equiangular Embedding [55.107555305760954]
  本稿では,レイヤワイドパラメータのオーバーライトや決定境界の歪みに起因する,概念的にシンプルで効果的な手法を提案する。 提案手法は,ゼロの指数バッファと1.02倍の差が絶対的に優れていても,競争精度が向上する。
  論文  参考訳（メタデータ） (2024-01-17T09:01:29Z)
• Ensemble Kalman Filtering Meets Gaussian Process SSM for Non-Mean-Field and Online Inference [47.460898983429374]
  我々は,非平均場(NMF)変動推定フレームワークにアンサンブルカルマンフィルタ(EnKF)を導入し,潜在状態の後方分布を近似する。 EnKFとGPSSMのこの新しい結婚は、変分分布の学習における広範なパラメータ化の必要性をなくすだけでなく、エビデンスの下限(ELBO)の解釈可能でクローズドな近似を可能にする。 得られたEnKF支援オンラインアルゴリズムは、データ適合精度を確保しつつ、モデル正規化を組み込んで過度適合を緩和し、目的関数を具現化する。
  論文  参考訳（メタデータ） (2023-12-10T15:22:30Z)
• Leveraging Low-Rank and Sparse Recurrent Connectivity for Robust Closed-Loop Control [63.310780486820796]
  繰り返し接続のパラメータ化が閉ループ設定のロバスト性にどのように影響するかを示す。 パラメータが少ないクローズドフォーム連続時間ニューラルネットワーク(CfCs)は、フルランクで完全に接続されたニューラルネットワークよりも優れています。
  論文  参考訳（メタデータ） (2023-10-05T21:44:18Z)
• ARBEx: Attentive Feature Extraction with Reliability Balancing for Robust Facial Expression Learning [5.648318448953635]
  ARBExはVision Transformerによって駆動される新しい注意的特徴抽出フレームワークである。 ラベル分布とマルチヘッド自己保持機構を備えた埋め込み空間において学習可能なアンカーポイントを用いて、弱い予測に対する性能を最適化する。 我々の戦略は、様々な文脈で実施された広範な実験により、現在の最先端の方法論よりも優れています。
  論文  参考訳（メタデータ） (2023-05-02T15:10:01Z)
• FedAgg: Adaptive Federated Learning with Aggregated Gradients [1.5653612447564105]
  我々はFedAggと呼ばれる適応型FEDerated Learningアルゴリズムを提案し、局所モデルパラメータと平均モデルパラメータのばらつきを緩和し、高速モデル収束率を得る。 IIDおよび非IIDデータセット下でのモデル性能の向上と収束速度の促進を目的として,本手法が既存のFL戦略よりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-03-28T08:07:28Z)
• Unleashing the Power of Graph Data Augmentation on Covariate Distribution Shift [50.98086766507025]
  本稿では,AIA(Adversarial Invariant Augmentation)という,シンプルで効率の良いデータ拡張戦略を提案する。 AIAは、拡張プロセス中に元の安定した特徴を同時に保存しながら、新しい環境をエクスポーレーションし、生成することを目的としている。
  論文  参考訳（メタデータ） (2022-11-05T07:55:55Z)
• Change Detection for Local Explainability in Evolving Data Streams [72.4816340552763]
  局所的特徴帰属法はポストホックやモデルに依存しない説明法として人気がある。 ローカルな属性が、ストリーミングやオンラインアプリケーションのような、現実的で絶えず変化する設定でどのように振る舞うかは、しばしば不明である。 局所変化と概念ドリフトを検出するフレキシブルでモデルに依存しないCDLEEDSを提案する。
  論文  参考訳（メタデータ） (2022-09-06T18:38:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。