論文の概要: Efficient Learning Under Density Shift in Incremental Settings Using Cramér-Rao-Based Regularization

• arxiv url: http://arxiv.org/abs/2502.12949v1
• Date: Tue, 18 Feb 2025 16:00:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-19 14:08:28.261296
• Title: Efficient Learning Under Density Shift in Incremental Settings Using Cramér-Rao-Based Regularization
• Title（参考訳）: Cramér-Rao-based regularization を用いたインクリメンタル設定における密度シフトに基づく効率的な学習
• Authors: Behraj Khan, Behroz Mirza, Nouman Durrani, Tahir Syed,
• Abstract要約: この研究は、データが時間的に分散している問題に対して、分散密度推定の角度を取る。 バッチでデータを処理し、ニューラルネットワークがバッチをトレーニングデータとして扱うことを可能にする。 C2A$は、最先端のメソッドに対して最大で19%の精度を達成する。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: The continuous surge in data volume and velocity is often dealt with using data orchestration and distributed processing approaches, abstracting away the machine learning challenges that exist at the algorithmic level. With growing interest in automating the learning loop, training with data that arrive in a sequence rather than in the classical in-memory training data form will face a machine learning challenge because of evolving feature distributions across batches of training data biasing the cross-validation step (\cite{sugiyama2012machine}). This work takes a distributed density estimation angle to the problem where data are temporally distributed. It processes data in batches and allows a neural network to treat a batch as training data. The method accumulates knowledge about the data density via posterior probability absorption using the Fisher Information Matrix, which contains information about the local optimization gradients for the batch. This is then used as a regularizer for the loss in the following batch, and therefore the density estimate for the entire dataset constructively gets more robust to the non-iid distribution shift. This needs the presence of a pair of batches in memory at a time, so the space cost is not a function of the size of the complete, distributed dataset. We proposed a novel regularization-based approach Covariate Shift Correction $C^{2}A$ that leverages Fisher information and Kullback-Leibler divergence to adapt to both natural and sequential covariate shift caused by dataset fragmentation. $C^{2}A$ achieves $19\%$ accuracy at maximum against state-of-the-art methods.
• Abstract（参考訳）: データボリュームと速度の継続的な急上昇は、しばしばデータオーケストレーションと分散処理アプローチを使用して対処され、アルゴリズムレベルで存在する機械学習の課題を抽象化する。 学習ループの自動化への関心が高まっているため、古典的なインメモリトレーニングデータ形式ではなく、シーケンスに到達したデータによるトレーニングは、クロスバリデーションステップに偏ったトレーニングデータのバッチ間で機能の分散を進化させるため、マシンラーニングの課題に直面している(\cite{sugiyama2012machine})。 この研究は、データが時間的に分散している問題に対して、分散密度推定の角度を取る。 バッチでデータを処理し、ニューラルネットワークがバッチをトレーニングデータとして扱うことを可能にする。 この方法は、バッチの局所最適化勾配に関する情報を含むFisher Information Matrixを用いて、後部確率吸収によるデータ密度に関する知識を蓄積する。 これは、次のバッチにおける損失の正則化器として使用されるため、データセット全体の密度推定は、非イド分布シフトに対して、構成的により堅牢になる。 これは、一度にメモリに一対のバッチが存在する必要があるため、スペースコストは、完全な分散データセットの大きさの関数ではない。 我々は、フィッシャー情報とクルバック・リーブラーの発散を利用して、データセットの断片化による自然とシーケンシャルな共変量シフトに適応する、新しい正則化ベースのアプローチであるCovariate Shift Correction $C^{2}A$を提案した。 C^{2}A$は、最先端のメソッドに対して最大で19\%の精度を達成する。

関連論文リスト

• Capturing the Temporal Dependence of Training Data Influence [100.91355498124527]
  我々は、訓練中にデータポイントを除去する影響を定量化する、軌跡特異的な離脱の影響の概念を定式化する。 軌道固有LOOの効率的な近似を可能にする新しい手法であるデータ値埋め込みを提案する。 データバリューの埋め込みは、トレーニングデータの順序付けをキャプチャするので、モデルトレーニングのダイナミクスに関する貴重な洞察を提供する。
  論文  参考訳（メタデータ） (2024-12-12T18:28:55Z)
• Mitigating covariate shift in non-colocated data with learned parameter priors [0.0]
  textitFragmentation-induced co-shift remediation(FIcsR$)は、フラグメントの共変量分布と標準クロスバリデーションベースラインとの$f$-divergenceを最小限にする。 複数のデータクラス、40ドル以上のデータセット、および複数のシーケンス長にわたってバッチ化されたデータに対して、広範な分類実験を行います。 バッチとフォールド・オブ・ザ・アーティファクトに対する精度は、それぞれ5%以上と10%以上向上している。
  論文  参考訳（メタデータ） (2024-11-10T15:48:29Z)
• FedUV: Uniformity and Variance for Heterogeneous Federated Learning [5.9330433627374815]
  フェデレーション学習は、広く分散されたデータでニューラルネットワークをトレーニングするための有望なフレームワークである。 最近の研究によると、ネットワークの最終層が局所バイアスの傾向が最も大きいためである。 凍結重量が一定の特異値をもたらすという観測によって動機付けられた重みにSVDを適用して分類器の訓練力学を考察する。
  論文  参考訳（メタデータ） (2024-02-27T15:53:15Z)
• Informative regularization for a multi-layer perceptron RR Lyrae classifier under data shift [3.303002683812084]
  本稿では,情報正規化とアドホックなトレーニング手法に基づくスケーラブルで容易に適応可能なアプローチを提案し,シフト問題を緩和する。 提案手法は,特徴量からの知識をニューラルネットワークに組み込むことで,基礎となるデータシフト問題を管理する。
  論文  参考訳（メタデータ） (2023-03-12T02:49:19Z)
• Invariance Learning in Deep Neural Networks with Differentiable Laplace Approximations [76.82124752950148]
  我々はデータ拡張を選択するための便利な勾配法を開発した。 我々はKronecker-factored Laplace近似を我々の目的とする限界確率に近似する。
  論文  参考訳（メタデータ） (2022-02-22T02:51:11Z)
• Transformers Can Do Bayesian Inference [56.99390658880008]
  我々はPFN(Presideed Data Fitted Networks)を提案する。 PFNは、大規模機械学習技術におけるインコンテキスト学習を活用して、大規模な後部集合を近似する。 我々は、PFNがガウス過程をほぼ完璧に模倣し、難解問題に対する効率的なベイズ推定を可能にすることを示した。
  論文  参考訳（メタデータ） (2021-12-20T13:07:39Z)
• Online Missing Value Imputation and Change Point Detection with the Gaussian Copula [21.26330349034669]
  実世界のデータサイエンスにとって、値計算の欠如は不可欠である。 ガウスコプラを用いた混合データに対するオンライン計算アルゴリズムを開発した。
  論文  参考訳（メタデータ） (2020-09-25T16:27:47Z)
• Learning while Respecting Privacy and Robustness to Distributional Uncertainties and Adversarial Data [66.78671826743884]
  分散ロバストな最適化フレームワークはパラメトリックモデルのトレーニングのために検討されている。 目的は、逆操作された入力データに対して頑健なトレーニングモデルを提供することである。 提案されたアルゴリズムは、オーバーヘッドがほとんどない堅牢性を提供する。
  論文  参考訳（メタデータ） (2020-07-07T18:25:25Z)
• Evaluating Prediction-Time Batch Normalization for Robustness under Covariate Shift [81.74795324629712]
  我々は予測時間バッチ正規化と呼び、共変量シフト時のモデル精度とキャリブレーションを大幅に改善する。 予測時間バッチ正規化は、既存の最先端アプローチに相補的な利点をもたらし、ロバスト性を向上させることを示します。 この手法は、事前トレーニングと併用して使用すると、さまざまな結果が得られるが、より自然なタイプのデータセットシフトでは、パフォーマンスが良くないようだ。
  論文  参考訳（メタデータ） (2020-06-19T05:08:43Z)
• Unshuffling Data for Improved Generalization [65.57124325257409]
  トレーニングディストリビューションを越えた一般化は、マシンラーニングにおける中核的な課題である。 本研究では,複数の学習環境として扱われる非d.d.サブセットにデータを分割することで,アウト・オブ・ディストリビューションの一般化を向上したモデル学習を導出できることを示す。
  論文  参考訳（メタデータ） (2020-02-27T03:07:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。