論文の概要: Mitigating covariate shift in non-colocated data with learned parameter priors

• arxiv url: http://arxiv.org/abs/2411.06499v1
• Date: Sun, 10 Nov 2024 15:48:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-12 14:11:17.807267
• Title: Mitigating covariate shift in non-colocated data with learned parameter priors
• Title（参考訳）: 学習パラメータ前の非共有化データにおける共変量シフトの緩和
• Authors: Behraj Khan, Behroz Mirza, Nouman Durrani, Tahir Syed,
• Abstract要約: textitFragmentation-induced co-shift remediation(FIcsR$)は、フラグメントの共変量分布と標準クロスバリデーションベースラインとの$f$-divergenceを最小限にする。 複数のデータクラス、40ドル以上のデータセット、および複数のシーケンス長にわたってバッチ化されたデータに対して、広範な分類実験を行います。 バッチとフォールド・オブ・ザ・アーティファクトに対する精度は、それぞれ5%以上と10%以上向上している。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: When training data are distributed across{ time or space,} covariate shift across fragments of training data biases cross-validation, compromising model selection and assessment. We present \textit{Fragmentation-Induced covariate-shift Remediation} ($FIcsR$), which minimizes an $f$-divergence between a fragment's covariate distribution and that of the standard cross-validation baseline. We s{how} an equivalence with popular importance-weighting methods. {The method}'s numerical solution poses a computational challenge owing to the overparametrized nature of a neural network, and we derive a Fisher Information approximation. When accumulated over fragments, this provides a global estimate of the amount of shift remediation thus far needed, and we incorporate that as a prior via the minimization objective. In the paper, we run extensive classification experiments on multiple data classes, over $40$ datasets, and with data batched over multiple sequence lengths. We extend the study to the $k$-fold cross-validation setting through a similar set of experiments. An ablation study exposes the method to varying amounts of shift and demonstrates slower degradation with $FIcsR$ in place. The results are promising under all these conditions; with improved accuracy against batch and fold state-of-the-art by more than $5\%$ and $10\%$, respectively.
• Abstract（参考訳）: トレーニングデータが{時間または空間に分散された場合、トレーニングデータの断片間の共変は、クロスバリデーション、モデル選択とアセスメントの妥協をバイアスする。 フラグメントの共変量分布と標準クロスバリデーションベースラインとの$f$-divergenceを最小化する。 一般的な重要度重み付け手法と等価性を示す。 この方法の数値解は、ニューラルネットワークの過度なパラメータ化の性質から計算上の課題を生じさせ、フィッシャー情報近似を導出する。 フラグメントに蓄積すると、これまで必要とされてきたシフト修復の量を世界規模で見積もることができ、最小化の目的を通じてそれを前もって組み込む。 本稿では、40ドル以上のデータセットと、複数のシーケンス長にまたがるバッチデータを用いて、複数のデータクラスに対して広範な分類実験を行う。 同様の実験によって、この研究を$k$-foldのクロスバリデーション設定に拡張する。 アブレーション研究は、この手法を様々な量のシフトに公開し、$FIcsR$の低い劣化を示す。 バッチとフォールド・オブ・ザ・アーティファクトに対する精度は、それぞれ5\%$と10\%$以上向上している。

関連論文リスト

• Pooling Image Datasets With Multiple Covariate Shift and Imbalance [22.53402104452306]
  カテゴリー論の観点からこの問題がいかに単純かつ効果的な解をもたらすかを示す。 提案手法の有効性を,実データを用いた広範囲な実験により示す。
  論文  参考訳（メタデータ） (2024-03-05T02:20:33Z)
• Dataset Distillation Meets Provable Subset Selection [14.158845925610438]
  データセット蒸留は、大規模なトレーニングデータセットを、その性能を維持する小さな合成データセットに圧縮するために提案されている。 本稿では, 重要点を特定し, 余剰点を除去することにより, 蒸留セットを初期化するための, 実証可能なサンプリングベースアプローチを提案する。 さらに,次のバッチをランダムにサンプリングするのではなく,''サンプル点の蒸留セットをトレーニングすることで,データセットの蒸留とデータサブセット選択のアイデアを融合する。
  論文  参考訳（メタデータ） (2023-07-16T15:58:19Z)
• Intra-class Adaptive Augmentation with Neighbor Correction for Deep Metric Learning [99.14132861655223]
  深層学習のためのクラス内適応拡張(IAA)フレームワークを提案する。 クラスごとのクラス内変動を合理的に推定し, 適応型合成試料を生成し, 硬質試料の採掘を支援する。 本手法は,検索性能の最先端手法を3%～6%向上させる。
  論文  参考訳（メタデータ） (2022-11-29T14:52:38Z)
• ScoreMix: A Scalable Augmentation Strategy for Training GANs with Limited Data [93.06336507035486]
  GAN(Generative Adversarial Networks)は通常、限られたトレーニングデータが利用できる場合、過度に適合する。 ScoreMixは、様々な画像合成タスクのための、新しくスケーラブルなデータ拡張手法である。
  論文  参考訳（メタデータ） (2022-10-27T02:55:15Z)
• Bias Mimicking: A Simple Sampling Approach for Bias Mitigation [57.17709477668213]
  本稿では,新しいクラス条件サンプリング手法であるBias Mimickingを紹介する。 Bias Mimickingは、4つのベンチマークで3%の精度でサンプリングの精度を向上する。
  論文  参考訳（メタデータ） (2022-09-30T17:33:00Z)
• Examining and Combating Spurious Features under Distribution Shift [94.31956965507085]
  我々は、最小限の統計量という情報理論の概念を用いて、ロバストで刺激的な表現を定義し、分析する。 入力分布のバイアスしか持たない場合でも、モデルはトレーニングデータから急激な特徴を拾い上げることができることを証明しています。 分析から着想を得た結果,グループDROは,グループ同士の相関関係を直接考慮しない場合に失敗する可能性が示唆された。
  論文  参考訳（メタデータ） (2021-06-14T05:39:09Z)
• Attentional-Biased Stochastic Gradient Descent [74.49926199036481]
  深層学習におけるデータ不均衡やラベルノイズ問題に対処するための証明可能な手法(ABSGD)を提案する。 本手法は運動量SGDの簡易な修正であり,各試料に個別の重み付けを行う。 ABSGDは追加コストなしで他の堅牢な損失と組み合わせられるほど柔軟である。
  論文  参考訳（メタデータ） (2020-12-13T03:41:52Z)
• Multinomial Sampling for Hierarchical Change-Point Detection [0.0]
  本稿では,検出率を向上し,遅延を低減する多項サンプリング手法を提案する。 実験の結果, 基準法よりも優れた結果が得られ, また, 人間の行動研究を指向した事例も提示した。
  論文  参考訳（メタデータ） (2020-07-24T09:18:17Z)
• Evaluating Prediction-Time Batch Normalization for Robustness under Covariate Shift [81.74795324629712]
  我々は予測時間バッチ正規化と呼び、共変量シフト時のモデル精度とキャリブレーションを大幅に改善する。 予測時間バッチ正規化は、既存の最先端アプローチに相補的な利点をもたらし、ロバスト性を向上させることを示します。 この手法は、事前トレーニングと併用して使用すると、さまざまな結果が得られるが、より自然なタイプのデータセットシフトでは、パフォーマンスが良くないようだ。
  論文  参考訳（メタデータ） (2020-06-19T05:08:43Z)
• Deep Active Learning for Biased Datasets via Fisher Kernel Self-Supervision [5.352699766206807]
  アクティブラーニング(AL)は、データ要求型ディープニューラルネットワーク(DNN)のラベル付け作業を最小化する 自己教師型フィッシャーカーネル(FK)を用いた特徴密度マッチングのための低複雑さ手法を提案する。 本手法は,MNIST,SVHN,ImageNetの分類において,処理の1/10しか必要とせず,最先端の手法よりも優れている。
  論文  参考訳（メタデータ） (2020-03-01T03:56:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。