論文の概要: Understand the Effect of Importance Weighting in Deep Learning on Dataset Shift
- arxiv url: http://arxiv.org/abs/2505.03617v1
- Date: Tue, 06 May 2025 15:16:38 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-05-07 18:50:11.446244
- Title: Understand the Effect of Importance Weighting in Deep Learning on Dataset Shift
- Title（参考訳）: 深層学習における重要度重み付けがデータセットシフトに及ぼす影響について
- Authors: Thien Nhan Vo, Thanh Xuan Truong,
- Abstract要約: ラベルシフトおよび共変量シフトによるディープニューラルネットワークにおける重み付けの有効性を評価する。
重み付けはトレーニングの早い段階で決定境界に強く影響するが、長期の最適化で消失する。
実世界の流通シフトにおける重み付けの実用性に疑問を投げかける。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We evaluate the effectiveness of importance weighting in deep neural networks under label shift and covariate shift. On synthetic 2D data (linearly separable and moon-shaped) using logistic regression and MLPs, we observe that weighting strongly affects decision boundaries early in training but fades with prolonged optimization. On CIFAR-10 with various class imbalances, only L2 regularization (not dropout) helps preserve weighting effects. In a covariate-shift experiment, importance weighting yields no significant performance gain, highlighting challenges on complex data. Our results call into question the practical utility of importance weighting for real-world distribution shifts.
- Abstract（参考訳）: ラベルシフトおよび共変量シフトによるディープニューラルネットワークにおける重み付けの有効性を評価する。
ロジスティック回帰とMLPを用いた合成2Dデータ(線形分離可能・月型)では,重み付けがトレーニングの初期段階において決定境界に強く影響を及ぼすが,長期の最適化で消失することが観察された。
CIFAR-10では、様々なクラス不均衡があり、L2正規化(ドロップアウトではない)のみが重み付け効果を維持するのに役立つ。
共変量シフト実験では、重み付けは、複雑なデータに対する課題を浮き彫りにして、大きなパフォーマンス向上をもたらすことはない。
実世界の流通シフトにおける重み付けの実用性に疑問を投げかける。
関連論文リスト
- Dynamic Loss-Based Sample Reweighting for Improved Large Language Model Pretraining [55.262510814326035]
既存のリウェイト戦略は主にグループレベルのデータの重要性に焦点を当てている。
動的・インスタンスレベルのデータ再重み付けのための新しいアルゴリズムを提案する。
当社のフレームワークでは,冗長データや非形式データを優先的に再重み付けする戦略を考案することが可能です。
論文 参考訳（メタデータ） (2025-02-10T17:57:15Z) - Deep Weight Factorization: Sparse Learning Through the Lens of Artificial Symmetries [10.209740962369453]
スパース正規化技術は機械学習において十分に確立されているが、ニューラルネットワークへの応用は依然として難しい。
期待できる代替手段として、浅い重み分解があり、そこでは重みが2つの要因に分断され、$L$penalized Neural Networkの最適化が可能になる。
本研究では,2つ以上の既存手法に微分因子を付加し,重み分解を導入する。
論文 参考訳（メタデータ） (2025-02-04T17:12:56Z) - AST: Effective Dataset Distillation through Alignment with Smooth and
High-Quality Expert Trajectories [18.266786462036553]
我々は,Smoothと高品質なエキスパートトラジェクトリによるアライメントのための効果的なDDフレームワークASTを提案する。
さまざまなスケール、サイズ、解像度のデータセットに対して、広範な実験を行います。
論文 参考訳（メタデータ） (2023-10-16T16:13:53Z) - Robust Learning with Progressive Data Expansion Against Spurious
Correlation [65.83104529677234]
本研究では,2層非線形畳み込みニューラルネットワークの学習過程について検討した。
分析の結果,不均衡なデータ群と学習容易なスプリアス特徴が学習過程におけるスプリアス特徴の優位性に繋がる可能性が示唆された。
本稿では,PDEと呼ばれる新たなトレーニングアルゴリズムを提案する。
論文 参考訳（メタデータ） (2023-06-08T05:44:06Z) - Exploring Example Influence in Continual Learning [26.85320841575249]
連続学習(CL)は、より良い安定性(S)と塑性(P)を達成することを目的として、人間のような新しいタスクを順次学習する
S と P の影響をトレーニング例で調べるには,SP の改善に向けた学習パターンの改善が期待できる。
本稿では、IFの摂動における2つの重要なステップをシミュレートし、S-およびP-認識の例の影響を得るための、シンプルで効果的なMetaSPアルゴリズムを提案する。
論文 参考訳（メタデータ） (2022-09-25T15:17:37Z) - CMW-Net: Learning a Class-Aware Sample Weighting Mapping for Robust Deep
Learning [55.733193075728096]
現代のディープニューラルネットワークは、破損したラベルやクラス不均衡を含むバイアス付きトレーニングデータに容易に適合する。
サンプル再重み付け手法は、このデータバイアス問題を緩和するために一般的に使用されている。
本稿では,データから直接明示的な重み付け方式を適応的に学習できるメタモデルを提案する。
論文 参考訳（メタデータ） (2022-02-11T13:49:51Z) - Is Importance Weighting Incompatible with Interpolating Classifiers? [13.449501940517699]
重み付けは,ロジスティック損失やクロスエントロピー損失などの指数関数的な損失によって失敗することを示す。
治療として,重み付けされた損失が重み付けの効果を回復することを示す。
驚くべきことに、我々の理論は、古典的不偏重を指数化することによって得られる重みを用いることで、性能が向上することを示している。
論文 参考訳（メタデータ） (2021-12-24T08:06:57Z) - Revisiting Initialization of Neural Networks [72.24615341588846]
ヘッセン行列のノルムを近似し, 制御することにより, 層間における重みのグローバルな曲率を厳密に推定する。
Word2Vec と MNIST/CIFAR 画像分類タスクの実験により,Hessian ノルムの追跡が診断ツールとして有用であることが確認された。
論文 参考訳（メタデータ） (2020-04-20T18:12:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。