論文の概要: Understanding Data Augmentation under Label Noise
- arxiv url: http://arxiv.org/abs/2610.27701v1
- Date: Tue, 20 Oct 2026 06:19:30 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-21 21:58:47.67156
- Title: Understanding Data Augmentation under Label Noise
- Title（参考訳）: ラベルノイズ下におけるデータ拡張の理解
- Abstract要約: データ拡張(DA)は、現代の機械学習システムの基本コンポーネントとなっている。
実験的な成功にもかかわらず、ラベルノイズ下でのDAの理論的影響はよく分かっていない。
- 参考スコア（独自算出の注目度）: 4.138246425588323
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Data augmentation (DA) has become a fundamental component of modern machine learning systems and is widely regarded as an effective strategy for improving robustness and generalization. Despite its empirical success, the theoretical impact of DA under label noise remains poorly understood. In this work, we first theoretically explain when DA is beneficial and when it becomes detrimental, and provide sufficient conditions for distinguishing between these two regimes under both the i.i.d. learning setting and the more challenging domain generalization scenario. Then, we reveal a counterintuitive phenomenon: DA essentially acts as an uncertainty amplifier in the learning process, decreasing model stability and generalization performance. This finding is supported by the proposed learning and generalization bounds. Our analyses do not depend on specific DA techniques and require only mild assumptions, indicating that the results are applicable to a broad range of machine learning scenarios. Namely, we provide a unified theoretical foundation for understanding, analyzing, and designing DA methods in the presence of label noise.
- Abstract（参考訳）: データ拡張(DA)は、現代の機械学習システムの基本コンポーネントとなり、堅牢性と一般化を改善する効果的な戦略として広く見なされている。
実験的な成功にもかかわらず、ラベルノイズ下でのDAの理論的影響はよく分かっていない。
本研究ではまず,DAがいつ有用か,いつ有害になるのかを理論的に説明し,これら2つの条件を学習条件とより困難な領域一般化シナリオの両方で区別するための十分な条件を提供する。
DAは学習過程における不確実性増幅器として機能し、モデルの安定性と一般化性能を低下させる。
この発見は、提案された学習および一般化境界によって支持される。
我々の分析は特定のDA手法に依存しず、軽度の仮定しか必要とせず、その結果が幅広い機械学習シナリオに適用可能であることを示唆している。
すなわち、ラベルノイズの存在下でDA手法を理解し、分析し、設計するための統一的な理論基盤を提供する。
関連論文リスト
- A Knowledge-Informed Pretrained Model for Causal Discovery [61.8885572392623]
因果発見は広く研究されてきたが、多くの既存の手法は強い仮定に依存している。
本稿では,弱い事前知識を原則的中核として統合した,因果発見のための知識インフォームド事前学習モデルを提案する。
本モデルでは,2つのソースエンコーダ・デコーダアーキテクチャを用いて,観測データを知識に富んだ方法で処理する。
論文 参考訳（メタデータ） (2026-03-21T14:59:41Z) - Efficient Machine Unlearning via Influence Approximation [75.31015485113993]
インフルエンサーベースのアンラーニングは、個別のトレーニングサンプルがモデルパラメータに与える影響を再トレーニングせずに推定する顕著なアプローチとして現れてきた。
本稿では,暗記(増分学習)と忘れ(未学習)の理論的関連性を確立する。
本稿では、インフルエンス近似アンラーニングアルゴリズムを導入し、インクリメンタルな視点から効率的なマシンアンラーニングを行う。
論文 参考訳（メタデータ） (2025-07-31T05:34:27Z) - Learning Causal Graphs at Scale: A Foundation Model Approach [28.966180222166766]
複数線形構造方程式モデル(SEM)を学習するための新しい注意機構に基づくアーキテクチャであるAttention-DAG(ADAG)を提案する。
ADAGは、非線形アテンションベースのカーネルを介して、観測データからグラフ構造とパラメータの両方へのマッピングを学習する。
提案手法をベンチマークデータセット上で評価し,DAG学習精度とゼロショット推論効率の両方において,ADAGが大幅に向上することを確認した。
論文 参考訳（メタデータ） (2025-06-23T04:41:02Z) - On the Surprising Effectiveness of Large Learning Rates under Standard Width Scaling [15.769249369390884]
最適な学習速度は理論的な予測よりも遅く、ネットワークは、非常に広い範囲でも安定した訓練と非自明な特徴学習の両方を示します。
特に, クロスエントロピー (CE) の損失下では, 不安定な状態は, 破滅的な不安定な状態と, より良質な制御された分岐状態の2つのサブレジムから構成されることを示す。
我々の経験的証拠は、幅スケーリングの考慮は、経験的最大学習率指数を予測するのに驚くほど有用であることを示している。
論文 参考訳（メタデータ） (2025-05-28T15:40:48Z) - Balancing the Scales: A Theoretical and Algorithmic Framework for Learning from Imbalanced Data [35.03888101803088]
本稿では,不均衡な分類における一般化を解析するための新しい理論的枠組みを提案する。
次に,2値設定と複数値設定の両方に新しいクラス不均衡なマージン損失関数を提案し,その強い$H$一貫性を証明し,それに対応する学習保証を導出する。
我々は、信頼率を組み込んだ新しい一般学習アルゴリズムIMMAXを考案し、様々な仮説集合に適用する。
論文 参考訳（メタデータ） (2025-02-14T18:57:16Z) - Effective Causal Discovery under Identifiable Heteroscedastic Noise Model [45.98718860540588]
因果DAG学習は、最近精度と効率の両面で有望な性能を達成した。
本稿では,変数間のノイズ分散の変動を考慮したDAG学習のための新しい定式化を提案する。
次に、最適化の難しさに対処する効果的な2相反復DAG学習アルゴリズムを提案する。
論文 参考訳（メタデータ） (2023-12-20T08:51:58Z) - A Unified Generalization Analysis of Re-Weighting and Logit-Adjustment
for Imbalanced Learning [129.63326990812234]
そこで本研究では,データ依存型コンダクタンス(Data-dependent contraction)と呼ばれる手法を提案する。
この技術に加えて、不均衡学習のための微粒な一般化境界が確立され、再重み付けとロジット調整の謎を明らかにするのに役立つ。
論文 参考訳（メタデータ） (2023-10-07T09:15:08Z) - Adaptive Hierarchical Similarity Metric Learning with Noisy Labels [138.41576366096137]
適応的階層的類似度メトリック学習法を提案する。
ノイズに敏感な2つの情報、すなわち、クラスワイドのばらつきとサンプルワイドの一貫性を考える。
提案手法は,現在の深層学習手法と比較して,最先端の性能を実現する。
論文 参考訳（メタデータ） (2021-10-29T02:12:18Z) - Domain adaptation under structural causal models [2.627046865670577]
ドメイン適応(DA)は、モデルをトレーニングするために使用されるソースデータが、モデルをテストするために使用されるターゲットデータとは異なるときに発生する。
近年のDAの進歩は主に応用駆動型である。
本稿では,DA手法の予測性能の解析と比較を可能にする構造因果モデルによる理論的枠組みを提案する。
論文 参考訳（メタデータ） (2020-10-29T17:09:34Z) - On the Benefits of Invariance in Neural Networks [56.362579457990094]
データ拡張によるトレーニングは、リスクとその勾配をよりよく見積もることを示し、データ拡張でトレーニングされたモデルに対して、PAC-Bayes一般化を提供する。
また,データ拡張と比べ,平均化は凸損失を伴う場合の一般化誤差を低減し,PAC-Bayes境界を狭めることを示した。
論文 参考訳（メタデータ） (2020-05-01T02:08:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。