論文の概要: Beyond Static Costs: Learning-Dynamics Aware Loss Functions for Long-Tailed Classification
- arxiv url: http://arxiv.org/abs/2607.25830v1
- Date: Tue, 28 Jul 2026 15:10:33 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-29 20:50:42.879183
- Title: Beyond Static Costs: Learning-Dynamics Aware Loss Functions for Long-Tailed Classification
- Title（参考訳）: 静的コストを超えて: 長期的分類のための学習力学は損失を意識する
- Abstract要約: コンピュータビジョンのディープラーニングモデルは、長い尾のデータセットでトレーニングされた場合、重大な課題に直面します。
本稿では,静的なサンプル数から動的学習の進歩に焦点を移す新しい学習-動的認識損失関数を提案する。
提案手法は最先端の再重み付け損失関数を大幅に超え,精度と一般化性の間に最適なトレードオフをもたらす。
- 参考スコア（独自算出の注目度）: 1.5703403045941313
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Deep learning models in computer vision face significant challenges when trained on long-tailed datasets, where a few majority classes dominate while many minority classes are severely underrepresented. Such imbalances frequently arise in real-world scenarios such as rare species recognition, manufacturing fault detection, and medical image understanding, leading to biased models that underperform on tail classes. Existing reweighting methods typically rely on static class frequencies to penalize the model, ignoring the dynamic nature of how effectively a network actually learns a class over time. We address this by introducing a novel Learning-Dynamics Aware Loss (LDAL) function that shifts the focus from static sample counts to dynamic learning progress. LDAL framework adjusts class weights continuously by leveraging: (i) the strength of learned feature representations (semantic scale), (ii) the intrinsic learning difficulty of each class, measured via the Shannon entropy of its predictions, and (iii) an inter-epoch regularizer term that tracks prediction shifts between consecutive epochs to stabilize training and avoid local minima. LDAL is purely a objective function which incurs negligible computational overhead while adapting to the feature learning of the model. Experimental results on multiple benchmark datasets demonstrate that our approach significantly surpasses state-of-the-art reweighting loss functions, providing an optimal trade-off between accuracy and generalizability. The source code is available at https://github.com/sdm2026/ldal
- Abstract（参考訳）: コンピュータビジョンにおけるディープラーニングモデルは、少数の多数派クラスが支配的であり、多くの少数派クラスが著しく不足している、長い尾のデータセットでトレーニングされた場合、重大な課題に直面します。
このような不均衡は、希少な種認識、製造障害検出、医療画像理解といった現実のシナリオでしばしば生じ、尾のクラスでは性能の低いバイアスのあるモデルをもたらす。
既存の再重み付け手法は、通常、静的なクラス周波数に依存してモデルをペナル化し、ネットワークが実際に時間をかけてどのようにクラスを学習するかという動的な性質を無視します。
静的なサンプル数から動的学習の進歩に焦点を移す,LDAL(Learning-Dynamics Aware Loss)関数を導入することで,この問題に対処する。
LDALフレームワークはクラスウェイトを継続的に調整します。
一 学習した特徴表現(意味尺度)の強さ
(二)その予測のシャノンエントロピーを用いて測定した各クラス固有の学習困難度、及び
第三に、トレーニングを安定させ、局所的なミニマを避けるために、連続したエポック間の予測シフトを追跡するエポック間正規化器の用語。
LDALは純粋に、モデルの特徴学習に適応しながら、無視可能な計算オーバーヘッドを発生させる目的関数である。
複数のベンチマークデータセットによる実験結果から,本手法は最先端の再重み付け損失関数を大幅に上回り,精度と一般化性の間に最適なトレードオフをもたらすことが示された。
ソースコードはhttps://github.com/sdm2026/ldalで入手できる。
関連論文リスト
- Entropy-Guided Token Dropout: Training Autoregressive Language Models with Limited Domain Data [89.96277093034547]
本研究では,エントロピー誘導型トークンドロップアウト方式であるEntroDropを導入する。
本稿では,EntroDropが標準正規化ベースラインを一貫して上回り,拡張型マルチエポックトレーニングを通じて堅牢な性能を維持していることを示す。
論文 参考訳（メタデータ） (2025-12-29T12:35:51Z) - Functional Scaling Laws in Kernel Regression: Loss Dynamics and Learning Rate Schedules [9.332823269318842]
スケーリング法則は、大きな言語モデルのトレーニングを理解し、導くための統一レンズとして登場した。
我々は任意のLSSの下で全損失軌跡を捕捉する機能スケーリング法を確立した。
データ制限と計算制限の両方で明示的なスケーリング関係を導出する。
論文 参考訳（メタデータ） (2025-09-23T16:05:16Z) - Learning to Continually Learn with the Bayesian Principle [36.75558255534538]
本研究では、ニューラルネットワークの強力な表現力と、忘れることに対する単純な統計モデルの堅牢性を組み合わせたメタラーニングパラダイムを採用する。
ニューラルネットワークは継続学習中に固定されているため、破滅的な忘れ物から保護されている。
論文 参考訳（メタデータ） (2024-05-29T04:53:31Z) - Robust Learning with Progressive Data Expansion Against Spurious
Correlation [65.83104529677234]
本研究では,2層非線形畳み込みニューラルネットワークの学習過程について検討した。
分析の結果,不均衡なデータ群と学習容易なスプリアス特徴が学習過程におけるスプリアス特徴の優位性に繋がる可能性が示唆された。
本稿では,PDEと呼ばれる新たなトレーニングアルゴリズムを提案する。
論文 参考訳（メタデータ） (2023-06-08T05:44:06Z) - Theoretical Characterization of the Generalization Performance of
Overfitted Meta-Learning [70.52689048213398]
本稿では,ガウス的特徴を持つ線形回帰モデルの下で,過剰適合型メタラーニングの性能について検討する。
シングルタスク線形回帰には存在しない新しい興味深い性質が見つかる。
本分析は,各訓練課題における基礎的真理のノイズや多様性・変動が大きい場合には,良心過剰がより重要かつ容易に観察できることを示唆する。
論文 参考訳（メタデータ） (2023-04-09T20:36:13Z) - Understanding and Improving Transfer Learning of Deep Models via Neural Collapse [37.483109067209504]
分類問題に対する神経崩壊(NC)と伝達学習の関係について検討する。
機能崩壊と下流のパフォーマンスには強い相関関係がある。
提案手法は, 微調整パラメータを90%以上削減しつつ, 優れた性能を実現する。
論文 参考訳（メタデータ） (2022-12-23T08:48:34Z) - CMW-Net: Learning a Class-Aware Sample Weighting Mapping for Robust Deep
Learning [55.733193075728096]
現代のディープニューラルネットワークは、破損したラベルやクラス不均衡を含むバイアス付きトレーニングデータに容易に適合する。
サンプル再重み付け手法は、このデータバイアス問題を緩和するために一般的に使用されている。
本稿では,データから直接明示的な重み付け方式を適応的に学習できるメタモデルを提案する。
論文 参考訳（メタデータ） (2022-02-11T13:49:51Z) - Gone Fishing: Neural Active Learning with Fisher Embeddings [55.08537975896764]
ディープニューラルネットワークと互換性のあるアクティブな学習アルゴリズムの必要性が高まっている。
本稿では,ニューラルネットワークのための抽出可能かつ高性能な能動学習アルゴリズムBAITを紹介する。
論文 参考訳（メタデータ） (2021-06-17T17:26:31Z) - Self-Damaging Contrastive Learning [92.34124578823977]
ラベルのないデータは一般に不均衡であり、長い尾の分布を示す。
本稿では,クラスを知らずに表現学習を自動的にバランスをとるための,自己学習コントラスト学習という原則的枠組みを提案する。
実験の結果,SDCLRは全体としての精度だけでなく,バランス性も著しく向上することがわかった。
論文 参考訳（メタデータ） (2021-06-06T00:04:49Z) - Distributional Robustness Loss for Long-tail Learning [20.800627115140465]
現実世界のデータはしばしばアンバランスで長尾ですが、深いモデルは頻繁なクラスの存在下でまれなクラスを認識するのに苦労します。
ディープネットワークの特徴抽出器部分は,このバイアスに大きく悩まされていることを示す。
モデルが頭と尾の両方のクラスで高品質の表現を学ぶことを奨励するロバストネス理論に基づく新しい損失を提案します。
論文 参考訳（メタデータ） (2021-04-07T11:34:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。