論文の概要: Reframing Long-Tailed Learning via Loss Landscape Geometry

• arxiv url: http://arxiv.org/abs/2603.21217v1
• Date: Sun, 22 Mar 2026 13:16:36 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-24 19:11:39.298031
• Title: Reframing Long-Tailed Learning via Loss Landscape Geometry
• Title（参考訳）: ロスランドスケープ幾何学による長期学習のリフレーミング
• Authors: Shenghan Chen, Yiming Liu, Yanzhen Wang, Yujia Wang, Xiankai Lu,
• Abstract要約: 我々は,「細かな性能劣化」を防止するために,継続的学習にインスパイアされたフレームワークを提案する。 我々のフレームワークは、外部トレーニングサンプルも事前トレーニングモデルも必要とせず、幅広い適用性を容易にします。 4つのベンチマーク実験は、最先端の手法よりも顕著な性能向上を示した。
• 参考スコア（独自算出の注目度）: 26.549210506011068
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Balancing performance trade-off on long-tail (LT) data distributions remains a long-standing challenge. In this paper, we posit that this dilemma stems from a phenomenon called "tail performance degradation" (the model tends to severely overfit on head classes while quickly forgetting tail classes) and pose a solution from a loss landscape perspective. We observe that different classes possess divergent convergence points in the loss landscape. Besides, this divergence is aggravated when the model settles into sharp and non-robust minima, rather than a shared and flat solution that is beneficial for all classes. In light of this, we propose a continual learning inspired framework to prevent "tail performance degradation". To avoid inefficient per-class parameter preservation, a Grouped Knowledge Preservation module is proposed to memorize group-specific convergence parameters, promoting convergence towards a shared solution. Concurrently, our framework integrates a Grouped Sharpness Aware module to seek flatter minima by explicitly addressing the geometry of the loss landscape. Notably, our framework requires neither external training samples nor pre-trained models, facilitating the broad applicability. Extensive experiments on four benchmarks demonstrate significant performance gains over state-of-the-art methods. The code is available at:https://gkp-gsa.github.io/.
• Abstract（参考訳）: ロングテール(LT)データ配信のパフォーマンストレードオフのバランスをとることは、依然として長年の課題である。 本稿では,このジレンマは「テール性能劣化」という現象(モデルでは,テールクラスを素早く忘れることなく,ヘッドクラスに過度に適合する傾向にある)に起因し,ロスランドスケープの観点から解を提示する。 異なるクラスが損失ランドスケープに分散収束点を持つことを観察する。 さらに、この発散は、モデルがすべてのクラスに有益である共有かつ平坦な解ではなく、シャープで非ロバストなミニマに落ち着くときに増大する。 これを踏まえ、我々は「細かな性能劣化」を防止するために連続学習にインスパイアされたフレームワークを提案する。 非効率なクラスごとのパラメータ保存を避けるため、グループ固有の収束パラメータを記憶し、共有解への収束を促進するグループ知識保存モジュールを提案する。 同時に、このフレームワークはグループシャープネス・アウェア・モジュールを統合し、損失ランドスケープの幾何に明示的に対応してフラットなミニマを求める。 特に、我々のフレームワークは、外部トレーニングサンプルも事前トレーニングモデルも必要とせず、幅広い適用性を容易にします。 4つのベンチマークでの大規模な実験は、最先端の手法よりも顕著な性能向上を示した。 コードは、https://gkp-gsa.github.io/で公開されている。

関連論文リスト

• Long-Tailed Learning as Multi-Objective Optimization [29.012779934262973]
  シーソージレンマは、異なるクラスの勾配不均衡に由来すると論じる。 そこで我々は,同じような勾配方向のクラスを収集するグラディエント・バランシング・グループ(GBG)戦略を提案する。
  論文  参考訳（メタデータ） (2023-10-31T14:30:31Z)
• Gradient constrained sharpness-aware prompt learning for vision-language models [99.74832984957025]
  本稿では,視覚言語モデル(VLM)の一般化可能な即時学習における新たなトレードオフ問題を提案する。 最先端手法のロスランドスケープとSAMに基づくバニラシャープネス認識最小化法を解析することにより、トレードオフ性能は損失値と損失シャープネスの両方に相関していると結論付けた。 本稿では,GCSCoOp (Gradient Constrained Sharpness-Aware Context Optimization) と表記される,素早い学習のためのSAMベースの新しい手法を提案する。
  論文  参考訳（メタデータ） (2023-09-14T17:13:54Z)
• Center Contrastive Loss for Metric Learning [8.433000039153407]
  本稿では,Central Contrastive Lossと呼ばれる新しいメトリック学習機能を提案する。 クラスワイド・センタ・バンクを維持し、コントラッシブ・ロスを用いてカテゴリセンターとクエリデータポイントを比較している。 提案した損失は、対比法と分類法の両方の利点を組み合わせたものである。
  論文  参考訳（メタデータ） (2023-08-01T11:22:51Z)
• Layer-wise Linear Mode Connectivity [52.6945036534469]
  ニューラルネットワークパラメータの平均化は、2つの独立したモデルの知識の直感的な方法である。 フェデレートラーニングにおいて最も顕著に用いられている。 私たちは、単一グループやグループを平均化するモデルの性能を分析します。
  論文  参考訳（メタデータ） (2023-07-13T09:39:10Z)
• Symmetric Neural-Collapse Representations with Supervised Contrastive Loss: The Impact of ReLU and Batching [26.994954303270575]
  スーパーバイザード・コントラスト・ロス(SCL)は、分類におけるクロスエントロピー・ロスの代わりとして、競争力があり、しばしば優れた選択肢である。 従来の研究では、両方の損失がバランスデータの下で対称的なトレーニング表現をもたらすことが示されているが、この対称性はクラス不均衡の下で破れる。 最終層におけるReLU活性化の導入は,SCL学習表現の対称性を効果的に回復させる。
  論文  参考訳（メタデータ） (2023-06-13T17:55:39Z)
• You Only Need End-to-End Training for Long-Tailed Recognition [8.789819609485225]
  クロスエントロピー損失は、不均衡なデータに非常に相関した特徴をもたらす傾向にある。 ブロックベース相対平衡バッチサンプリング(B3RS)とバッチ埋め込みトレーニング(BET)の2つの新しいモジュールを提案する。 CIFAR-LT と ImageNet-LT の長期分類ベンチマークによる実験結果から,本手法の有効性が示された。
  論文  参考訳（メタデータ） (2021-12-11T11:44:09Z)
• Adaptive Class Suppression Loss for Long-Tail Object Detection [49.7273558444966]
  アダプティブクラス抑圧損失(ACSL:Adaptive Class Suppression Loss)を考案し,尾部カテゴリの検出性能を改善する。 当社のACSLはResNet50-FPNで5.18%と5.2%の改善を実現し,新たな最先端技術を実現した。
  論文  参考訳（メタデータ） (2021-04-02T05:12:31Z)
• ResLT: Residual Learning for Long-tailed Recognition [64.19728932445523]
  本稿では,パラメータ空間の側面から,より基本的なロングテール認識の視点を提案する。 すべてのクラスから画像を認識するために最適化されたメインブランチと、medium+tailクラスとtailクラスからのイメージを強化するために徐々に2つの残りのブランチを融合して最適化する。 我々は、CIFAR-10、CIFAR-100、Places、ImageNet、iNaturalist 2018の長期バージョンであるいくつかのベンチマークでこの方法をテストする。
  論文  参考訳（メタデータ） (2021-01-26T08:43:50Z)
• Class-incremental Learning with Rectified Feature-Graph Preservation [24.098892115785066]
  本論文の中心的なテーマは,逐次的な段階を経る新しいクラスを学習することである。 旧知識保存のための重み付きユークリッド正規化を提案する。 新しいクラスを効果的に学習するために、クラス分離を増やすためにバイナリクロスエントロピーでどのように機能するかを示す。
  論文  参考訳（メタデータ） (2020-12-15T07:26:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。