論文の概要: Why Not Hyperparameter-Friendly Optimisation? A Monotonic Adaptive Norm Rescaling Approach For Long-Tailed Recognition

• arxiv url: http://arxiv.org/abs/2606.02526v1
• Date: Mon, 01 Jun 2026 17:34:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-02 21:34:32.54088
• Title: Why Not Hyperparameter-Friendly Optimisation? A Monotonic Adaptive Norm Rescaling Approach For Long-Tailed Recognition
• Title（参考訳）: なぜハイパーパラメータフレンドリーな最適化をしないのか? 長手認識のための単調適応ノルム再スケーリングアプローチ
• Authors: Shuo Zhang, Chenqi Li, Tingting Zhu,
• Abstract要約: 長い尾の認識はディープラーニングにとって重要な課題である。 本稿では,標準再スケーリング手法をサポートするクラス条件分布の視点を提供する。 自己適応単調正規化(SAMN)と呼ばれる単純だが効果的な手法を提案する。 SAMN は Pool Adjacent Violators Algorithm を用いてクラスごとのウェイトノルムに単調性を直接適用する。
• 参考スコア（独自算出の注目度）: 7.863135301818823
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Long-tailed recognition poses a significant challenge for deep learning. The two-stage decoupling paradigm, which separates representation learning from classifier retraining, offers a promising solution. During the classifier retraining stage, adaptive norm rescaling is a popular technique. It adjusts the per-class weight norms via parameter regularization, which inevitably introduces hyperparameters. However, many studies report that long-tailed recognition is sensitive to these hyperparameters, as their setup significantly impacts performance. In this paper, we first provide a class-conditional distribution perspective to support norm rescaling methods. Furthermore, we propose a simple but effective approach called Self-Adaptive Monotonic Normalization (SAMN). SAMN avoids the need for parameter regularization. It directly enforces monotonicity on per-class weight norms using the Pool Adjacent Violators Algorithm, making the method hyperparameter-friendly. SAMN is a universal strategy that integrates seamlessly with other methods for enhanced performance. Experiments on benchmark datasets demonstrate that our method significantly boosts long-tailed recognition performance, often achieving state-of-the-art results.
• Abstract（参考訳）: 長い尾の認識は、ディープラーニングにとって重要な課題である。 表現学習と分類器再学習を分離する2段階の分離パラダイムは、有望な解決策を提供する。 分類器再訓練の段階では、適応的ノルム再スケーリングが一般的なテクニックである。 パラメータ正規化によってクラスごとのウェイトノルムを調整し、必然的にハイパーパラメータを導入する。 しかし、長い尾の認識はこれらのハイパーパラメータに敏感であり、その設定が性能に大きな影響を及ぼすと多くの研究が報告している。 本稿では,まず,標準再スケーリング手法をサポートするクラス条件分布の視点を提供する。 さらに,自己適応型モノトニック正規化(SAMN)という,単純かつ効果的な手法を提案する。 SAMNはパラメータ正規化の必要性を避ける。 Pool Adjacent Violators Algorithmを使って、クラスごとのウェイトノルムにモノトニック性を直接適用し、ハイパーパラメーターに優しくする。 SAMNは、パフォーマンス向上のための他のメソッドとシームレスに統合される普遍的な戦略である。 ベンチマークデータセットを用いた実験により,提案手法は長期認識性能を著しく向上し,しばしば最先端の結果が得られた。

関連論文リスト

• EKPC: Elastic Knowledge Preservation and Compensation for Class-Incremental Learning [53.88000987041739]
  クラスインクリメンタルラーニング(Class-Incremental Learning, CIL)は、AIモデルを、時間とともに異なるクラスのシーケンシャルに到着したデータから継続的に学習可能にすることを目的としている。 本稿では, 重要度を考慮した重要度正規化 (IPR) と CIL のためのトレーニング可能なセマンティックドリフト補償 (TSDC) を統合したElastic Knowledge Preservation and Compensation (EKPC) 法を提案する。
  論文  参考訳（メタデータ） (2025-06-14T05:19:58Z)
• Beyond Freezing: Sparse Tuning Enhances Plasticity in Continual Learning with Pre-Trained Models [10.904981532789824]
  事前訓練されたモデルによる継続的な学習は、シーケンシャルなタスクにまたがる効率的な適応を大いに約束する。 既存のアプローチはPTMを凍結し、プロンプトやアダプタのような補助モジュールに依存している。 MIST(Mutual Information-Guided Sparse Tuning)は,PTMパラメータのサブセットを選択的に更新するプラグイン・アンド・プレイ方式である。
  論文  参考訳（メタデータ） (2025-05-26T13:09:25Z)
• Training Deep Learning Models with Norm-Constrained LMOs [56.00317694850397]
  線形最小化オラクル(LMO)を用いて問題の幾何学に適応する新しいアルゴリズム群を提案する。 我々は,Adamに頼らずに,我々のアルゴリズムであるScionを用いたナノGPTトレーニングの大幅な高速化を示す。
  論文  参考訳（メタデータ） (2025-02-11T13:10:34Z)
• ALoRE: Efficient Visual Adaptation via Aggregating Low Rank Experts [71.91042186338163]
  ALoREは、Kroneckerによって構築された超複素パラメータ化空間をAggregate Low Rank Expertsに再利用する新しいPETL法である。 巧妙な設計のおかげで、ALoREは無視できる余分なパラメータを保持し、凍ったバックボーンに強制的にマージできる。
  論文  参考訳（メタデータ） (2024-12-11T12:31:30Z)
• Rethinking Classifier Re-Training in Long-Tailed Recognition: A Simple Logits Retargeting Approach [102.0769560460338]
  我々は,クラスごとのサンプル数に関する事前知識を必要とせず,シンプルなロジットアプローチ(LORT)を開発した。 提案手法は,CIFAR100-LT, ImageNet-LT, iNaturalist 2018など,様々な不均衡データセットの最先端性能を実現する。
  論文  参考訳（メタデータ） (2024-03-01T03:27:08Z)
• Improving Deep Learning Optimization through Constrained Parameter Regularization [39.581480654459455]
  本稿では、従来の重み劣化の代替として、制約付き正規化(CPR)を提案する。 CPRは、L2ノルムのような統計測度上界を強制する。 CPRは従来の重量減少よりも優れ、トレーニング前や微調整時の性能が向上する。
  論文  参考訳（メタデータ） (2023-11-15T15:50:34Z)
• Conditional Deformable Image Registration with Spatially-Variant and Adaptive Regularization [2.3419031955865517]
  条件付き空間適応型インスタンス正規化(CSAIN)に基づく学習ベース登録手法を提案する。 実験の結果,提案手法は空間変動および適応正則化を達成しつつ,ベースラインアプローチよりも優れていることがわかった。
  論文  参考訳（メタデータ） (2023-03-19T16:12:06Z)
• Efficient Semantic Image Synthesis via Class-Adaptive Normalization [116.63715955932174]
  クラス適応正規化(CLADE)は、セマンティッククラスにのみ適応する軽量かつ等価なバリアントである。 セマンティクスレイアウトから計算したクラス内位置マップエンコーディングを導入し,cladeの正規化パラメータを変調する。 提案されたCLADEは異なるSPADEベースのメソッドに一般化し、SPADEと比較して同等の生成品質を達成できる。
  論文  参考訳（メタデータ） (2020-12-08T18:59:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。