論文の概要: LT-Soups: Bridging Head and Tail Classes via Subsampled Model Soups

• arxiv url: http://arxiv.org/abs/2511.10683v1
• Date: Tue, 11 Nov 2025 14:15:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-17 22:42:18.261994
• Title: LT-Soups: Bridging Head and Tail Classes via Subsampled Model Soups
• Title（参考訳）: LT-Soups:サブサンプルモデルによる頭と足のクラスをブリッジする
• Authors: Masih Aminbeidokhti, Subhankar Roy, Eric Granger, Elisa Ricci, Marco Pedersoli,
• Abstract要約: LT-Soupsは、様々なLT体制をまたいで一般化するために設計された2段階のモデルスープフレームワークである。 我々は、ヘッドテール比、ヘッドとテールの比率を、このトレードオフに影響を及ぼす決定的だが見過ごされた要因として特定する。 6つのベンチマークデータセットに対する実験により、LT-SoupsはPEFTと従来のモデルスープと比較して優れたトレードオフを達成することが示された。
• 参考スコア（独自算出の注目度）: 41.94330341768936
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Real-world datasets typically exhibit long-tailed (LT) distributions, where a few head classes dominate and many tail classes are severely underrepresented. While recent work shows that parameter-efficient fine-tuning (PEFT) methods like LoRA and AdaptFormer preserve tail-class performance on foundation models such as CLIP, we find that they do so at the cost of head-class accuracy. We identify the head-tail ratio, the proportion of head to tail classes, as a crucial but overlooked factor influencing this trade-off. Through controlled experiments on CIFAR100 with varying imbalance ratio ($ρ$) and head-tail ratio ($η$), we show that PEFT excels in tail-heavy scenarios but degrades in more balanced and head-heavy distributions. To overcome these limitations, we propose LT-Soups, a two-stage model soups framework designed to generalize across diverse LT regimes. In the first stage, LT-Soups averages models fine-tuned on balanced subsets to reduce head-class bias; in the second, it fine-tunes only the classifier on the full dataset to restore head-class accuracy. Experiments across six benchmark datasets show that LT-Soups achieves superior trade-offs compared to both PEFT and traditional model soups across a wide range of imbalance regimes.
• Abstract（参考訳）: 実世界のデータセットは、典型的には長い尾(LT)分布を示しており、いくつかのヘッドクラスが支配的であり、多くのテールクラスは著しく不足している。 近年の研究では、LoRAやAdaptFormerのようなパラメータ効率のよい微細チューニング(PEFT)手法がCLIPのような基礎モデル上でのテールクラスの性能を保っていることが示されているが、これらの手法はヘッドクラスの精度を犠牲にしている。 我々は、ヘッドテール比、ヘッドとテールの比率を、このトレードオフに影響を及ぼす決定的だが見過ごされた要因として特定する。 CIFAR100の制御実験(ρ$)とヘッドテール比(η$)により、PEFTはテールヘビーなシナリオでは優れるが、バランスが良く、ヘッドヘビーな分布では劣化することを示した。 これらの制約を克服するために,様々なLT体制をまたいだ2段階のモデルスープフレームワークであるLT-Soupsを提案する。 第1段階では、LT-Soupsは、バランスのとれたサブセットで微調整されたモデルを平均化し、ヘッドクラスのバイアスを低減し、第2段階では、完全なデータセット上の分類器のみを微調整して、ヘッドクラスの精度を復元する。 6つのベンチマークデータセットによる実験により、LT-SoupsはPEFTと従来のモデルスープの双方と比較して、幅広い不均衡な状況において優れたトレードオフを達成することが示された。

関連論文リスト

• Biased Teacher, Balanced Student [0.0]
  Long-Tailed Knowledge Distillation (LTKD)は、クラス不均衡シナリオに適した新しいフレームワークである。 CIFAR-100-LT、TinyImageNet-LT、ImageNet-LTの実験は、LTKDが既存のKDメソッドより一貫して優れていることを示している。
  論文  参考訳（メタデータ） (2025-06-23T10:46:44Z)
• FairLoRA: Unpacking Bias Mitigation in Vision Models with Fairness-Driven Low-Rank Adaptation [3.959853359438669]
  低ランク適応のための新しいフェアネス特化正規化器であるFairLoRAについて紹介する。 以上の結果から,偏見を緩和するためのより高いランクの必要性は普遍的ではなく,事前学習モデルやデータセット,タスクといった要因に依存していることがわかった。
  論文  参考訳（メタデータ） (2024-10-22T18:50:36Z)
• A dual-branch model with inter- and intra-branch contrastive loss for long-tailed recognition [7.225494453600985]
  長い尾のデータセットで訓練されたモデルは、テールクラスへの適応性が低く、決定境界は曖昧である。 我々は,不均衡学習枝と対照学習枝(CoLB)を含む,単純で効果的なDual-Branch Long-Tailed Recognition (DB-LTR)を提案する。 CoLBは、テールクラスに適応する際のモデルの能力を改善し、不均衡な学習ブランチを支援して、よく表現された特徴空間と識別的決定境界を学習する。
  論文  参考訳（メタデータ） (2023-09-28T03:31:11Z)
• Dual Compensation Residual Networks for Class Imbalanced Learning [98.35401757647749]
  そこで本研究では,尾と頭の両方に適合する2次元補償残差ネットワークを提案する。 オーバーフィッティングを引き起こす重要な要因は、トレーニングとテールクラスのテストデータの間に深刻な特徴ドリフトがあることである。 また,不適合問題を軽減するためにResidual Balanced Multi-Proxies分類器を提案する。
  論文  参考訳（メタデータ） (2023-08-25T04:06:30Z)
• Long-Tailed Class Incremental Learning [72.4894111493918]
  クラスインクリメンタルラーニング(CIL)では、モデルは古いクラスを忘れずに、逐次的に新しいクラスを学習しなければならない。 本稿では,長尾CILシナリオを2つ提案する。 その結果,CIFAR-100 と ImageNet-Subset に対するアプローチの優れた性能(平均インクリメンタル精度6.44ポイント)が示された。
  論文  参考訳（メタデータ） (2022-10-01T12:41:48Z)
• Invariant Feature Learning for Generalized Long-Tailed Classification [63.97988111638796]
  我々は,両種類の不均衡を共同で検討するために,一般化長大分類(GLT)を導入する。 提案した2つのベンチマーク(ImageNet-GLTとMSCOCO-GLT)では,ほとんどのクラスワイドLTメソッドが退化している。 GLTの最初の強力なベースラインとして不変特徴学習(IFL)法を提案する。
  論文  参考訳（メタデータ） (2022-07-19T18:27:42Z)
• Distributional Robustness Loss for Long-tail Learning [20.800627115140465]
  現実世界のデータはしばしばアンバランスで長尾ですが、深いモデルは頻繁なクラスの存在下でまれなクラスを認識するのに苦労します。 ディープネットワークの特徴抽出器部分は,このバイアスに大きく悩まされていることを示す。 モデルが頭と尾の両方のクラスで高品質の表現を学ぶことを奨励するロバストネス理論に基づく新しい損失を提案します。
  論文  参考訳（メタデータ） (2021-04-07T11:34:04Z)
• Long-tailed Recognition by Routing Diverse Distribution-Aware Experts [64.71102030006422]
  我々は、RoutIng Diverse Experts (RIDE) と呼ばれる新しい長い尾の分類器を提案する。 複数の専門家とのモデルの分散を減らし、分布を考慮した多様性損失によるモデルバイアスを減らし、動的専門家ルーティングモジュールによる計算コストを削減します。 RIDEは、CIFAR100-LT、ImageNet-LT、iNaturalist 2018ベンチマークで最先端を5%から7%上回っている。
  論文  参考訳（メタデータ） (2020-10-05T06:53:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。