論文の概要: Compressing Model with Few Class-Imbalance Samples: An Out-of-Distribution Expedition

• arxiv url: http://arxiv.org/abs/2502.05832v1
• Date: Sun, 09 Feb 2025 09:47:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-11 14:35:58.534898
• Title: Compressing Model with Few Class-Imbalance Samples: An Out-of-Distribution Expedition
• Title（参考訳）: 少数のクラス不均衡サンプルを用いた圧縮モデル:分布外探索
• Authors: Tian-Shuang Wu, Shen-Huan Lyu, Ning Chen, Zhihao Qu, Baoliu Ye,
• Abstract要約: クラス不均衡は,少数サンプルモデル圧縮手法の全体的な性能に悪影響を及ぼすことを示す。 我々は OOD-Enhanced Few-Sample Model Compression (OE-FSMC) という新しい適応型フレームワークを提案する。 このフレームワークは容易にアクセス可能なアウト・オブ・ディストリビューション(OOD)データを圧縮と微調整の両方のプロセスに統合する。
• 参考スコア（独自算出の注目度）: 8.72712025571286
• License:
• Abstract: In recent years, as a compromise between privacy and performance, few-sample model compression has been widely adopted to deal with limited data resulting from privacy and security concerns. However, when the number of available samples is extremely limited, class imbalance becomes a common and tricky problem. Achieving an equal number of samples across all classes is often costly and impractical in real-world applications, and previous studies on few-sample model compression have mostly ignored this significant issue. Our experiments comprehensively demonstrate that class imbalance negatively affects the overall performance of few-sample model compression methods. To address this problem, we propose a novel and adaptive framework named OOD-Enhanced Few-Sample Model Compression (OE-FSMC). This framework integrates easily accessible out-of-distribution (OOD) data into both the compression and fine-tuning processes, effectively rebalancing the training distribution. We also incorporate a joint distillation loss and a regularization term to reduce the risk of the model overfitting to the OOD data. Extensive experiments on multiple benchmark datasets show that our framework can be seamlessly incorporated into existing few-sample model compression methods, effectively mitigating the accuracy degradation caused by class imbalance.
• Abstract（参考訳）: 近年、プライバシとパフォーマンスの妥協として、プライバシとセキュリティ上の懸念から生じる限られたデータを扱うために、少数のサンプルモデル圧縮が広く採用されている。 しかし、利用可能なサンプルの数が極端に限られている場合、クラス不均衡は一般的でトリッキーな問題となる。 全てのクラスで同じ数のサンプルを取得することは、実世界のアプリケーションではコストがかかり、実用的ではないことが多い。 本実験は,クラス不均衡が数サンプルモデル圧縮法全体の性能に悪影響を及ぼすことを包括的に実証する。 この問題に対処するため,OOD-Enhanced Few-Sample Model Compression (OE-FSMC) という新しい適応型フレームワークを提案する。 このフレームワークは、容易にアクセス可能なアウト・オブ・ディストリビューション(OOD)データを圧縮と微調整の両方のプロセスに統合し、トレーニング分布を効果的に再バランスする。 また,OODデータに過度に適合するモデルのリスクを低減するため,共同蒸留損失と正規化期間を組み込んだ。 複数のベンチマークデータセットに対する大規模な実験により、我々のフレームワークは既存の数サンプルモデル圧縮手法にシームレスに組み込むことができ、クラス不均衡による精度劣化を効果的に軽減できることが示された。

関連論文リスト

• Forget the Data and Fine-Tuning! Just Fold the Network to Compress [13.611551223875194]
  構造的に類似したニューロンを層にマージする新しいデータフリーモデル圧縮技術であるモデルフォールディングを導入する。 モデル折り畳みはデータ駆動圧縮技術に匹敵する性能を示し,最近提案したデータフリー手法よりも優れていた。 このアプローチは大規模モデルを圧縮するのに特に有効であり、資源制約された環境への展開に適している。
  論文  参考訳（メタデータ） (2025-02-14T15:10:43Z)
• Choose Your Model Size: Any Compression by a Single Gradient Descent [9.074689052563878]
  イテレーティブ・プルーニング(ACIP)による圧縮について紹介する。 ACIPは、単一の勾配降下ランから圧縮性能トレードオフを決定するアルゴリズム的なアプローチである。 本稿では,ACIPが共通量子化に基づく圧縮手法をシームレスに補完することを示す。
  論文  参考訳（メタデータ） (2025-02-03T18:40:58Z)
• Learning with Imbalanced Noisy Data by Preventing Bias in Sample Selection [82.43311784594384]
  実世界のデータセットには、ノイズの多いラベルだけでなく、クラス不均衡も含まれている。 不均衡なデータセットにおけるノイズラベルに対処する,単純かつ効果的な手法を提案する。
  論文  参考訳（メタデータ） (2024-02-17T10:34:53Z)
• Distributionally Robust Models with Parametric Likelihood Ratios [123.05074253513935]
  3つの単純なアイデアにより、より広いパラメトリックな確率比のクラスを用いてDROでモデルを訓練することができる。 パラメトリック逆数を用いてトレーニングしたモデルは、他のDROアプローチと比較して、サブポピュレーションシフトに対して一貫して頑健であることがわかった。
  論文  参考訳（メタデータ） (2022-04-13T12:43:12Z)
• What do Compressed Large Language Models Forget? Robustness Challenges in Model Compression [68.82486784654817]
  本稿では,知識蒸留とプルーニングを含む2つの一般的なモデル圧縮手法について検討する。 本研究では, 圧縮モデルが, 対向テストセット上のPLMモデルよりもはるかに頑健であることを示す。 サンプル不確実性に基づくモデル圧縮の正規化戦略を開発する。
  論文  参考訳（メタデータ） (2021-10-16T00:20:04Z)
• Model Compression for Dynamic Forecast Combination [9.281199058905017]
  動的予測アンサンブルを個々のモデルに圧縮すると、同様の予測性能が得られることを示す。 また,平均ランクが最も高い圧縮個々モデルは規則に基づく回帰モデルであることを示した。
  論文  参考訳（メタデータ） (2021-04-05T09:55:35Z)
• Jo-SRC: A Contrastive Approach for Combating Noisy Labels [58.867237220886885]
  Jo-SRC (Joint Sample Selection and Model Regularization based on Consistency) というノイズロバスト手法を提案する。 具体的には、対照的な学習方法でネットワークをトレーニングする。 各サンプルの2つの異なるビューからの予測は、クリーンまたは分布不足の「可能性」を推定するために使用されます。
  論文  参考訳（メタデータ） (2021-03-24T07:26:07Z)
• MixKD: Towards Efficient Distillation of Large-scale Language Models [129.73786264834894]
  データに依存しない蒸留フレームワークであるMixKDを提案する。 妥当な条件下では、MixKDは誤差と経験的誤差の間のギャップを小さくする。 限定的なデータ設定とアブレーションによる実験は、提案手法の利点をさらに証明している。
  論文  参考訳（メタデータ） (2020-11-01T18:47:51Z)
• Compressing Large Sample Data for Discriminant Analysis [78.12073412066698]
  判別分析フレームワーク内での大きなサンプルサイズに起因する計算問題を考察する。 線形および二次判別分析のためのトレーニングサンプル数を削減するための新しい圧縮手法を提案する。
  論文  参考訳（メタデータ） (2020-05-08T05:09:08Z)
• Minority Class Oversampling for Tabular Data with Deep Generative Models [4.976007156860967]
  オーバーサンプリングによる非バランスな分類タスクの性能向上を図るために, 深層生成モデルを用いて現実的なサンプルを提供する能力について検討した。 実験の結果,サンプリング手法は品質に影響を与えないが,実行環境は様々であることがわかった。 また、性能指標の点でも改善が重要であるが、絶対的な点では小さな点がしばしば見られる。
  論文  参考訳（メタデータ） (2020-05-07T21:35:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。