論文の概要: IMWA: Iterative Model Weight Averaging Benefits Class-Imbalanced Learning Tasks

• arxiv url: http://arxiv.org/abs/2404.16331v2
• Date: Wed, 04 Dec 2024 07:47:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-05 15:05:49.956315
• Title: IMWA: Iterative Model Weight Averaging Benefits Class-Imbalanced Learning Tasks
• Title（参考訳）: IMWA: 学級不均衡学習課題の便益を平均化する反復モデルウェイト
• Authors: Zitong Huang, Ze Chen, Bowen Dong, Chaoqi Liang, Erjin Zhou, Wangmeng Zuo,
• Abstract要約: 反復モデルウェイト平均化(IMWA)は、クラス不均衡学習タスクのための手法である。 バニラMWAと比較して、IMWAは同じ計算コストで高い性能向上を実現している。
• 参考スコア（独自算出の注目度）: 52.61590955479261
• License:
• Abstract: Model Weight Averaging (MWA) is a technique that seeks to enhance model's performance by averaging the weights of multiple trained models. This paper first empirically finds that 1) the vanilla MWA can benefit the class-imbalanced learning, and 2) performing model averaging in the early epochs of training yields a greater performance improvement than doing that in later epochs. Inspired by these two observations, in this paper we propose a novel MWA technique for class-imbalanced learning tasks named Iterative Model Weight Averaging (IMWA). Specifically, IMWA divides the entire training stage into multiple episodes. Within each episode, multiple models are concurrently trained from the same initialized model weight, and subsequently averaged into a singular model. Then, the weight of this average model serves as a fresh initialization for the ensuing episode, thus establishing an iterative learning paradigm. Compared to vanilla MWA, IMWA achieves higher performance improvements with the same computational cost. Moreover, IMWA can further enhance the performance of those methods employing EMA strategy, demonstrating that IMWA and EMA can complement each other. Extensive experiments on various class-imbalanced learning tasks, i.e., class-imbalanced image classification, semi-supervised class-imbalanced image classification and semi-supervised object detection tasks showcase the effectiveness of our IMWA.
• Abstract（参考訳）: モデルウェイト平均化(モデルウェイト平均化、MWA)は、複数の訓練されたモデルの重みを平均化することによってモデルの性能を向上させる技術である。 この論文はまずそれを実証的に見出す 1)バニラMWAは、クラス不均衡学習の恩恵を受けることができ、 2) 訓練の初期段階におけるモデル平均化の実行は, 後期後期におけるモデル平均化よりも高い性能向上をもたらす。 この2つの観測から着想を得た本論文では,Iterative Model Weight Averaging (IMWA) と呼ばれるクラス不均衡学習タスクのための新しいMWA手法を提案する。 具体的には、IMWAはトレーニングステージ全体を複数のエピソードに分割する。 各エピソードにおいて、複数のモデルは同一の初期モデル重みから同時に訓練され、その後、特異モデルに平均化される。 そして、この平均モデルの重みは、続くエピソードの新たな初期化として機能し、反復学習パラダイムを確立する。 バニラMWAと比較して、IMWAは同じ計算コストで高い性能向上を実現している。 さらに, IMWA と EMA が相互補完可能であることを示すことにより, EMA 戦略を用いた手法の性能をさらに向上させることができる。 クラス不均衡画像分類,半教師付きクラス不均衡画像分類,半教師付きオブジェクト検出タスクなど,様々なクラス不均衡画像分類タスクに関する大規模な実験は,IMWAの有効性を示すものである。

関連論文リスト

• Weight Scope Alignment: A Frustratingly Easy Method for Model Merging [40.080926444789085]
  非I.D.データは平均的なモデル融合にとって大きな課題となる。 本稿では,異なるトレーニング条件下での重量範囲の変化を明らかにする。 幸いなことに、各層のパラメータは基本的にガウス分布に従っており、これは新しく単純な正規化アプローチを刺激している。
  論文  参考訳（メタデータ） (2024-08-22T09:13:27Z)
• EMR-Merging: Tuning-Free High-Performance Model Merging [55.03509900949149]
  Elect, Mask & Rescale-Merging (EMR-Merging) は既存のマージ手法と比較して優れた性能を示した。 EMR-Mergingはチューニング不要なので、データアベイラビリティや追加のトレーニングは必要ありません。
  論文  参考訳（メタデータ） (2024-05-23T05:25:45Z)
• Improving Discriminative Multi-Modal Learning with Large-Scale Pre-Trained Models [51.5543321122664]
  本稿では,大規模な事前学習型ユニモーダルモデルを用いて,識別型マルチモーダル学習を向上する方法について検討する。 MMLoRA(Multi-Modal Low-Rank Adaptation Learning)を導入する。
  論文  参考訳（メタデータ） (2023-10-08T15:01:54Z)
• AdaMerging: Adaptive Model Merging for Multi-Task Learning [68.75885518081357]
  本稿では,Adaptive Model Merging (AdaMerging)と呼ばれる革新的な手法を紹介する。 本来のトレーニングデータに頼ることなく、タスクレベルでも階層的にも、モデルマージの係数を自律的に学習することを目指している。 AdaMergingは、現在の最先端のタスク演算のマージ方式と比較すると、パフォーマンスが11%向上している。
  論文  参考訳（メタデータ） (2023-10-04T04:26:33Z)
• ZhichunRoad at Amazon KDD Cup 2022: MultiTask Pre-Training for E-Commerce Product Search [4.220439000486713]
  検索結果の質を向上させるために,頑健な多言語モデルを提案する。 事前学習の段階では、mlmタスク、分類タスク、コントラスト学習タスクを採用する。 微調整段階では、自信ある学習、指数的移動平均法(EMA)、対人訓練(FGM)、正規化ドロップアウト戦略(R-Drop)を用いる。
  論文  参考訳（メタデータ） (2023-01-31T07:31:34Z)
• Model-Agnostic Multitask Fine-tuning for Few-shot Vision-Language Transfer Learning [59.38343286807997]
  未知タスクの視覚言語モデルのためのモデル非依存型マルチタスクファインチューニング(MAMF)を提案する。 モデルに依存しないメタラーニング(MAML)と比較して、MAMFは二段階最適化を捨て、一階勾配のみを使用する。 MAMFは5つのベンチマークデータセット上で、数ショットの転送学習において古典的な微調整法よりも一貫して優れていることを示す。
  論文  参考訳（メタデータ） (2022-03-09T17:26:53Z)
• FairIF: Boosting Fairness in Deep Learning via Influence Functions with Validation Set Sensitive Attributes [51.02407217197623]
  本稿では,FAIRIFという2段階の学習アルゴリズムを提案する。 サンプル重みが計算される再重み付きデータセットの損失を最小限に抑える。 FAIRIFは、様々な種類のバイアスに対して、フェアネスとユーティリティのトレードオフを良くしたモデルが得られることを示す。
  論文  参考訳（メタデータ） (2022-01-15T05:14:48Z)
• BI-MAML: Balanced Incremental Approach for Meta Learning [9.245355087256314]
  本稿では,複数のタスクを学習するための新しいバランス付きインクリメンタルモデルAgnostic Meta Learningシステム(BI-MAML)を提案する。 本手法では,従来のタスクを忘れることなく,新たなタスクにモデルを漸進的に適応させるメタ更新ルールを実装している。 本システムでは,数ショットでメタ更新を行い,その達成に成功している。
  論文  参考訳（メタデータ） (2020-06-12T18:28:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。