論文の概要: Domain Generalization via Balancing Training Difficulty and Model
Capability
- arxiv url: http://arxiv.org/abs/2309.00844v1
- Date: Sat, 2 Sep 2023 07:09:23 GMT
- ステータス: 処理完了
- システム内更新日: 2023-09-07 00:45:18.157039
- Title: Domain Generalization via Balancing Training Difficulty and Model
Capability
- Title(参考訳): バランストレーニングによるドメインの一般化とモデル能力
- Authors: Xueying Jiang, Jiaxing Huang, Sheng Jin, Shijian Lu
- Abstract要約: ドメイン一般化(Domain Generalization, DG)は、1つまたは複数のソースドメインからドメイン一般化可能なモデルを学習することを目的としている。
最近の進歩にもかかわらず、既存の作業の多くは、トレーニングサンプルの難易度と、現代的に訓練されたモデルの能力の相違に悩まされている。
我々は、モデルの能力とサンプルの難易度の間のシーソーのバランスをとることで、ミスアライメントに対処するMomentum DifficultyフレームワークであるMoDifyを設計する。
- 参考スコア(独自算出の注目度): 61.053202176230904
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Domain generalization (DG) aims to learn domain-generalizable models from one
or multiple source domains that can perform well in unseen target domains.
Despite its recent progress, most existing work suffers from the misalignment
between the difficulty level of training samples and the capability of
contemporarily trained models, leading to over-fitting or under-fitting in the
trained generalization model. We design MoDify, a Momentum Difficulty framework
that tackles the misalignment by balancing the seesaw between the model's
capability and the samples' difficulties along the training process. MoDify
consists of two novel designs that collaborate to fight against the
misalignment while learning domain-generalizable models. The first is
MoDify-based Data Augmentation which exploits an RGB Shuffle technique to
generate difficulty-aware training samples on the fly. The second is
MoDify-based Network Optimization which dynamically schedules the training
samples for balanced and smooth learning with appropriate difficulty. Without
bells and whistles, a simple implementation of MoDify achieves superior
performance across multiple benchmarks. In addition, MoDify can complement
existing methods as a plug-in, and it is generic and can work for different
visual recognition tasks.
- Abstract(参考訳): ドメイン一般化(DG)は、1つまたは複数のソースドメインからドメイン一般化可能なモデルを学習することを目的としている。
最近の進歩にもかかわらず、既存の作業の多くは、トレーニングサンプルの難易度と、現代的に訓練されたモデルの能力の相違に悩まされ、訓練された一般化モデルに過度に適合または過度に適合する。
我々は、モデルの能力とトレーニングプロセスにおけるサンプルの困難との間のシーソーのバランスをとることで、ミスアライメントに取り組むMomentum DifficultyフレームワークであるMoDifyを設計する。
修正は2つの新しいデザインから成り、ドメイン一般化可能なモデルを学びながら、不均衡と戦うために協力する。
ひとつはMoDifyベースのData Augmentationで、RGB Shuffle技術を利用して、オンザフライで困難なトレーニングサンプルを生成する。
2つ目は、MoDifyベースのネットワーク最適化で、バランスとスムーズな学習のためのトレーニングサンプルを適切な困難で動的にスケジュールする。
ベルとホイッスルがなければ、MoDifyのシンプルな実装は複数のベンチマークで優れたパフォーマンスを達成する。
さらに、MoDifyはプラグインとして既存のメソッドを補完することができ、ジェネリックであり、異なる視覚的認識タスクで機能する。
関連論文リスト
- Multimodal Federated Learning with Missing Modality via Prototype Mask
and Contrast [23.936677199734213]
本稿では,FedAvgベースのFederated Learningフレームワークにプロトタイプライブラリを導入する。
提案手法は,タスク校正されたトレーニング損失とモデルに依存しない一様性推論戦略を定式化するために,欠落したモダリティを表すマスクとしてプロトタイプを利用する。
ベースラインと比較して,トレーニング中に50%のモダリティが欠落し,一様性推論時に23.8%の精度で推論精度が3.7%向上した。
論文 参考訳(メタデータ) (2023-12-21T00:55:12Z) - AdaMerging: Adaptive Model Merging for Multi-Task Learning [72.2068175246167]
本稿では,Adaptive Model Merging (AdaMerging)と呼ばれる革新的な手法を紹介する。
本来のトレーニングデータに頼ることなく、タスクレベルでも階層的にも、モデルマージの係数を自律的に学習することを目指している。
AdaMergingは、現在の最先端のタスク演算のマージ方式と比較すると、パフォーマンスが11%向上している。
論文 参考訳(メタデータ) (2023-10-04T04:26:33Z) - Style-Hallucinated Dual Consistency Learning: A Unified Framework for
Visual Domain Generalization [113.03189252044773]
本稿では,様々な視覚的タスクにおけるドメインシフトを処理するための統合フレームワークであるStyle-HAllucinated Dual consistEncy Learning (SHADE)を提案する。
我々の汎用SHADEは、画像分類、セマンティックセグメンテーション、オブジェクト検出など、様々な視覚認識タスクにおける一般化を著しく向上させることができる。
論文 参考訳(メタデータ) (2022-12-18T11:42:51Z) - Uni-Perceiver-MoE: Learning Sparse Generalist Models with Conditional
MoEs [63.936622239286685]
異なるタスクとモダリティ間の干渉が、この現象の主要な要因であることがわかった。
一般モデルに条件混合(Conditional Mixture-of-Experts)を導入する。
コード及び事前訓練されたジェネリストモデルは、解放される。
論文 参考訳(メタデータ) (2022-06-09T17:59:59Z) - Exploring Strategies for Generalizable Commonsense Reasoning with
Pre-trained Models [62.28551903638434]
モデルの一般化と精度に及ぼす3つの異なる適応法の影響を計測する。
2つのモデルを用いた実験では、微調整はタスクの内容と構造の両方を学習することで最もうまく機能するが、過度に適合し、新しい答えへの限定的な一般化に苦しむ。
我々は、プレフィックスチューニングのような代替適応手法が同等の精度を持つのを観察するが、解を見落とさずに一般化し、対数分割に対してより堅牢である。
論文 参考訳(メタデータ) (2021-09-07T03:13:06Z) - Self-Damaging Contrastive Learning [92.34124578823977]
ラベルのないデータは一般に不均衡であり、長い尾の分布を示す。
本稿では,クラスを知らずに表現学習を自動的にバランスをとるための,自己学習コントラスト学習という原則的枠組みを提案する。
実験の結果,SDCLRは全体としての精度だけでなく,バランス性も著しく向上することがわかった。
論文 参考訳(メタデータ) (2021-06-06T00:04:49Z) - Cross-Domain Few-Shot Classification via Adversarial Task Augmentation [16.112554109446204]
少数のショット分類は、各クラスのラベル付きサンプルがほとんどなく、見えないクラスを認識することを目的とする。
数ショット分類のためのメタラーニングモデルの多くは、そのようなタスクを解決するために様々なタスク共有帰納バイアス(メタ知識)を精巧に設計する。
本研究は,タスク強化による帰納バイアスの堅牢性向上を目的としている。
論文 参考訳(メタデータ) (2021-04-29T14:51:53Z) - Sample-based Regularization: A Transfer Learning Strategy Toward Better
Generalization [8.432864879027724]
少量のデータでディープニューラルネットワークをトレーニングすることは、難しい問題である。
私たちがよく直面する現実的な難題の1つは、多くのサンプルを集めることです。
大規模なデータセットでトレーニングされたソースモデルを使用することで、トレーニングデータの不足に起因する過度な適合を軽減することができる。
論文 参考訳(メタデータ) (2020-07-10T06:02:05Z) - Adversarial Style Mining for One-Shot Unsupervised Domain Adaptation [43.351728923472464]
One-Shot Unsupervised Domain Adaptationは、適応を学ぶ際に、ラベルなしのターゲットサンプルをひとつだけ利用できると仮定する。
従来の適応手法は、ラベル付けされていないターゲットデータの不足により失敗する傾向にある。
そこで我々は,スタイル転送モジュールとタスク固有モジュールを組み合わせた新しいアドリラルスタイルマイニング手法を提案する。
論文 参考訳(メタデータ) (2020-04-13T16:18:46Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。