論文の概要: RecursiveMix: Mixed Learning with History
- arxiv url: http://arxiv.org/abs/2203.06844v1
- Date: Mon, 14 Mar 2022 03:59:47 GMT
- ステータス: 処理完了
- システム内更新日: 2022-03-15 16:02:00.674984
- Title: RecursiveMix: Mixed Learning with History
- Title（参考訳）: recursive mix: 歴史と混合学習
- Authors: Lingfeng Yang, Xiang Li, Borui Zhao, Renjie Song, Jian Yang
- Abstract要約: RM(RecursiveMix)は、歴史的入力-予測-ラベル三重項を利用した混合サンプル学習パラダイムである。
ResNet-50に基づいて、RMはCIFAR100で$sim$3.2%、ImageNetで$sim$2.8%の分類精度を無視できない余分な計算/保存コストで改善した。
- 参考スコア（独自算出の注目度）: 21.865332756486314
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Mix-based augmentation has been proven fundamental to the generalization of
deep vision models. However, current augmentations only mix samples at the
current data batch during training, which ignores the possible knowledge
accumulated in the learning history. In this paper, we propose a recursive
mixed-sample learning paradigm, termed "RecursiveMix" (RM), by exploring a
novel training strategy that leverages the historical input-prediction-label
triplets. More specifically, we iteratively resize the input image batch from
the previous iteration and paste it into the current batch while their labels
are fused proportionally to the area of the operated patches. Further, a
consistency loss is introduced to align the identical image semantics across
the iterations, which helps the learning of scale-invariant feature
representations. Based on ResNet-50, RM largely improves classification
accuracy by $\sim$3.2\% on CIFAR100 and $\sim$2.8\% on ImageNet with negligible
extra computation/storage costs. In the downstream object detection task, the
RM pretrained model outperforms the baseline by 2.1 AP points and surpasses
CutMix by 1.4 AP points under the ATSS detector on COCO. In semantic
segmentation, RM also surpasses the baseline and CutMix by 1.9 and 1.1 mIoU
points under UperNet on ADE20K, respectively. Codes and pretrained models are
available at \url{https://github.com/megvii-research/RecursiveMix}.
- Abstract（参考訳）: 混合ベースの拡張は、ディープビジョンモデルの一般化に基本であることが証明されている。
しかし、現在の拡張はトレーニング中に現在のデータバッチでサンプルを混合するだけであり、学習履歴に蓄積される可能性のある知識を無視している。
本稿では,過去の入出力ラベル三重項を活用した新しい学習戦略を探求し,再帰的混合サンプル学習パラダイム「再帰的混合(rm)」を提案する。
より具体的には、入力画像バッチを前回のイテレーションから繰り返し再サイズし、ラベルが操作済みパッチの面積に比例して融合している間に現在のバッチにペーストする。
さらに、同じイメージセマンティクスをイテレーション間で整合させるために一貫性損失を導入し、スケール不変の特徴表現の学習を支援する。
ResNet-50に基づいて、RMはCIFAR100で$\sim$3.2\%、ImageNetで$\sim$2.8\%の分類精度を無視できる余分な計算/保存コストで改善した。
下流オブジェクト検出タスクでは、事前訓練されたRMモデルはベースラインを2.1APポイントで上回り、COCO上のATSS検出器の下でCutMixを1.4APポイント上回る。
セマンティックセグメンテーションでは、RMは、ADE20K上のUperNetの下で、ベースラインとCutMixをそれぞれ1.9と1.1mIoUで上回る。
コードと事前訓練されたモデルは、 \url{https://github.com/megvii-research/RecursiveMix}で入手できる。
関連論文リスト
- SUMix: Mixup with Semantic and Uncertain Information [41.99721365685618]
混合データ拡張アプローチは、ディープラーニングの様々なタスクに応用されている。
そこで我々は,SUMix という新しい手法を提案し,混合率と混合試料の不確かさを学習する。
論文 参考訳（メタデータ） (2024-07-10T16:25:26Z) - BackMix: Mitigating Shortcut Learning in Echocardiography with Minimal Supervision [1.3708815960776262]
本稿では,BackMix という,シンプルで効果的なバックグラウンド拡張手法を提案する。
背景を結果と無関係にすることで、モデルは超音波セクター内のデータに集中することを学ぶ。
提案手法を半教師付き環境で拡張し, セグメンテーションラベルの5%以下で, BackMixの正の効果が維持されていることを確認した。
論文 参考訳（メタデータ） (2024-06-27T13:06:47Z) - MixReorg: Cross-Modal Mixed Patch Reorganization is a Good Mask Learner
for Open-World Semantic Segmentation [110.09800389100599]
セマンティックセグメンテーションのための新鮮で簡単な事前学習パラダイムであるMixReorgを提案する。
我々のアプローチは、パッチとテキストの対応を保ちながら、画像パッチを混合することで、きめ細かいパッチテキストペアデータを生成することである。
マスク学習者としてMixReorgを使用することで、従来のテキスト教師付きセマンティックセマンティックセマンティックモデルは、非常に一般化可能なピクセル・セマンティックアライメントを実現することができる。
論文 参考訳（メタデータ） (2023-08-09T09:35:16Z) - Exploring the Limits of Deep Image Clustering using Pretrained Models [1.1060425537315088]
本稿では,事前学習した特徴抽出器を利用してラベルなしで画像の分類を学習する手法を提案する。
本稿では,画像特徴間の関連性を学習する新たな目的について提案する。
論文 参考訳（メタデータ） (2023-03-31T08:56:29Z) - Co-training $2^L$ Submodels for Visual Recognition [67.02999567435626]
サブモデルコトレーニングは、コトレーニング、自己蒸留、深さに関連する正規化手法である。
サブモデルのコトレーニングは,画像分類やセマンティックセグメンテーションなどの認識タスクのためのバックボーンのトレーニングに有効であることを示す。
論文 参考訳（メタデータ） (2022-12-09T14:38:09Z) - ReMix: A General and Efficient Framework for Multiple Instance Learning
based Whole Slide Image Classification [14.78430890440035]
ワイルスライド画像(WSI)分類は、ギガピクセル解像度画像とスライドレベルのラベルを扱うために弱教師付き多重インスタンス学習(MIL)法に依存することが多い。
MILに基づくWSI分類のための汎用的で効率的なフレームワークであるReMixを提案する。
論文 参考訳（メタデータ） (2022-07-05T04:21:35Z) - Bootstrap Your Object Detector via Mixed Training [82.98619147880397]
MixTrainingはオブジェクト検出のための新しいトレーニングパラダイムであり、既存の検出器の性能を無償で向上させることができる。
異なる強度の増強を利用し、トレーニングに有害な特定のトレーニングサンプルの強い増強を除き、データ増強を強化する。
MixTrainingはCOCOデータセット上のさまざまな検出器間で一貫した改善をもたらす。
論文 参考訳（メタデータ） (2021-11-04T17:58:26Z) - Evolving Image Compositions for Feature Representation Learning [22.22790506995431]
PatchMixは、グリッドのようなパターンで一対のイメージからパッチを合成することで、新しいサンプルを作成するデータ拡張手法である。
PatchMixを使用したImageNetでトレーニングされたResNet-50モデルは、幅広いベンチマークで優れた転送学習能力を示している。
論文 参考訳（メタデータ） (2021-06-16T17:57:18Z) - Jigsaw Clustering for Unsupervised Visual Representation Learning [68.09280490213399]
本稿では,新しいjigsawクラスタリング・プレテキストタスクを提案する。
本手法は画像内情報と画像間情報の両方を利用する。
トレーニングバッチの半分しか使用されていない場合、コントラスト学習方法にも匹敵します。
論文 参考訳（メタデータ） (2021-04-01T08:09:26Z) - ReMix: Towards Image-to-Image Translation with Limited Data [154.71724970593036]
本稿では,この問題に対処するためのデータ拡張手法(ReMix)を提案する。
特徴レベルでのトレーニングサンプルを補間し、サンプル間の知覚的関係に基づく新しいコンテンツ損失を提案します。
提案手法は, 生成のあいまいさを効果的に低減し, コンテンツ保存結果を生成する。
論文 参考訳（メタデータ） (2021-03-31T06:24:10Z) - Un-Mix: Rethinking Image Mixtures for Unsupervised Visual Representation
Learning [108.999497144296]
近年の先進的な教師なし学習手法では,同じ画像から2つの「ビュー」を学習表現として比較するために,サイムズ様の枠組みを用いている。
この研究は、教師なし学習においてラベル空間上の距離の概念を巻き込み、正対と負対のソフトな類似度をモデルに認識させることを目的としている。
その概念的単純さにもかかわらず、この解 -- 教師なし画像混合(Un-Mix)により、変換された入力と対応する新しいラベル空間からより微妙でより堅牢で一般化された表現を学習できることを実証的に示す。
論文 参考訳（メタデータ） (2020-03-11T17:59:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。