論文の概要: CBM: Curriculum by Masking

• arxiv url: http://arxiv.org/abs/2407.05193v1
• Date: Sat, 6 Jul 2024 21:35:18 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-09 20:46:54.653724
• Title: CBM: Curriculum by Masking
• Title（参考訳）: CBM:マスキングによるカリキュラム
• Authors: Andrei Jarca, Florinel-Alin Croitoru, Radu Tudor Ionescu,
• Abstract要約: Curriculum by Masking (CBM)は、物体の認識と検出のための最先端のカリキュラム学習戦略である。 CBMはパッチ(トークン)マスキングによって、簡単にハードなトレーニングスケジュールを作成する。 我々はCBMとカリキュラムベースの教育制度を比較した。
• 参考スコア（独自算出の注目度）: 27.320746607958142
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We propose Curriculum by Masking (CBM), a novel state-of-the-art curriculum learning strategy that effectively creates an easy-to-hard training schedule via patch (token) masking, offering significant accuracy improvements over the conventional training regime and previous curriculum learning (CL) methods. CBM leverages gradient magnitudes to prioritize the masking of salient image regions via a novel masking algorithm and a novel masking block. Our approach enables controlling sample difficulty via the patch masking ratio, generating an effective easy-to-hard curriculum by gradually introducing harder samples as training progresses. CBM operates with two easily configurable parameters, i.e. the number of patches and the curriculum schedule, making it a versatile curriculum learning approach for object recognition and detection. We conduct experiments with various neural architectures, ranging from convolutional networks to vision transformers, on five benchmark data sets (CIFAR-10, CIFAR-100, ImageNet, Food-101 and PASCAL VOC), to compare CBM with conventional as well as curriculum-based training regimes. Our results reveal the superiority of our strategy compared with the state-of-the-art curriculum learning regimes. We also observe improvements in transfer learning contexts, where CBM surpasses previous work by considerable margins in terms of accuracy. We release our code for free non-commercial use at https://github.com/CroitoruAlin/CBM.
• Abstract（参考訳）: 本稿では,従来の学習体系と従来のカリキュラム学習(CL)手法に比較して,大幅な精度向上を実現し,パッチ(Token)マスキングによる訓練スケジュールを効果的に作成する,最先端のカリキュラム学習戦略であるCBMを提案する。 CBMは勾配のマグニチュードを利用して、新しいマスキングアルゴリズムと新しいマスキングブロックによって、正常な画像領域のマスキングを優先順位付けする。 提案手法は, パッチマスキング比によってサンプルの難易度を制御し, 学習が進むにつれて, より厳密なサンプルを徐々に導入し, 有効なカリキュラムを生成する。 CBMは、パッチの数とカリキュラムスケジュールの2つの簡単に設定可能なパラメータで動作し、オブジェクト認識と検出のための汎用的なカリキュラム学習アプローチとなっている。 畳み込みネットワークからビジョントランスフォーマーまで,5つのベンチマークデータセット(CIFAR-10, CIFAR-100, ImageNet, Food-101, PASCAL VOC)を用いて,CBMと従来のカリキュラムベースのトレーニングシステムとの比較実験を行った。 その結果,最先端のカリキュラム学習体制と比較して,戦略の優位性を明らかにした。 また,CBMが先行研究を精度面でかなり上回り,伝達学習の文脈の改善も観察した。 当社のコードは、https://github.com/CroitoruAlin/CBMで無償の非商用利用のためにリリースしています。

関連論文リスト

• Understanding Masked Autoencoders From a Local Contrastive Perspective [80.57196495601826]
  Masked AutoEncoder (MAE)は、シンプルだが効果的なマスキングと再構築戦略によって、自己指導型学習の分野に革命をもたらした。 そこで我々は,MaEの再構成的側面とコントラスト的側面の両方を解析するために,ローカルコントラストMAEと呼ばれる新しい経験的枠組みを導入する。
  論文  参考訳（メタデータ） (2023-10-03T12:08:15Z)
• CL-MAE: Curriculum-Learned Masked Autoencoders [49.24994655813455]
  本稿では,自己指導型再建作業の複雑さを継続的に増大させるために,マスキング戦略を更新するカリキュラム学習手法を提案する。 我々は、ImageNet上でCL-MAE(Curriculum-Learned Masked Autoencoder)をトレーニングし、MAEよりも優れた表現学習能力を示すことを示す。
  論文  参考訳（メタデータ） (2023-08-31T09:13:30Z)
• MOCA: Self-supervised Representation Learning by Predicting Masked Online Codebook Assignments [72.6405488990753]
  自己教師付き学習は、ビジョントランスフォーマーネットワークの欲求を軽減できる。 所望のプロパティを統一する単段および単段のMOCAを提案する。 我々は,様々な評価プロトコルにおいて,低照度設定と強力な実験結果に対して,最先端の新たな結果を得る。
  論文  参考訳（メタデータ） (2023-07-18T15:46:20Z)
• Multi-Level Contrastive Learning for Dense Prediction Task [59.591755258395594]
  本稿では,高密度予測タスクのための領域レベルの特徴表現を効率よく学習するための,MCL(Multi-Level Contrastive Learning for Dense Prediction Task)を提案する。 本手法は, 局所化, スケールの整合性, 認識の3つの要因に動機付けられている。 提案手法は,様々なデータセットにおける最近の最先端の手法よりも有意なマージンを有する。
  論文  参考訳（メタデータ） (2023-04-04T17:59:04Z)
• Improving self-supervised representation learning via sequential adversarial masking [12.176299580413097]
  マスキングベースのプレテキストタスクはNLPを超えて拡張され、コンピュータビジョンにおいて有用な事前学習の目的として機能する。 敵に異なる制約で連続的にマスクを生成する新しい枠組みを提案する。
  論文  参考訳（メタデータ） (2022-12-16T04:25:43Z)
• Efficient Pre-training of Masked Language Model via Concept-based Curriculum Masking [12.865594826802363]
  Masked Language Modeling (MLM) は、効果的な表現の事前学習に広く用いられているが、かなりの訓練コストがかかる。 本稿では,言語モデルを効率的に事前学習するための概念ベースカリキュラムマスキング(CCM)手法を提案する。
  論文  参考訳（メタデータ） (2022-12-15T05:01:59Z)
• Learning Better Masking for Better Language Model Pre-training [80.31112722910787]
  Masked Language Modelingは、事前学習言語モデル(PrLM)の目的を認知するために広く使われている。 PrLMは、固定マスキング比を適用し、トレーニング全体を通して異なる内容が同じ確率でマスクされるランダム-トークンマスキング戦略を採用するのが一般的である。 本研究では,異なるトレーニング段階におけるマスキング率とマスキング内容の調整を適応的に行う2つのマスク手法を提案する。
  論文  参考訳（メタデータ） (2022-08-23T08:27:52Z)
• Curriculum Meta-Learning for Few-shot Classification [1.5039745292757671]
  本稿では,最新のメタ学習技術に適用可能なカリキュラム学習フレームワークの適応性を提案する。 数発の画像分類タスクにおけるMAMLアルゴリズムによる実験は,カリキュラムの学習フレームワークにおいて有意な効果を示した。
  論文  参考訳（メタデータ） (2021-12-06T10:29:23Z)
• Spatial Transformer Networks for Curriculum Learning [6.107943372244105]
  我々は,Spatial Transformer Networks (STNs) からインスピレーションを得て,容易にハードなカリキュラムを構築する。 乱雑なMNISTとFashion-MNISTデータセットについて様々な実験を行った。
  論文  参考訳（メタデータ） (2021-08-22T12:04:55Z)
• Incremental Embedding Learning via Zero-Shot Translation [65.94349068508863]
  現在の最先端のインクリメンタル学習手法は、従来の分類ネットワークにおける破滅的な忘れ方問題に取り組む。 ゼロショット変換クラス増分法(ZSTCI)と呼ばれる新しい組込みネットワークのクラス増分法を提案する。 さらに、ZSTCIを既存の正規化ベースのインクリメンタル学習手法と組み合わせることで、組み込みネットワークの性能をより向上させることができる。
  論文  参考訳（メタデータ） (2020-12-31T08:21:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。