論文の概要: Co-training $2^L$ Submodels for Visual Recognition

• arxiv url: http://arxiv.org/abs/2212.04884v1
• Date: Fri, 9 Dec 2022 14:38:09 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-12 15:30:26.914714
• Title: Co-training $2^L$ Submodels for Visual Recognition
• Title（参考訳）: 視覚認識のための2^l$サブモデルの共同学習
• Authors: Hugo Touvron, Matthieu Cord, Maxime Oquab, Piotr Bojanowski, Jakob Verbeek, Herv\'e J\'egou
• Abstract要約: サブモデルコトレーニングは、コトレーニング、自己蒸留、深さに関連する正規化手法である。 サブモデルのコトレーニングは,画像分類やセマンティックセグメンテーションなどの認識タスクのためのバックボーンのトレーニングに有効であることを示す。
• 参考スコア（独自算出の注目度）: 67.02999567435626
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We introduce submodel co-training, a regularization method related to co-training, self-distillation and stochastic depth. Given a neural network to be trained, for each sample we implicitly instantiate two altered networks, ``submodels'', with stochastic depth: we activate only a subset of the layers. Each network serves as a soft teacher to the other, by providing a loss that complements the regular loss provided by the one-hot label. Our approach, dubbed cosub, uses a single set of weights, and does not involve a pre-trained external model or temporal averaging. Experimentally, we show that submodel co-training is effective to train backbones for recognition tasks such as image classification and semantic segmentation. Our approach is compatible with multiple architectures, including RegNet, ViT, PiT, XCiT, Swin and ConvNext. Our training strategy improves their results in comparable settings. For instance, a ViT-B pretrained with cosub on ImageNet-21k obtains 87.4% top-1 acc. @448 on ImageNet-val.
• Abstract（参考訳）: 本稿では,コトレーニング,自己蒸留,確率深度に関連する正規化手法であるサブモデルコトレーニングを紹介する。 トレーニングすべきニューラルネットワークが与えられた場合、各サンプルに対して、暗黙的に2つの変更されたネットワークである ``submodels'' を確率的な深さでインスタンス化する。 各ネットワークは、一方のホットラベルが提供する通常の損失を補完する損失を提供することで、他方のソフトな教師として機能する。 われわれのアプローチはcosubと呼ばれ、1組の重みを使い、事前訓練された外部モデルや時間平均化を伴わない。 画像分類やセマンティクスセグメンテーションなどの認識タスクにおいて,サブモデル協調学習がバックボーンのトレーニングに有効であることを示す。 私たちのアプローチは、RegNet、ViT、PiT、XCiT、Swin、ConvNextなど、複数のアーキテクチャと互換性があります。 トレーニング戦略は、その結果を同等の設定で改善します。 例えば、ImageNet-21kでcosubで事前訓練されたViT-Bは87.4%のトップ-1ccを得る。 imagenet-valの@448です。

関連論文リスト

• Intra-task Mutual Attention based Vision Transformer for Few-Shot Learning [12.5354658533836]
  人間は、ほんのわずかの例に晒された後に、新しい、目に見えない画像を正確に分類する能力を持っている。 人工ニューラルネットワークモデルでは、限られたサンプルを持つ2つのイメージを区別する最も関連性の高い特徴を決定することが課題である。 本稿では,サポートとクエリサンプルをパッチに分割するタスク内相互注意手法を提案する。
  論文  参考訳（メタデータ） (2024-05-06T02:02:57Z)
• EfficientTrain: Exploring Generalized Curriculum Learning for Training Visual Backbones [80.662250618795]
  本稿では視覚バックボーン(例えば視覚変換器)の効率的なトレーニングのための新しいカリキュラム学習手法を提案する。 オフザシェルフ方式として、様々な人気モデルのウォールタイムトレーニングコストを、精度を犠牲にすることなく、ImageNet-1K/22Kで1.5倍に削減する。
  論文  参考訳（メタデータ） (2022-11-17T17:38:55Z)
• Prompt Tuning for Parameter-efficient Medical Image Segmentation [79.09285179181225]
  2つの医用画像データセットのセマンティックセグメンテーションにパラメータ効率が良いが効果的な適応を実現するために,いくつかのコントリビューションを提案し,検討する。 我々はこのアーキテクチャを、オンライン生成プロトタイプへの割り当てに基づく専用密集型セルフスーパービジョンスキームで事前訓練する。 得られたニューラルネットワークモデルにより、完全に微調整されたモデルとパラメータに適応したモデルとのギャップを緩和できることを実証する。
  論文  参考訳（メタデータ） (2022-11-16T21:55:05Z)
• Self-Supervised Learning for Binary Networks by Joint Classifier Training [11.612308609123566]
  本稿では,バイナリネットワークのための自己教師付き学習手法を提案する。 バイナリネットワークのより良いトレーニングのために,特徴類似性損失,損失項の動的バランススキーム,マルチステージトレーニングの修正を提案する。 実証実験により、BSSLは、下流タスクにおけるバイナリネットワークの自己教師付き学習ベースラインよりも優れ、特定のタスクにおける教師付き事前学習よりも優れています。
  論文  参考訳（メタデータ） (2021-10-17T15:38:39Z)
• ResMLP: Feedforward networks for image classification with data-efficient training [73.26364887378597]
  画像分類のための多層パーセプトロン上に構築されたアーキテクチャであるResMLPを提案する。 Timmライブラリと事前トレーニングされたモデルに基づいたコードを共有します。
  論文  参考訳（メタデータ） (2021-05-07T17:31:44Z)
• Jigsaw Clustering for Unsupervised Visual Representation Learning [68.09280490213399]
  本稿では,新しいjigsawクラスタリング・プレテキストタスクを提案する。 本手法は画像内情報と画像間情報の両方を利用する。 トレーニングバッチの半分しか使用されていない場合、コントラスト学習方法にも匹敵します。
  論文  参考訳（メタデータ） (2021-04-01T08:09:26Z)
• Background Splitting: Finding Rare Classes in a Sea of Background [55.03789745276442]
  我々は,少数の稀なカテゴリの画像分類のための,高精度な深層モデルの訓練という現実的な問題に焦点をあてる。 これらのシナリオでは、ほとんどの画像はデータセットの背景カテゴリに属します(データセットの95%は背景です)。 非バランスなデータセットをトレーニングするための標準的な微調整アプローチと最先端アプローチの両方が、この極端な不均衡の存在下で正確な深層モデルを生成していないことを実証する。
  論文  参考訳（メタデータ） (2020-08-28T23:05:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。