論文の概要: Three Guidelines You Should Know for Universally Slimmable Self-Supervised Learning

• arxiv url: http://arxiv.org/abs/2303.06870v1
• Date: Mon, 13 Mar 2023 05:37:46 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-14 16:25:08.626614
• Title: Three Guidelines You Should Know for Universally Slimmable Self-Supervised Learning
• Title（参考訳）: 普遍的にスリムな自己指導型学習のための3つのガイドライン
• Authors: Yun-Hao Cao and Peiqin Sun and Shuchang Zhou
• Abstract要約: 我々は,複数のデバイスにまたがって自己教師付きモデルを展開するための精度・効率のトレードオフを実現するために,普遍的にスリム化可能な自己教師付き学習(US3L)を提案する。 我々は,学習過程が頻繁に崩壊するにつれて,自己指導型学習のネットワークへの直接的な適応が誤っていることを観察する。 我々は、この時間的一貫性を統一的な視点から確保するために、損失設計のための3つのガイドラインを提案する。
• 参考スコア（独自算出の注目度）: 4.631627683014556
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We propose universally slimmable self-supervised learning (dubbed as US3L) to achieve better accuracy-efficiency trade-offs for deploying self-supervised models across different devices. We observe that direct adaptation of self-supervised learning (SSL) to universally slimmable networks misbehaves as the training process frequently collapses. We then discover that temporal consistent guidance is the key to the success of SSL for universally slimmable networks, and we propose three guidelines for the loss design to ensure this temporal consistency from a unified gradient perspective. Moreover, we propose dynamic sampling and group regularization strategies to simultaneously improve training efficiency and accuracy. Our US3L method has been empirically validated on both convolutional neural networks and vision transformers. With only once training and one copy of weights, our method outperforms various state-of-the-art methods (individually trained or not) on benchmarks including recognition, object detection and instance segmentation. Our code is available at https://github.com/megvii-research/US3L-CVPR2023.
• Abstract（参考訳）: 我々は,複数のデバイスにまたがって自己教師付きモデルを展開するための精度・効率のトレードオフを実現するために,普遍的にスリム化可能な自己教師付き学習(US3L)を提案する。 我々は,トレーニングプロセスが頻繁に崩壊するにつれて,自己教師あり学習(SSL)のネットワークへの直接的な適応が誤っていることを観察する。 そこで我々は,普遍的にスリム化可能なネットワークにおいてsslが成功するための鍵となる,時間的一貫性のあるガイダンスを見出し,その時間的一貫性を統一的な勾配の観点から確保するための3つのガイドラインを提案する。 さらに,トレーニング効率と精度を同時に向上するための動的サンプリングとグループ正規化手法を提案する。 us3l法は畳み込みニューラルネットワークと視覚トランスフォーマーの両方で実証的に検証されている。 1回のトレーニングと1回の重み付けしか行わず、認識、オブジェクト検出、インスタンスセグメンテーションを含むベンチマークにおいて、最先端の手法(個別に訓練するか否かに関わらず)より優れている。 私たちのコードはhttps://github.com/megvii-research/us3l-cvpr2023で利用可能です。

関連論文リスト

• Unified Speech Recognition: A Single Model for Auditory, Visual, and Audiovisual Inputs [73.74375912785689]
  本稿では,音声認識システムのための統合学習戦略を提案する。 3つのタスクの1つのモデルをトレーニングすることで、VSRとAVSRの性能が向上することを示す。 また,非ラベル標本をより効果的に活用するために,強欲な擬似ラベリング手法を導入する。
  論文  参考訳（メタデータ） (2024-11-04T16:46:53Z)
• Towards Seamless Adaptation of Pre-trained Models for Visual Place Recognition [72.35438297011176]
  視覚的位置認識のための事前学習モデル(VPR)のシームレスな適応を実現する新しい手法を提案する。 具体的には、地域を識別するための有意義なランドマークに焦点を当てたグローバルな特徴とローカルな特徴の両方を得るために、ハイブリッド適応法を設計する。 実験結果から,本手法はトレーニングデータやトレーニング時間が少なく,最先端の手法よりも優れていることがわかった。
  論文  参考訳（メタデータ） (2024-02-22T12:55:01Z)
• Semi-Supervised Class-Agnostic Motion Prediction with Pseudo Label Regeneration and BEVMix [59.55173022987071]
  クラス非依存動作予測のための半教師あり学習の可能性について検討する。 我々のフレームワークは一貫性に基づく自己学習パラダイムを採用しており、ラベルのないデータからモデルを学習することができる。 本手法は,弱さと完全教師付き手法に匹敵する性能を示す。
  論文  参考訳（メタデータ） (2023-12-13T09:32:50Z)
• Unsupervised 3D registration through optimization-guided cyclical self-training [71.75057371518093]
  最先端のディープラーニングベースの登録方法は、3つの異なる学習戦略を採用している。 本稿では,教師なし登録のための自己指導型学習パラダイムを提案する。 腹部, 肺の登録方法の評価を行い, 測定基準に基づく監督を一貫して上回り, 最先端の競争相手よりも優れていた。
  論文  参考訳（メタデータ） (2023-06-29T14:54:10Z)
• Multi-network Contrastive Learning Based on Global and Local Representations [4.190134425277768]
  本稿では,グローバルおよびローカル表現に基づくマルチネットワークコントラスト学習フレームワークを提案する。 複数のネットワークを通じて自己指導型コントラスト学習のためのグローバル・ローカル特徴情報を導入する。 また、コントラストに使用されるサンプルの数を増やし、モデルのトレーニング効率を向上させる。
  論文  参考訳（メタデータ） (2023-06-28T05:30:57Z)
• Deep Active Learning Using Barlow Twins [0.0]
  畳み込みニューラルネットワーク(CNN)の一般化性能は、トレーニング画像の量、品質、多様性に大きく左右される。 タスクのアクティブラーニングの目標は、ラベルのないプールから最も情報に富んだサンプルを引き出すことである。 本稿では,すべてのデータセットに対する能動的学習手法であるBarlowTwins(DALBT)を用いたDeep Active Learningを提案する。
  論文  参考訳（メタデータ） (2022-12-30T12:39:55Z)
• SSMTL++: Revisiting Self-Supervised Multi-Task Learning for Video Anomaly Detection [108.57862846523858]
  自己教師型マルチタスク学習フレームワークを再考し、元の手法にいくつかのアップデートを提案する。 マルチヘッド・セルフアテンション・モジュールを導入することで3次元畳み込みバックボーンを近代化する。 モデルをさらに改良するために,セグメントマップの予測などの自己指導型学習タスクについて検討した。
  論文  参考訳（メタデータ） (2022-07-16T19:25:41Z)
• Open-Set Semi-Supervised Learning for 3D Point Cloud Understanding [62.17020485045456]
  半教師付き学習(SSL)では、ラベル付きデータと同じ分布からラベル付きデータが引き出されることが一般的である。 サンプル重み付けによりラベルなしデータを選択的に活用することを提案する。
  論文  参考訳（メタデータ） (2022-05-02T16:09:17Z)
• Biologically Plausible Training Mechanisms for Self-Supervised Learning in Deep Networks [14.685237010856953]
  我々は,深層ネットワークにおける自己教師付き学習(SSL)のための生物学的に妥当なトレーニング機構を開発する。 バックパゲーションの2つの選択肢のうちの1つを用いて学習を行うことができることを示す。
  論文  参考訳（メタデータ） (2021-09-30T12:56:57Z)
• Gram Regularization for Multi-view 3D Shape Retrieval [3.655021726150368]
  本稿では,グラム正規化という新しい正規化用語を提案する。 重みカーネル間の分散を強要することにより、正規化器は識別的特徴を抽出するのに役立つ。 提案したグラム正規化はデータ独立であり、ベルやホイッスルを使わずに安定かつ迅速に収束することができる。
  論文  参考訳（メタデータ） (2020-11-16T05:37:24Z)
• Auto-Ensemble: An Adaptive Learning Rate Scheduling based Deep Learning Model Ensembling [11.324407834445422]
  本稿では,ディープラーニングモデルのチェックポイントを収集し,それらを自動的にアンサンブルする自動アンサンブル(AE)を提案する。 この手法の利点は、一度のトレーニングで学習率をスケジューリングすることで、モデルを様々な局所最適化に収束させることである。
  論文  参考訳（メタデータ） (2020-03-25T08:17:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。