論文の概要: MV-MR: multi-views and multi-representations for self-supervised
learning and knowledge distillation
- arxiv url: http://arxiv.org/abs/2303.12130v1
- Date: Tue, 21 Mar 2023 18:40:59 GMT
- ステータス: 処理完了
- システム内更新日: 2023-03-23 16:25:12.880344
- Title: MV-MR: multi-views and multi-representations for self-supervised
learning and knowledge distillation
- Title（参考訳）: mv-mr: 自己教師付き学習と知識蒸留のためのマルチビューとマルチ表現
- Authors: Vitaliy Kinakh, Mariia Drozdova, Slava Voloshynovskiy
- Abstract要約: マルチビューと多表現(MV-MR)に基づく自己教師型学習と知識蒸留の新しい手法を提案する。
MV-MRは、拡張ビューと非拡張ビューからの学習可能な埋め込み間の依存に基づいている。
提案手法は,効率的な自己監督型分類とモデル非依存型知識蒸留に利用できることを示す。
- 参考スコア（独自算出の注目度）: 6.363960793878317
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We present a new method of self-supervised learning and knowledge
distillation based on the multi-views and multi-representations (MV-MR). The
MV-MR is based on the maximization of dependence between learnable embeddings
from augmented and non-augmented views, jointly with the maximization of
dependence between learnable embeddings from augmented view and multiple
non-learnable representations from non-augmented view. We show that the
proposed method can be used for efficient self-supervised classification and
model-agnostic knowledge distillation. Unlike other self-supervised techniques,
our approach does not use any contrastive learning, clustering, or stop
gradients. MV-MR is a generic framework allowing the incorporation of
constraints on the learnable embeddings via the usage of image
multi-representations as regularizers. Along this line, knowledge distillation
is considered a particular case of such a regularization. MV-MR provides the
state-of-the-art performance on the STL10 and ImageNet-1K datasets among
non-contrastive and clustering-free methods. We show that a lower complexity
ResNet50 model pretrained using proposed knowledge distillation based on the
CLIP ViT model achieves state-of-the-art performance on STL10 linear
evaluation. The code is available at: https://github.com/vkinakh/mv-mr
- Abstract（参考訳）: 本稿では,多視点・多表現(MV-MR)に基づく自己教師型学習と知識蒸留の新しい手法を提案する。
MV-MRは、拡張ビューから学習可能埋め込みへの依存の最大化と、拡張ビューから学習可能埋め込みへの依存の最大化と、拡張ビューから学習可能埋め込みへの依存の最大化に基づいている。
提案手法は,効率的な自己監督型分類とモデル非依存型知識蒸留に利用できることを示す。
他の自己教師型手法とは異なり、我々の手法は対照的な学習、クラスタリング、あるいは停止勾配を一切用いない。
MV-MRは、画像多表現を正規化子として使用することにより、学習可能な埋め込みに対する制約を組み込むことができる汎用フレームワークである。
この線に沿って、知識蒸留はそのような正規化の特別な場合と考えられる。
MV-MRは、STL10とImageNet-1Kデータセットの非コントラストおよびクラスタリングフリーメソッドにおける最先端のパフォーマンスを提供する。
クリップvitモデルに基づく知識蒸留を前提とした低複雑性resnet50モデルは,stl10線形評価において最先端の性能を実現する。
コードは、https://github.com/vkinakh/mv-mrで入手できる。
関連論文リスト
- Multi-Level Decoupled Relational Distillation for Heterogeneous Architectures [6.231548250160585]
MLDR-KD(Multi-Level Decoupled Knowledge Distillation)は、CodeAR-100で最大4.86%、Tiny-ImageNetデータセットで2.78%向上した。
論文 参考訳（メタデータ） (2025-02-10T06:41:20Z) - Balanced Multi-view Clustering [56.17836963920012]
マルチビュークラスタリング(MvC)は、さまざまなビューからの情報を統合して、基盤となるデータ構造をキャプチャするモデルの能力を高めることを目的としている。
MvCで広く使われているジョイントトレーニングパラダイムは、多視点情報を十分に活用していない可能性がある。
本稿では,ビュー固有のコントラスト正規化(VCR)を導入し,各ビューの最適化を最適化する新しいマルチビュークラスタリング(BMvC)手法を提案する。
論文 参考訳（メタデータ） (2025-01-05T14:42:47Z) - A Probabilistic Model Behind Self-Supervised Learning [53.64989127914936]
自己教師付き学習(SSL)では、アノテートラベルなしで補助的なタスクを通じて表現が学習される。
自己教師型学習のための生成潜在変数モデルを提案する。
対照的な方法を含む識別的SSLのいくつかのファミリーは、表現に匹敵する分布を誘導することを示した。
論文 参考訳（メタデータ） (2024-02-02T13:31:17Z) - Towards Generalized Multi-stage Clustering: Multi-view Self-distillation [10.368796552760571]
既存のマルチステージクラスタリング手法は、独立して複数のビューから健全な特徴を学習し、クラスタリングタスクを実行する。
本稿では,多視点自己蒸留(DistilMVC)を導入し,ラベル分布の暗黒知識を抽出する多段階深層MVCフレームワークを提案する。
論文 参考訳（メタデータ） (2023-10-29T03:35:34Z) - MinT: Boosting Generalization in Mathematical Reasoning via Multi-View
Fine-Tuning [53.90744622542961]
数学領域における推論は、小言語モデル(LM)にとって重要な課題である。
多様なアノテーションスタイルで既存の数学的問題データセットを利用する新しい手法を提案する。
実験結果から,LLaMA-7Bモデルが先行手法より優れていることが示された。
論文 参考訳（メタデータ） (2023-07-16T05:41:53Z) - Multimodal Distillation for Egocentric Action Recognition [41.821485757189656]
エゴセントリックなビデオ理解は、手動物体の相互作用をモデル化する。
CNNやVision Transformersなどの標準モデルは、入力としてRGBフレームを受信する。
しかし、それらの性能は補足的手がかりを提供する追加の入力モダリティを利用することによりさらに向上する。
この研究の目的は、RGBフレームのみを推論時に入力として使用しながら、そのようなマルチモーダルアプローチの性能を維持することである。
論文 参考訳（メタデータ） (2023-07-14T17:07:32Z) - Semi-supervised multi-view concept decomposition [30.699496411869834]
概念因子化(CF)は、マルチビュークラスタリングタスクにおいて優れた性能を示している。
そこで我々は,SMVCFという,新しい半教師付き多視点概念分解モデルを提案する。
SMVCFの性能を評価するために,4つの多様なデータセットの実験を行った。
論文 参考訳（メタデータ） (2023-07-03T10:50:44Z) - Multi-View Class Incremental Learning [57.14644913531313]
マルチビュー学習(MVL)は、下流タスクのパフォーマンスを改善するためにデータセットの複数の視点から情報を統合することで大きな成功を収めている。
本稿では,複数視点クラスインクリメンタルラーニング(MVCIL)と呼ばれる新しいパラダイムについて考察する。
論文 参考訳（メタデータ） (2023-06-16T08:13:41Z) - Unifying Synergies between Self-supervised Learning and Dynamic
Computation [53.66628188936682]
SSLとDCのパラダイム間の相互作用に関する新しい視点を提示する。
SSL設定において、スクラッチから高密度かつゲートされたサブネットワークを同時に学習することは可能であることを示す。
密集エンコーダとゲートエンコーダの事前学習における共進化は、良好な精度と効率のトレードオフをもたらす。
論文 参考訳（メタデータ） (2023-01-22T17:12:58Z) - KD-MVS: Knowledge Distillation Based Self-supervised Learning for
Multi-view Stereo [18.52931570395043]
改良型マルチビューステレオ (MVS) 法は, 大規模地下深度収集の難しさに悩まされている。
KD-MVSと呼ばれる知識蒸留に基づくMVSのための新しい自己教師型トレーニングパイプラインを提案する。
論文 参考訳（メタデータ） (2022-07-21T11:41:53Z) - Learning From Multiple Experts: Self-paced Knowledge Distillation for
Long-tailed Classification [106.08067870620218]
我々は,LFME(Learning From Multiple Experts)と呼ばれる自己評価型知識蒸留フレームワークを提案する。
提案するLFMEフレームワークは,複数の'Experts'からの知識を集約して,統一された学生モデルを学ぶ。
提案手法は,最先端の手法に比べて優れた性能が得られることを示す。
論文 参考訳（メタデータ） (2020-01-06T12:57:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。