Fugu-MT 論文翻訳(概要): MV-MR: multi-views and multi-representations for self-supervised learning and knowledge distillation

論文の概要: MV-MR: multi-views and multi-representations for self-supervised learning and knowledge distillation

arxiv url: http://arxiv.org/abs/2303.12130v2
Date: Sun, 2 Jun 2024 15:50:37 GMT
ステータス: 処理完了
システム内更新日: 2024-06-04 23:35:51.755352
Title: MV-MR: multi-views and multi-representations for self-supervised learning and knowledge distillation
Title（参考訳）: MV-MR:自己指導型学習・知識蒸留のための多視点・多表現
Authors: Vitaliy Kinakh, Mariia Drozdova, Slava Voloshynovskiy,
Abstract要約: マルチビューと多表現(MV-MR)に基づく自己教師型学習と知識蒸留の新しい手法を提案する。 MV-MRは、拡張ビューと非拡張ビューからの学習可能な埋め込み間の依存に基づいている。提案手法は,効率的な自己監督型分類とモデル非依存型知識蒸留に利用できることを示す。
参考スコア（独自算出の注目度）: 4.156535226615695
License: http://creativecommons.org/licenses/by/4.0/
Abstract: We present a new method of self-supervised learning and knowledge distillation based on the multi-views and multi-representations (MV-MR). The MV-MR is based on the maximization of dependence between learnable embeddings from augmented and non-augmented views, jointly with the maximization of dependence between learnable embeddings from augmented view and multiple non-learnable representations from non-augmented view. We show that the proposed method can be used for efficient self-supervised classification and model-agnostic knowledge distillation. Unlike other self-supervised techniques, our approach does not use any contrastive learning, clustering, or stop gradients. MV-MR is a generic framework allowing the incorporation of constraints on the learnable embeddings via the usage of image multi-representations as regularizers. Along this line, knowledge distillation is considered a particular case of such a regularization. MV-MR provides the state-of-the-art performance on the STL10 and ImageNet-1K datasets among non-contrastive and clustering-free methods. We show that a lower complexity ResNet50 model pretrained using proposed knowledge distillation based on the CLIP ViT model achieves state-of-the-art performance on STL10 linear evaluation. The code is available at: https://github.com/vkinakh/mv-mr
Abstract（参考訳）: 本稿では,多視点・多表現(MV-MR)に基づく自己教師型学習と知識蒸留の新しい手法を提案する。 MV-MRは、拡張ビューから学習可能埋め込みへの依存の最大化と、拡張ビューから学習可能埋め込みへの依存の最大化と、拡張ビューから学習可能埋め込みへの依存の最大化に基づいている。提案手法は,効率的な自己監督型分類とモデル非依存型知識蒸留に利用できることを示す。他の自己教師型手法とは異なり、我々の手法は対照的な学習、クラスタリング、あるいは停止勾配を一切用いない。 MV-MRは、画像多表現を正規化子として使用することにより、学習可能な埋め込みに対する制約を組み込むことができる汎用フレームワークである。この線に沿って、知識蒸留はそのような正規化の特別な場合と考えられる。 MV-MRは、STL10とImageNet-1Kデータセットの非コントラストおよびクラスタリングフリーメソッドにおける最先端のパフォーマンスを提供する。本稿では,CLIP ViTモデルに基づく知識蒸留を用いて事前学習したResNet50モデルを用いて,STL10線形評価における最先端性能を実現する。コードは、https://github.com/vkinakh/mv-mrで入手できる。

関連論文リスト

A Probabilistic Model Behind Self-Supervised Learning [53.64989127914936]
自己教師付き学習(SSL)では、アノテートラベルなしで補助的なタスクを通じて表現が学習される。自己教師型学習のための生成潜在変数モデルを提案する。対照的な方法を含む識別的SSLのいくつかのファミリーは、表現に匹敵する分布を誘導することを示した。
論文参考訳（メタデータ） (2024-02-02T13:31:17Z)
Towards Generalized Multi-stage Clustering: Multi-view Self-distillation [10.368796552760571]
既存のマルチステージクラスタリング手法は、独立して複数のビューから健全な特徴を学習し、クラスタリングタスクを実行する。本稿では,多視点自己蒸留(DistilMVC)を導入し,ラベル分布の暗黒知識を抽出する多段階深層MVCフレームワークを提案する。
論文参考訳（メタデータ） (2023-10-29T03:35:34Z)
MinT: Boosting Generalization in Mathematical Reasoning via Multi-View Fine-Tuning [53.90744622542961]
数学領域における推論は、小言語モデル(LM)にとって重要な課題である。多様なアノテーションスタイルで既存の数学的問題データセットを利用する新しい手法を提案する。実験結果から,LLaMA-7Bモデルが先行手法より優れていることが示された。
論文参考訳（メタデータ） (2023-07-16T05:41:53Z)
Multimodal Distillation for Egocentric Action Recognition [41.821485757189656]
エゴセントリックなビデオ理解は、手動物体の相互作用をモデル化する。 CNNやVision Transformersなどの標準モデルは、入力としてRGBフレームを受信する。しかし、それらの性能は補足的手がかりを提供する追加の入力モダリティを利用することによりさらに向上する。この研究の目的は、RGBフレームのみを推論時に入力として使用しながら、そのようなマルチモーダルアプローチの性能を維持することである。
論文参考訳（メタデータ） (2023-07-14T17:07:32Z)
Semi-supervised multi-view concept decomposition [30.699496411869834]
概念因子化(CF)は、マルチビュークラスタリングタスクにおいて優れた性能を示している。そこで我々は,SMVCFという,新しい半教師付き多視点概念分解モデルを提案する。 SMVCFの性能を評価するために,4つの多様なデータセットの実験を行った。
論文参考訳（メタデータ） (2023-07-03T10:50:44Z)
Multi-View Class Incremental Learning [57.14644913531313]
マルチビュー学習(MVL)は、下流タスクのパフォーマンスを改善するためにデータセットの複数の視点から情報を統合することで大きな成功を収めている。本稿では,複数視点クラスインクリメンタルラーニング(MVCIL)と呼ばれる新しいパラダイムについて考察する。
論文参考訳（メタデータ） (2023-06-16T08:13:41Z)
Unifying Synergies between Self-supervised Learning and Dynamic Computation [53.66628188936682]
SSLとDCのパラダイム間の相互作用に関する新しい視点を提示する。 SSL設定において、スクラッチから高密度かつゲートされたサブネットワークを同時に学習することは可能であることを示す。密集エンコーダとゲートエンコーダの事前学習における共進化は、良好な精度と効率のトレードオフをもたらす。
論文参考訳（メタデータ） (2023-01-22T17:12:58Z)
KD-MVS: Knowledge Distillation Based Self-supervised Learning for Multi-view Stereo [18.52931570395043]
改良型マルチビューステレオ (MVS) 法は, 大規模地下深度収集の難しさに悩まされている。 KD-MVSと呼ばれる知識蒸留に基づくMVSのための新しい自己教師型トレーニングパイプラインを提案する。
論文参考訳（メタデータ） (2022-07-21T11:41:53Z)
Domain-Agnostic Clustering with Self-Distillation [21.58831206727797]
ドメインに依存しないクラスタリングのための自己蒸留に基づく新しいアルゴリズムを提案する。我々は,知識蒸留が教師なし表現学習を改善することを実証的に実証した。予備実験は、自己蒸留がDeepCluster-v2の収束を改善することを示唆している。
論文参考訳（メタデータ） (2021-11-23T21:56:54Z)
Knowledge Distillation Meets Self-Supervision [109.6400639148393]
知識蒸留では、教師ネットワークから「暗黒の知識」を抽出し、学生ネットワークの学習を指導する。一見異なる自己超越的なタスクが、単純だが強力なソリューションとして機能することを示します。これらの自己超越信号の類似性を補助的タスクとして活用することにより、隠された情報を教師から生徒に効果的に転送することができる。
論文参考訳（メタデータ） (2020-06-12T12:18:52Z)
Learning From Multiple Experts: Self-paced Knowledge Distillation for Long-tailed Classification [106.08067870620218]
我々は,LFME(Learning From Multiple Experts)と呼ばれる自己評価型知識蒸留フレームワークを提案する。提案するLFMEフレームワークは,複数の'Experts'からの知識を集約して,統一された学生モデルを学ぶ。提案手法は,最先端の手法に比べて優れた性能が得られることを示す。
論文参考訳（メタデータ） (2020-01-06T12:57:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。