論文の概要: KDC-MAE: Knowledge Distilled Contrastive Mask Auto-Encoder

• arxiv url: http://arxiv.org/abs/2411.12270v1
• Date: Tue, 19 Nov 2024 06:47:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-20 13:36:40.173169
• Title: KDC-MAE: Knowledge Distilled Contrastive Mask Auto-Encoder
• Title（参考訳）: KDC-MAE:知識蒸留コントラストマスクオートエンコーダ
• Authors: Maheswar Bora, Saurabh Atreya, Aritra Mukherjee, Abhijit Das,
• Abstract要約: この研究は思考を拡張し、自己監督学習(SSL)学習パラダイムへの道を示す。 本稿では,新たなSSLアーキテクチャKDC-MAEを提案する。 実験結果から,KD学習目標と対照的なマスキング対応は,複数のタスクに対して,より優れた学習を行うための手を借りていることがわかった。
• 参考スコア（独自算出の注目度）: 1.2694357491094965
• License:
• Abstract: In this work, we attempted to extend the thought and showcase a way forward for the Self-supervised Learning (SSL) learning paradigm by combining contrastive learning, self-distillation (knowledge distillation) and masked data modelling, the three major SSL frameworks, to learn a joint and coordinated representation. The proposed technique of SSL learns by the collaborative power of different learning objectives of SSL. Hence to jointly learn the different SSL objectives we proposed a new SSL architecture KDC-MAE, a complementary masking strategy to learn the modular correspondence, and a weighted way to combine them coordinately. Experimental results conclude that the contrastive masking correspondence along with the KD learning objective has lent a hand to performing better learning for multiple modalities over multiple tasks.
• Abstract（参考訳）: 本研究では,3つの主要なSSLフレームワークであるコントラスト学習,自己蒸留(知識蒸留),マスクデータモデリングを組み合わせて,協調的・協調的な表現を学習することで,自己指導学習(SSL)のパラダイムを推し進めることを試みた。 提案手法は、SSLの異なる学習目標の協調力によって学習される。 したがって、SSLの異なる目的を共同で学習するために、我々は新しいSSLアーキテクチャKDC-MAE、モジュール対応を学ぶための補完的なマスキング戦略、それらを協調的に組み合わせる重み付けされた方法を提案した。 実験結果から,KD学習目標と対照的なマスキング対応は,複数のタスクに対して,より優れた学習を行うための手を借りていることがわかった。

関連論文リスト

• CoMMIT: Coordinated Instruction Tuning for Multimodal Large Language Models [68.64605538559312]
  本稿では,MLLM命令のチューニングを理論的・経験的両面から解析する。 そこで本研究では,学習バランスを定量的に評価する尺度を提案する。 さらに,MLLMの生成分布の更新を促進する補助的損失正規化手法を提案する。
  論文  参考訳（メタデータ） (2024-07-29T23:18:55Z)
• Towards Spoken Language Understanding via Multi-level Multi-grained Contrastive Learning [50.1035273069458]
  音声言語理解(SLU)はタスク指向対話システムにおける中核的なタスクである。 本稿では,発話レベル,スロットレベル,単語レベルを含む3段階のコントラスト学習を実現するためのマルチレベルMMCLフレームワークを提案する。 本フレームワークは,2つの公開マルチインテリジェントSLUデータセットに対して,最先端の新たな結果を実現する。
  論文  参考訳（メタデータ） (2024-05-31T14:34:23Z)
• Link-Context Learning for Multimodal LLMs [40.923816691928536]
  リンクコンテキスト学習(LCL)はMLLMの学習能力を高めるために「原因と効果からの推論」を強調する。 LCLは、アナログだけでなく、データポイント間の因果関係も識別するようモデルに導出する。 本手法の評価を容易にするため,ISEKAIデータセットを提案する。
  論文  参考訳（メタデータ） (2023-08-15T17:33:24Z)
• Reverse Engineering Self-Supervised Learning [17.720366509919167]
  自己教師型学習(SSL)は機械学習の強力なツールである。 本稿ではSSL学習表現の詳細な実験的検討を行う。
  論文  参考訳（メタデータ） (2023-05-24T23:15:28Z)
• CMID: A Unified Self-Supervised Learning Framework for Remote Sensing Image Understanding [20.2438336674081]
  CMID(Contrastive Mask Image Distillation)は,大域的意味分離性と局所空間認識性の両方で表現を学習することができる。 CMIDは畳み込みニューラルネットワーク(CNN)と視覚変換器(ViT)の両方と互換性がある CMIDを用いて事前訓練されたモデルは、複数のダウンストリームタスクにおける他の最先端SSLメソッドよりも優れたパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2023-04-19T13:58:31Z)
• De-coupling and De-positioning Dense Self-supervised Learning [65.56679416475943]
  Dense Self-Supervised Learning (SSL)メソッドは、複数のオブジェクトでイメージを処理する際に、画像レベルの特徴表現を使用する際の制限に対処する。 本研究は, 層深度やゼロパディングに伴う受容野の増大によって生じる, 結合と位置バイアスに悩まされていることを示す。 我々はCOCOにおける本手法の利点と、オブジェクト分類、セマンティックセグメンテーション、オブジェクト検出のための新しい挑戦的ベンチマークであるOpenImage-MINIについて示す。
  論文  参考訳（メタデータ） (2023-03-29T18:07:25Z)
• Deciphering the Projection Head: Representation Evaluation Self-supervised Learning [6.375931203397043]
  自己教師付き学習(SSL)は、ラベルなしで固有の特徴を学習することを目的としている。 プロジェクションヘッドは、ダウンストリームタスクのパフォーマンスを改善する上で、常に重要な役割を果たす。 本稿では,表現と投影ベクトルとのショートカット接続を構築するSSLモデルにおける表現評価設計(RED)を提案する。
  論文  参考訳（メタデータ） (2023-01-28T13:13:53Z)
• Decoupled Adversarial Contrastive Learning for Self-supervised Adversarial Robustness [69.39073806630583]
  頑健な表現学習のための対人訓練(AT)と教師なし表現学習のための自己教師型学習(SSL)は2つの活発な研究分野である。 Decoupled Adversarial Contrastive Learning (DeACL) と呼ばれる2段階のフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-07-22T06:30:44Z)
• Concept Representation Learning with Contrastive Self-Supervised Learning [0.6091702876917281]
  概念指向ディープラーニング(CODL)は、ディープラーニングの今後の課題を満たすための一般的なアプローチである。 コントラスト型自己教師型学習(CSSL)を用いた概念表現学習の諸側面について論じる。
  論文  参考訳（メタデータ） (2021-12-10T17:16:23Z)
• ReSSL: Relational Self-Supervised Learning with Weak Augmentation [68.47096022526927]
  自己教師付き学習は、データアノテーションなしで視覚表現を学ぶことに成功しました。 本稿では,異なるインスタンス間の関係をモデル化して表現を学習する新しいリレーショナルSSLパラダイムを提案する。 提案したReSSLは,性能とトレーニング効率の両面で,従来の最先端アルゴリズムよりも大幅に優れています。
  論文  参考訳（メタデータ） (2021-07-20T06:53:07Z)
• Adversarial Self-Supervised Learning for Semi-Supervised 3D Action Recognition [123.62183172631443]
  本稿では,SSLと半教師付きスキームを緊密に結合する新しいフレームワークであるAdversarial Self-Supervised Learning (ASSL)を紹介する。 具体的には,3次元動作認識のための学習表現の識別能力を向上させる効果的なSSL方式を設計する。
  論文  参考訳（メタデータ） (2020-07-12T08:01:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。