論文の概要: DMT: Comprehensive Distillation with Multiple Self-supervised Teachers

• arxiv url: http://arxiv.org/abs/2312.11938v1
• Date: Tue, 19 Dec 2023 08:31:30 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-20 16:22:34.419546
• Title: DMT: Comprehensive Distillation with Multiple Self-supervised Teachers
• Title（参考訳）: DMT : 複数の教師による包括的蒸留
• Authors: Yuang Liu, Jing Wang, Qiang Zhou, Fan Wang, Jun Wang, Wei Zhang
• Abstract要約: プレトレーニングモデル圧縮のためのDMT(Comprehensive Distillation with Multiple Self-supervised Teachers)を提案する。 評価実験の結果,提案手法は最先端の競合相手を大きく上回っていることがわかった。
• 参考スコア（独自算出の注目度）: 27.037140667247208
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Numerous self-supervised learning paradigms, such as contrastive learning and masked image modeling, have been proposed to acquire powerful and general representations from unlabeled data. However, these models are commonly pretrained within their specific framework alone, failing to consider the complementary nature of visual representations. To tackle this issue, we introduce Comprehensive Distillation with Multiple Self-supervised Teachers (DMT) for pretrained model compression, which leverages the strengths of multiple off-the-shelf self-supervised models. Our experimental results on prominent benchmark datasets exhibit that the proposed method significantly surpasses state-of-the-art competitors while retaining favorable efficiency metrics. On classification tasks, our DMT framework utilizing three different self-supervised ViT-Base teachers enhances the performance of both small/tiny models and the base model itself. For dense tasks, DMT elevates the AP/mIoU of standard SSL models on MS-COCO and ADE20K datasets by 4.0%.
• Abstract（参考訳）: コントラスト学習やマスク画像モデリングなど,多くの自己指導型学習パラダイムが,ラベルのないデータから強力で汎用的な表現を取得するために提案されている。 しかしながら、これらのモデルは特定のフレームワーク内でのみ事前訓練されており、視覚表現の相補的な性質を考慮できない。 この課題に対処するために,本研究では,既訓練モデル圧縮のための包括的自己教師型教員 (DMT) を導入した。 評価実験の結果,提案手法は最先端の競争相手をはるかに上回り,効率の指標は良好であった。 分類タスクにおいて,3つの教師によるVT-Base教師を用いたDMTフレームワークは,小・小モデルとベースモデル自体の性能を向上させる。 密集タスクでは、DMTはMS-COCOおよびADE20Kデータセット上の標準SSLモデルのAP/mIoUを4.0%上昇させる。

関連論文リスト

• PMT: Progressive Mean Teacher via Exploring Temporal Consistency for Semi-Supervised Medical Image Segmentation [51.509573838103854]
  医用画像セグメンテーションのための半教師付き学習フレームワークであるプログレッシブ平均教師(PMT)を提案する。 我々のPMTは、トレーニングプロセスにおいて、堅牢で多様な特徴を学習することで、高忠実な擬似ラベルを生成する。 CT と MRI の異なる2つのデータセットに対する実験結果から,本手法が最先端の医用画像分割法より優れていることが示された。
  論文  参考訳（メタデータ） (2024-09-08T15:02:25Z)
• Interactive DualChecker for Mitigating Hallucinations in Distilling Large Language Models [7.632217365130212]
  大規模言語モデル(LLM)は、さまざまな機械学習(ML)タスクにまたがる例外的な機能を示している。 これらのモデルは、特に不完全な知識を持つ領域において幻覚を生み出すことができる。 幻覚を緩和し,教師モデルと学生モデルの両方のパフォーマンスを向上させるために設計された,革新的なフレームワークであるDualCheckerを紹介する。
  論文  参考訳（メタデータ） (2024-08-22T12:04:04Z)
• Multi Teacher Privileged Knowledge Distillation for Multimodal Expression Recognition [58.41784639847413]
  人間の感情は、表情、声調、ボディランゲージ、生理的信号を通じて伝達され知覚される複雑な現象である。 本稿では, 学生に蒸留する前に, 教師の多様な表現を並べ合わせるために, 自己蒸留による多教師PKD(MT-PKDOT)法を提案する。 その結果,提案手法はSOTA PKD法より優れていることがわかった。
  論文  参考訳（メタデータ） (2024-08-16T22:11:01Z)
• EMR-Merging: Tuning-Free High-Performance Model Merging [55.03509900949149]
  Elect, Mask & Rescale-Merging (EMR-Merging) は既存のマージ手法と比較して優れた性能を示した。 EMR-Mergingはチューニング不要なので、データアベイラビリティや追加のトレーニングは必要ありません。
  論文  参考訳（メタデータ） (2024-05-23T05:25:45Z)
• Unlock the Power: Competitive Distillation for Multi-Modal Large Language Models [17.25135606956287]
  競合型マルチモーダル蒸留フレームワーク(CoMD)は,教師モデルと学生モデル間の双方向フィードバックをキャプチャする。 多様なデータセットを実験的に分析した結果,我々の知識伝達手法は学生モデルの性能を継続的に改善することがわかった。
  論文  参考訳（メタデータ） (2023-11-14T14:49:46Z)
• StableLLaVA: Enhanced Visual Instruction Tuning with Synthesized Image-Dialogue Data [129.92449761766025]
  本稿では,視覚的インストラクションチューニングのための画像と対話を同期的に合成する新しいデータ収集手法を提案する。 このアプローチは生成モデルのパワーを活用し、ChatGPTとテキスト・ツー・イメージ生成モデルの能力とを結合する。 本研究は,各種データセットを対象とした総合的な実験を含む。
  論文  参考訳（メタデータ） (2023-08-20T12:43:52Z)
• KDSM: An uplift modeling framework based on knowledge distillation and sample matching [2.036924568983982]
  昇降モデリングは、個人に対する治療効果を推定することを目的としている。 木に基づく手法は増分と一般化に適しており、ニューラルネットベースのモデルは絶対値と精度の予測に優れている。 本稿では,知識蒸留とサンプルマッチング(KDSM)に基づくアップリフトモデリングフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-03-06T09:15:28Z)
• Self-Supervised Monocular Depth Estimation with Self-Reference Distillation and Disparity Offset Refinement [15.012694052674899]
  自己教師付き単分子深度推定を改善するための2つの新しいアイデアを提案する。 我々は,教師が訓練の時期に合わせて更新したパラメータ最適化モデルを用いて,さらなる指導を行う。 我々は,高次特徴量と低次特徴量とのコンテキスト整合性を利用して,マルチスケールの相違オフセットを得る。
  論文  参考訳（メタデータ） (2023-02-20T06:28:52Z)
• CTDS: Centralized Teacher with Decentralized Student for Multi-Agent Reinforcement Learning [114.69155066932046]
  この作品は小説を提案している。 教師モデルと学生モデルからなる分散学生(C TDS)フレームワーク。 具体的には、教師モデルは、グローバルな観察で条件付けられた個別のQ値を学ぶことで、チームの報酬を割り当てる。 学生モデルは、部分的な観察を利用して、教師モデルによって推定されるQ値を近似する。
  論文  参考訳（メタデータ） (2022-03-16T06:03:14Z)
• Multi-Task Self-Training for Learning General Representations [97.01728635294879]
  マルチタスク・セルフトレーニング(MuST)は、独立した専門教師モデルにおける知識を活用して、一人の一般学生モデルを訓練する。 MuSTはラベルなしまたは部分的にラベル付けされたデータセットでスケーラブルで、大規模データセットのトレーニングにおいて、特別な教師付きモデルとセルフ教師付きモデルの両方を上回っている。
  論文  参考訳（メタデータ） (2021-08-25T17:20:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。