論文の概要: Contrastive Knowledge Amalgamation for Unsupervised Image Classification

• arxiv url: http://arxiv.org/abs/2307.14781v1
• Date: Thu, 27 Jul 2023 11:21:14 GMT
• ステータス: 処理完了
• システム内更新日: 2023-07-28 14:53:16.647976
• Title: Contrastive Knowledge Amalgamation for Unsupervised Image Classification
• Title（参考訳）: 教師なし画像分類のためのコントラスト的知識融合
• Authors: Shangde Gao, Yichao Fu, Ke Liu, Yuqiang Han
• Abstract要約: Contrastive Knowledge Amalgamation (CKA) は、複数の教師モデルから協調目的を扱うためのコンパクトな学生モデルを学ぶことを目的としている。 クラス内モデルとクラス間モデルとの対比損失は、異なるクラスの表現間の距離を拡大するように設計されている。 このアライメント損失は、共通表現空間における教師/学生モデルのサンプルレベルの分布差を最小限に抑えるために導入された。
• 参考スコア（独自算出の注目度）: 2.6392087010521728
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Knowledge amalgamation (KA) aims to learn a compact student model to handle the joint objective from multiple teacher models that are are specialized for their own tasks respectively. Current methods focus on coarsely aligning teachers and students in the common representation space, making it difficult for the student to learn the proper decision boundaries from a set of heterogeneous teachers. Besides, the KL divergence in previous works only minimizes the probability distribution difference between teachers and the student, ignoring the intrinsic characteristics of teachers. Therefore, we propose a novel Contrastive Knowledge Amalgamation (CKA) framework, which introduces contrastive losses and an alignment loss to achieve intra-class cohesion and inter-class separation.Contrastive losses intra- and inter- models are designed to widen the distance between representations of different classes. The alignment loss is introduced to minimize the sample-level distribution differences of teacher-student models in the common representation space.Furthermore, the student learns heterogeneous unsupervised classification tasks through soft targets efficiently and flexibly in the task-level amalgamation. Extensive experiments on benchmarks demonstrate the generalization capability of CKA in the amalgamation of specific task as well as multiple tasks. Comprehensive ablation studies provide a further insight into our CKA.
• Abstract（参考訳）: ナレッジ・アマルガメーション (KA) は, それぞれのタスクに特化している複数の教師モデルから, 共同目的を扱うためのコンパクトな学生モデルを学ぶことを目的としている。 現在の方法は,共通表現空間における教師と生徒の疎結合に重点が置かれており,不均一な教師群から適切な判断境界を学習することが困難になっている。 また,従来の研究におけるKLのばらつきは,教師と生徒の確率分布の差異を最小限に抑えるだけであり,教師の本質的な特性を無視している。 そこで本研究では,クラス間結合とクラス間分離を実現するために,コントラスト損失とアライメント損失を導入する新しいコントラスト知識融合(cka)フレームワークを提案する。 このアライメント損失は、共通表現空間における教師/学生モデルのサンプルレベル分布の差異を最小限に抑えるために導入され、さらに、学生はタスクレベルアマルガメーションにおいて、ソフトターゲットによる異種非教師付き分類タスクを効率的に柔軟に学習する。 ベンチマークに関する大規模な実験は、特定のタスクと複数のタスクのアマルガメーションにおけるCKAの一般化能力を示す。 包括的アブレーション研究は、我々のckaに対するさらなる洞察を与える。

関連論文リスト

• TAS: Distilling Arbitrary Teacher and Student via a Hybrid Assistant [52.0297393822012]
  異質な教師と学生間の機能的知識の伝達を容易にするために,橋梁としてアシスタントモデルを導入する。 提案した設計原理の中では, クロスアーキテクチャ帰納バイアスとモジュール関数の利点を組み合わせたアシスタントモデルが提案されている。 提案手法は, CNN, ViT, 空間KDの同種モデルペアと任意の異種組み合わせを用いて評価する。
  論文  参考訳（メタデータ） (2024-10-16T08:02:49Z)
• Speculative Knowledge Distillation: Bridging the Teacher-Student Gap Through Interleaved Sampling [81.00825302340984]
  本研究では,高品質なトレーニングデータを生成するために,投機的知識蒸留(SKD)を導入する。 SKDでは、学生はトークンを提案し、教師はそれ自身の分布に基づいて低いランクのトークンを置き換える。 翻訳,要約,数学,指示文など,各種テキスト生成タスクにおけるSKDの評価を行った。
  論文  参考訳（メタデータ） (2024-10-15T06:51:25Z)
• Competitive Ensembling Teacher-Student Framework for Semi-Supervised Left Atrium MRI Segmentation [8.338801567668233]
  半教師付き学習は、専門家から豊富な注釈を取得する必要性を効果的に軽減するため、医療画像のセグメンテーションが大幅に進歩している。 本稿では,3次元MR画像から左心房分節を半教師する簡易で効率的な競争力のある教員養成フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-10-21T09:23:34Z)
• Hybrid Distillation: Connecting Masked Autoencoders with Contrastive Learners [102.20090188997301]
  コントラスト学習(CL)とマスクド画像モデリング(MIM)の強みを組み合わせたモデルを得る方法について検討する。 識別と多様性の両立を図るため, 単純かつ効果的なハイブリッド蒸留戦略を提案する。 実験の結果、Hybrid Distillは異なるベンチマークで優れた性能が得られることが証明された。
  論文  参考訳（メタデータ） (2023-06-28T02:19:35Z)
• Knowledge Distillation from A Stronger Teacher [44.11781464210916]
  本稿では,より強い教師を駆使したDIST法を提案する。 経験的に、学生と教師の予測の相違は、かなり厳しいものになりがちである。 提案手法は単純かつ実用的であり,様々なアーキテクチャに適応できることを示す。
  論文  参考訳（メタデータ） (2022-05-21T08:30:58Z)
• Generalized Knowledge Distillation via Relationship Matching [53.69235109551099]
  よく訓練されたディープニューラルネットワーク(いわゆる「教師」)の知識は、同様のタスクを学ぶのに有用である。 知識蒸留は教師から知識を抽出し、対象モデルと統合する。 教師に学生と同じ仕事をさせる代わりに、一般のラベル空間から訓練を受けた教師の知識を借りる。
  論文  参考訳（メタデータ） (2022-05-04T06:49:47Z)
• Faculty Distillation with Optimal Transport [53.69235109551099]
  本稿では,教師の課題と生徒の課題を最適な輸送手段で結びつけることを提案する。 ラベル空間間の意味的関係に基づき、出力分布間の支持ギャップを埋めることができる。 各種条件下での実験は,提案手法の簡潔さと汎用性を示すものである。
  論文  参考訳（メタデータ） (2022-04-25T09:34:37Z)
• Weakly Supervised Semantic Segmentation via Alternative Self-Dual Teaching [82.71578668091914]
  本稿では,分類とマスク・リファインメント・コンポーネントを統合された深層モデルに組み込む,コンパクトな学習フレームワークを確立する。 本稿では,高品質な知識相互作用を促進するために,新たな自己双対学習(ASDT)機構を提案する。
  論文  参考訳（メタデータ） (2021-12-17T11:56:56Z)
• Complementary Calibration: Boosting General Continual Learning with Collaborative Distillation and Self-Supervision [47.374412281270594]
  General Continual Learning (GCL)は、非独立および同一の分散ストリームデータから学習することを目的としている。 破滅的な忘れ方にとって,関係性や特徴の偏りが重要な問題であることが明らかとなった。 補足モデルの出力と特徴をマイニングして補足的(CoCa)フレームワークを提案する。
  論文  参考訳（メタデータ） (2021-09-03T06:35:27Z)
• Active Imitation Learning from Multiple Non-Deterministic Teachers: Formulation, Challenges, and Algorithms [3.6702509833426613]
  我々は,対話コストを最小に抑えつつ,複数の非決定論的教師を模倣する学習の問題を定式化する。 まず,教師の方針の連続表現を学習することで,そのような分布を効率的にモデル化し,推定する一般的な枠組みを提案する。 次に,学習者と教師のインタラクションコストを削減するための能動的学習アルゴリズムである,能動的パフォーマンスに基づく模倣学習(APIL)を開発した。
  論文  参考訳（メタデータ） (2020-06-14T03:06:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。