論文の概要: Cluster-aware Semi-supervised Learning: Relational Knowledge
Distillation Provably Learns Clustering
- arxiv url: http://arxiv.org/abs/2307.11030v1
- Date: Thu, 20 Jul 2023 17:05:51 GMT
- ステータス: 処理完了
- システム内更新日: 2023-07-21 12:02:16.526896
- Title: Cluster-aware Semi-supervised Learning: Relational Knowledge
Distillation Provably Learns Clustering
- Title（参考訳）: クラスタ対応半教師付き学習:クラスタリングを学習する関係知識蒸留
- Authors: Yijun Dong, Kevin Miller, Qi Lei, Rachel Ward
- Abstract要約: 我々はリレーショナル知識蒸留(RKD)の理論的理解に向けて最初の一歩を踏み出した。
半教師付き学習では,クラスタ認識学習の一般的な枠組みを通じて,RKDのラベル効率を実証する。
正確なクラスタリングを学習する共通の効果にもかかわらず、RKDは"グローバル"な視点を促進する。
- 参考スコア（独自算出の注目度）: 16.648807951391102
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Despite the empirical success and practical significance of (relational)
knowledge distillation that matches (the relations of) features between teacher
and student models, the corresponding theoretical interpretations remain
limited for various knowledge distillation paradigms. In this work, we take an
initial step toward a theoretical understanding of relational knowledge
distillation (RKD), with a focus on semi-supervised classification problems. We
start by casting RKD as spectral clustering on a population-induced graph
unveiled by a teacher model. Via a notion of clustering error that quantifies
the discrepancy between the predicted and ground truth clusterings, we
illustrate that RKD over the population provably leads to low clustering error.
Moreover, we provide a sample complexity bound for RKD with limited unlabeled
samples. For semi-supervised learning, we further demonstrate the label
efficiency of RKD through a general framework of cluster-aware semi-supervised
learning that assumes low clustering errors. Finally, by unifying data
augmentation consistency regularization into this cluster-aware framework, we
show that despite the common effect of learning accurate clusterings, RKD
facilitates a "global" perspective through spectral clustering, whereas
consistency regularization focuses on a "local" perspective via expansion.
- Abstract（参考訳）: 教師と生徒のモデル間の特徴(関係)にマッチする(関係)知識蒸留の実証的成功と実用的意義にもかかわらず、対応する理論解釈は様々な知識蒸留パラダイムに限定されている。
本研究では, 半教師付き分類問題に着目し, 関係知識蒸留(RKD)の理論的理解に向けて最初の一歩を踏み出した。
まず,教師モデルによって示される集団誘発グラフ上で,rkdをスペクトルクラスタリングとしてキャスティングすることから始める。
予測値と基底値のクラスタリングのばらつきを定量化するクラスタリングエラーの概念を用いて,人口を超えたrkdがクラスタリングエラーの低減につながることを示す。
さらに,非ラベルサンプルを限定してrkdに限定したサンプル複雑性を提供する。
半教師付き学習では,クラスタ認識型半教師付き学習の一般的なフレームワークを通じて,クラスタリングエラーを想定するRKDのラベル効率をさらに向上する。
最後に、このクラスタ対応フレームワークにデータの強化一貫性の規則化を統一することにより、正確なクラスタリングを学習する共通の効果にもかかわらず、rkdはスペクトルクラスタリングを通じて「グローバル」な視点を促進するが、一貫性の規則化は拡張を通じた「ローカル」な視点に焦点を当てる。
関連論文リスト
- Self-Supervised Graph Embedding Clustering [70.36328717683297]
K-means 1-step dimensionality reduction clustering method は,クラスタリングタスクにおける次元性の呪いに対処する上で,いくつかの進歩をもたらした。
本稿では,K-meansに多様体学習を統合する統一フレームワークを提案する。
論文 参考訳（メタデータ） (2024-09-24T08:59:51Z) - Fairness in Visual Clustering: A Novel Transformer Clustering Approach [32.806921406869996]
まず、クラスタの純度の観点から、ディープクラスタリングモデルにおける人口統計バイアスを評価する。
フェアネスの側面を維持するために、すべてのクラスタに対して純粋性一貫性を促進するために、新しい損失関数が導入された。
本稿では,複数クラスタ間の相関を計測する新しいアテンション機構であるクロスアテンションを提案する。
論文 参考訳（メタデータ） (2023-04-14T21:59:32Z) - Cluster-aware Contrastive Learning for Unsupervised Out-of-distribution
Detection [0.0]
教師なしアウト・オブ・ディストリビューション(OOD)検出は、ラベル情報なしでトレーニングデータの分布外に落下するサンプルを分離することを目的としている。
本稿では,インスタンスレベルの情報と意味レベルの情報の両方を考慮した,教師なしOOD検出のためのクラスタ対応コントラスト学習(CCL)フレームワークを提案する。
論文 参考訳（メタデータ） (2023-02-06T07:21:03Z) - Modeling Multiple Views via Implicitly Preserving Global Consistency and
Local Complementarity [61.05259660910437]
複数の視点から表現を学習するために,グローバルな一貫性と相補性ネットワーク(CoCoNet)を提案する。
グローバルな段階では、重要な知識はビュー間で暗黙的に共有され、そのような知識を捕捉するためのエンコーダの強化は、学習された表現の識別性を向上させることができる。
最後に、局所的な段階において、横断的な識別的知識を結合する相補的要素を提案し、また、エンコーダが視点的識別性だけでなく、横断的な相補的情報も学習するように誘導する。
論文 参考訳（メタデータ） (2022-09-16T09:24:00Z) - Hybrid Dynamic Contrast and Probability Distillation for Unsupervised
Person Re-Id [109.1730454118532]
非監督的人物再識別(Re-Id)は、リードワールドビデオ監視システムにおける実践的応用により注目されている。
本稿では,ハイブリッド動的クラスタコントラストと確率蒸留アルゴリズムを提案する。
教師なしRe-Id問題を局所-言語的ダイナミックコントラスト学習と自己教師付き確率蒸留の枠組みに統合する。
論文 参考訳（メタデータ） (2021-09-29T02:56:45Z) - Complementary Calibration: Boosting General Continual Learning with
Collaborative Distillation and Self-Supervision [47.374412281270594]
General Continual Learning (GCL)は、非独立および同一の分散ストリームデータから学習することを目的としている。
破滅的な忘れ方にとって,関係性や特徴の偏りが重要な問題であることが明らかとなった。
補足モデルの出力と特徴をマイニングして補足的(CoCa)フレームワークを提案する。
論文 参考訳（メタデータ） (2021-09-03T06:35:27Z) - You Never Cluster Alone [150.94921340034688]
我々は、主流のコントラスト学習パラダイムをクラスタレベルのスキームに拡張し、同じクラスタに属するすべてのデータが統一された表現に寄与する。
分類変数の集合をクラスタ化代入信頼度として定義し、インスタンスレベルの学習トラックとクラスタレベルの学習トラックを関連付ける。
代入変数を再パラメータ化することで、TCCはエンドツーエンドでトレーニングされる。
論文 参考訳（メタデータ） (2021-06-03T14:59:59Z) - Deep Clustering by Semantic Contrastive Learning [67.28140787010447]
Semantic Contrastive Learning (SCL) と呼ばれる新しい変種を紹介します。
従来のコントラスト学習とディープクラスタリングの両方の特徴を探求する。
コントラスト学習と深層クラスタリングの強みを統一的なアプローチで増幅することができる。
論文 参考訳（メタデータ） (2021-03-03T20:20:48Z) - Robust Unsupervised Learning via L-Statistic Minimization [38.49191945141759]
教師なし学習に焦点をあて、この問題に対する一般的なアプローチを提示する。
重要な仮定は、摂動分布は、許容モデルの特定のクラスに対するより大きな損失によって特徴付けられることである。
教師なし学習におけるいくつかのポピュラーモデルに対する提案基準に関して,一様収束境界を証明した。
論文 参考訳（メタデータ） (2020-12-14T10:36:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。