論文の概要: Domain-Agnostic Clustering with Self-Distillation

• arxiv url: http://arxiv.org/abs/2111.12170v1
• Date: Tue, 23 Nov 2021 21:56:54 GMT
• ステータス: 処理完了
• システム内更新日: 2021-11-25 22:58:32.663018
• Title: Domain-Agnostic Clustering with Self-Distillation
• Title（参考訳）: 自己蒸留によるドメイン非依存クラスタリング
• Authors: Mohammed Adnan, Yani A. Ioannou, Chuan-Yung Tsai, Graham W. Taylor
• Abstract要約: ドメインに依存しないクラスタリングのための自己蒸留に基づく新しいアルゴリズムを提案する。 我々は,知識蒸留が教師なし表現学習を改善することを実証的に実証した。 予備実験は、自己蒸留がDeepCluster-v2の収束を改善することを示唆している。
• 参考スコア（独自算出の注目度）: 21.58831206727797
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent advancements in self-supervised learning have reduced the gap between supervised and unsupervised representation learning. However, most self-supervised and deep clustering techniques rely heavily on data augmentation, rendering them ineffective for many learning tasks where insufficient domain knowledge exists for performing augmentation. We propose a new self-distillation based algorithm for domain-agnostic clustering. Our method builds upon the existing deep clustering frameworks and requires no separate student model. The proposed method outperforms existing domain agnostic (augmentation-free) algorithms on CIFAR-10. We empirically demonstrate that knowledge distillation can improve unsupervised representation learning by extracting richer `dark knowledge' from the model than using predicted labels alone. Preliminary experiments also suggest that self-distillation improves the convergence of DeepCluster-v2.
• Abstract（参考訳）: 近年の自己教師型学習の進歩は、教師なし表現学習と教師なし表現学習のギャップを減らしている。 しかし、ほとんどの自己教師あり、深層クラスタリング技術はデータ拡張に大きく依存しており、強化を実行するためにドメイン知識が不十分な多くの学習タスクでは有効ではない。 ドメイン非依存クラスタリングのための新しい自己蒸留型アルゴリズムを提案する。 本手法は,既存の深層クラスタリングフレームワークを基盤とし,個別の学習モデルを必要としない。 提案手法は,CIFAR-10上で既存のドメイン非依存(拡張不要)アルゴリズムより優れている。 モデルからより豊かな「暗黒知識」を抽出することで,知識蒸留が教師なし表現学習を改善することを実証的に実証した。 予備実験は、自己蒸留がDeepCluster-v2の収束を改善することを示唆している。

関連論文リスト

• Counterfactual Explanations for Clustering Models [11.40145394568897]
  クラスタリングアルゴリズムは、理解が難しい複雑な最適化プロセスに依存している。 本稿では,クラスタリングアルゴリズムを非現実的文で説明するための,モデルに依存しない新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-09-19T10:05:58Z)
• GCC: Generative Calibration Clustering [55.44944397168619]
  本稿では,特徴学習と拡張をクラスタリングに組み込む新しいGCC法を提案する。 まず,実検体と実検体間の固有関係を識別する識別的特徴アライメント機構を開発する。 第二に、より信頼性の高いクラスタ割り当てを生成するための自己教師付きメトリック学習を設計する。
  論文  参考訳（メタデータ） (2024-04-14T01:51:11Z)
• A Probabilistic Model Behind Self-Supervised Learning [53.64989127914936]
  自己教師付き学習(SSL)では、アノテートラベルなしで補助的なタスクを通じて表現が学習される。 自己教師型学習のための生成潜在変数モデルを提案する。 対照的な方法を含む識別的SSLのいくつかのファミリーは、表現に匹敵する分布を誘導することを示した。
  論文  参考訳（メタデータ） (2024-02-02T13:31:17Z)
• Adversarial Auto-Augment with Label Preservation: A Representation Learning Principle Guided Approach [95.74102207187545]
  本研究では,事前自由な自律的データ拡張の目的が表現学習の原則から導出可能であることを示す。 そこで我々は,既存の手法にシームレスに最適化し,シームレスに統合できる目的に対して,実用的なサロゲートを提案する。
  論文  参考訳（メタデータ） (2022-11-02T02:02:51Z)
• A Deep Dive into Deep Cluster [0.2578242050187029]
  DeepClusterは、ビジュアル表現のシンプルでスケーラブルな教師なし事前トレーニングである。 本稿では,DeepClusterの収束と性能が,畳み込み層のランダムフィルタの品質と選択されたクラスタ数の相互作用に依存することを示す。
  論文  参考訳（メタデータ） (2022-07-24T22:55:09Z)
• Chaos is a Ladder: A New Theoretical Understanding of Contrastive Learning via Augmentation Overlap [64.60460828425502]
  コントラスト学習の下流性能に関する新たな保証を提案する。 我々の新しい理論は、攻撃的なデータ強化の下で、異なるクラス内サンプルのサポートがより重なり合うという知見に基づいている。 本稿では、下流の精度とよく一致した教師なしモデル選択距離ARCを提案する。
  論文  参考訳（メタデータ） (2022-03-25T05:36:26Z)
• On Generalizing Beyond Domains in Cross-Domain Continual Learning [91.56748415975683]
  ディープニューラルネットワークは、新しいタスクを学んだ後、これまで学んだ知識の破滅的な忘れ込みに悩まされることが多い。 提案手法は、ドメインシフト中の新しいタスクを精度良く学習することで、DomainNetやOfficeHomeといった挑戦的なデータセットで最大10%向上する。
  論文  参考訳（メタデータ） (2022-03-08T09:57:48Z)
• Deep Attention-guided Graph Clustering with Dual Self-supervision [49.040136530379094]
  デュアル・セルフ・スーパービジョン(DAGC)を用いたディープアテンション誘導グラフクラスタリング法を提案する。 我々は,三重項Kulback-Leibler分散損失を持つソフトな自己スーパービジョン戦略と,擬似的な監督損失を持つハードな自己スーパービジョン戦略からなる二重自己スーパービジョンソリューションを開発する。 提案手法は6つのベンチマークデータセットにおける最先端の手法より一貫して優れている。
  論文  参考訳（メタデータ） (2021-11-10T06:53:03Z)
• Contrastive Neural Processes for Self-Supervised Learning [1.8059331230167266]
  コントラスト学習とニューラルプロセスを組み合わせた,新たな自己教師型学習フレームワークを提案する。 これは、時系列予測を実行するために、最近のニューラルネットワークプロセスの進歩に依存している。 従来の自己教師型手法とは異なり、拡張パイプラインはタスクに依存しないため、様々なアプリケーションでうまく機能する。
  論文  参考訳（メタデータ） (2021-10-24T21:01:27Z)
• Distill on the Go: Online knowledge distillation in self-supervised learning [1.1470070927586016]
  最近の研究では、より広範でより深いモデルは、小さなモデルよりも自己監督学習の恩恵を受けることが示されている。 単段階オンライン知識蒸留を用いた自己指導型学習パラダイムであるDistill-on-the-Go(DoGo)を提案する。 以上の結果から,ノイズラベルや限定ラベルの存在下でのパフォーマンス向上がみられた。
  論文  参考訳（メタデータ） (2021-04-20T09:59:23Z)
• Consensus Clustering With Unsupervised Representation Learning [4.164845768197489]
  我々はBootstrap Your Own Latent(BYOL)のクラスタリング能力について検討し、BYOLを使って学習した機能がクラスタリングに最適でないことを観察する。 本稿では,新たなコンセンサスクラスタリングに基づく損失関数を提案するとともに,クラスタリング能力を改善し,類似のクラスタリングに基づく手法より優れたBYOLをエンド・ツー・エンドで学習する。
  論文  参考訳（メタデータ） (2020-10-03T01:16:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。