論文の概要: On Partial Prototype Collapse in the DINO Family of Self-Supervised Methods

• arxiv url: http://arxiv.org/abs/2410.14060v1
• Date: Thu, 17 Oct 2024 22:06:34 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-21 14:27:19.496534
• Title: On Partial Prototype Collapse in the DINO Family of Self-Supervised Methods
• Title（参考訳）: 自己監督法によるDINOファミリーの部分的原型崩壊について
• Authors: Hariprasath Govindarajan, Per Sidén, Jacob Roll, Fredrik Lindsten,
• Abstract要約: データサンプルをコンパクトな表現にマッピングする学習は、表現の崩壊問題につながる。 クラスタ上のデータポイントの分散を規則化することが、この問題を回避するための一般的な戦略です。 提案手法では, プロトタイプの崩壊問題をDINOファミリーに残しており, プロトタイプに重大な冗長性をもたらすことを示す。
• 参考スコア（独自算出の注目度）: 15.524425102344784
• License:
• Abstract: A prominent self-supervised learning paradigm is to model the representations as clusters, or more generally as a mixture model. Learning to map the data samples to compact representations and fitting the mixture model simultaneously leads to the representation collapse problem. Regularizing the distribution of data points over the clusters is the prevalent strategy to avoid this issue. While this is sufficient to prevent full representation collapse, we show that a partial prototype collapse problem still exists in the DINO family of methods, that leads to significant redundancies in the prototypes. Such prototype redundancies serve as shortcuts for the method to achieve a marginal latent class distribution that matches the prescribed prior. We show that by encouraging the model to use diverse prototypes, the partial prototype collapse can be mitigated. Effective utilization of the prototypes enables the methods to learn more fine-grained clusters, encouraging more informative representations. We demonstrate that this is especially beneficial when pre-training on a long-tailed fine-grained dataset.
• Abstract（参考訳）: 卓越した自己教師型学習パラダイムは、表現をクラスタとしてモデル化すること、あるいはより一般的には混合モデルとしてモデル化することである。 データサンプルをコンパクトな表現にマッピングし、混合モデルを同時に適合させることは、表現崩壊問題につながる。 クラスタ上のデータポイントの分散を規則化することが、この問題を回避するための一般的な戦略です。 これは完全な表現の崩壊を防ぐのに十分であるが、DINOファミリーの手法にはまだ部分的なプロトタイプの崩壊問題が存在し、プロトタイプにかなりの冗長性をもたらすことを示す。 このような試行錯誤は、所定の先行値に一致した限界潜在クラス分布を達成するための手法のショートカットとして機能する。 モデルに多種多様なプロトタイプの使用を促すことで、部分的なプロトタイプの崩壊を軽減できることを示す。 プロトタイプの効果的な利用により、より微細なクラスタを学習し、より情報的な表現を促進することができる。 長い尾の細かいデータセットで事前トレーニングを行う場合、特に有益であることを示す。

関連論文リスト

• Multi-Scale Grouped Prototypes for Interpretable Semantic Segmentation [7.372346036256517]
  意味的セグメンテーションを解釈可能なものにするための、有望なアプローチとして、プロトタイプ的な部分学習が登場している。 本稿では,多スケール画像表現を利用した意味的セグメンテーションの解釈手法を提案する。 Pascal VOC,Cityscapes,ADE20Kで行った実験により,提案手法はモデルの疎結合性を高め,既存のプロトタイプ手法よりも解釈可能性を高め,非解釈可能なモデルとの性能ギャップを狭めることを示した。
  論文  参考訳（メタデータ） (2024-09-14T17:52:59Z)
• Correlation Weighted Prototype-based Self-Supervised One-Shot Segmentation of Medical Images [12.365801596593936]
  医用画像セグメンテーションは、十分な注釈付きデータが入手できない領域の1つである。 スーパーピクセルから生成された擬似ラベルを用いた,プロトタイプベースのワンショット学習フレームワークを提案する。 提案手法は,最先端の手法と同等に機能することを示す。
  論文  参考訳（メタデータ） (2024-08-12T15:38:51Z)
• Mixed Prototype Consistency Learning for Semi-supervised Medical Image Segmentation [0.0]
  本稿では,Mixed Prototype Consistency Learning (MPCL) フレームワークを提案する。 Mean Teacherはラベル付きおよびラベルなしデータのプロトタイプを生成し、補助ネットワークはCutMixによって処理された混合データのための追加のプロトタイプを生成する。 各クラスの高品質なグローバルプロトタイプは、2つの強化されたプロトタイプを融合して形成され、一貫性学習に使用される隠れ埋め込みの分布を最適化する。
  論文  参考訳（メタデータ） (2024-04-16T16:51:12Z)
• Beyond Known Clusters: Probe New Prototypes for Efficient Generalized Class Discovery [23.359450657842686]
  Generalized Class Discovery (GCD) はラベル付きデータから学んだ知識に基づいてラベルを部分的にラベル付きデータに動的に割り当てることを目的としている。 本稿では,学習可能な潜在的なプロトタイプを導入し,クラスタプロトタイプを拡張する適応型探索機構を提案する。 我々の手法は、スタンフォード・カーズ・データセットの9.7%の差で、最も近い競合相手を上回っている。
  論文  参考訳（メタデータ） (2024-04-13T12:41:40Z)
• RanPAC: Random Projections and Pre-trained Models for Continual Learning [59.07316955610658]
  継続学習(CL)は、古いタスクを忘れずに、非定常データストリームで異なるタスク(分類など)を学習することを目的としている。 本稿では,事前学習モデルを用いたCLの簡潔かつ効果的なアプローチを提案する。
  論文  参考訳（メタデータ） (2023-07-05T12:49:02Z)
• Unicom: Universal and Compact Representation Learning for Image Retrieval [65.96296089560421]
  大規模LAION400Mを,CLIPモデルにより抽出された共同テキストと視覚的特徴に基づいて,100万の擬似クラスにクラスタリングする。 このような矛盾を緩和するために、我々は、マージンベースのソフトマックス損失を構築するために、ランダムにクラス間の部分的なプロトタイプを選択する。 提案手法は,複数のベンチマークにおいて,教師なし,教師なしの画像検索手法よりも優れていた。
  論文  参考訳（メタデータ） (2023-04-12T14:25:52Z)
• Rethinking Semantic Segmentation: A Prototype View [126.59244185849838]
  学習不可能なプロトタイプをベースとした非パラメトリックセマンティックセマンティックセマンティクスモデルを提案する。 我々のフレームワークは、いくつかのデータセットに対して魅力的な結果をもたらす。 この作業が、現在のデファクトセマンティックセグメンテーションモデル設計を再考することを期待しています。
  論文  参考訳（メタデータ） (2022-03-28T21:15:32Z)
• Dual Prototypical Contrastive Learning for Few-shot Semantic Segmentation [55.339405417090084]
  本稿では,FSSタスクに適合する2つの特徴的コントラスト学習手法を提案する。 第一の考え方は、プロトタイプの特徴空間におけるクラス内距離を減少させながら、クラス間距離を増やすことで、プロトタイプをより差別的にすることである。 提案手法は,PASCAL-5iおよびCOCO-20iデータセット上で,最先端のFSS手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2021-11-09T08:14:50Z)
• Learning Class-level Prototypes for Few-shot Learning [24.65076873131432]
  ほとんどラベル付きサンプルを使用して新しいカテゴリを認識することを目的としていない。 本稿では,少数のサポートデータから好適なプロトタイプを生成することを学べる,数ショット分類のためのフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-08-25T06:33:52Z)
• Attentional Prototype Inference for Few-Shot Segmentation [128.45753577331422]
  数発のセグメンテーションのための確率的潜在変数フレームワークである注意型プロトタイプ推論(API)を提案する。 我々は各オブジェクトカテゴリのプロトタイプを表現するためにグローバル潜在変数を定義し、確率分布としてモデル化する。 我々は4つのベンチマークで広範な実験を行い、提案手法は最先端のプロトタイプベースの手法よりも、少なくとも競争力があり、しばしば優れた性能が得られる。
  論文  参考訳（メタデータ） (2021-05-14T06:58:44Z)
• Visualising Deep Network's Time-Series Representations [93.73198973454944]
  機械学習モデルの普及にもかかわらず、多くの場合、モデルの内部で起きていることに関する洞察のないブラックボックスとして運用される。 本稿では,多次元時系列データの可視化に着目し,この問題に対処する手法を提案する。 高周波在庫市場データセットの実験は、この方法が迅速かつ識別可能な可視化を提供することを示しています。
  論文  参考訳（メタデータ） (2021-03-12T09:53:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。