論文の概要: Why Prototypes Collapse: Diagnosing and Preventing Partial Collapse in Prototypical Self-Supervised Learning

• arxiv url: http://arxiv.org/abs/2510.20108v1
• Date: Thu, 23 Oct 2025 01:25:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-25 03:08:17.119334
• Title: Why Prototypes Collapse: Diagnosing and Preventing Partial Collapse in Prototypical Self-Supervised Learning
• Title（参考訳）: 原型崩壊の理由:原型的自己監督学習における部分的崩壊の診断と予防
• Authors: Gabriel Y. Arteaga, Marius Aasan, Rwiddhi Chakraborty, Martine Hjelkrem-Tan, Thalles Silva, Michael Kampffmeyer, Adín Ramírez Rivera,
• Abstract要約: 原型的な自己教師型学習手法は、常に部分的なプロトタイプ崩壊に悩まされる。 これは、エンコーダをリッチな表現へと導くための多様で情報的なターゲットを提供するという、彼らの中心的な目的を損なう。 プロトタイプとエンコーダを異なる目的の下で学習する,完全に分離されたトレーニング戦略を導入する。
• 参考スコア（独自算出の注目度）: 15.258418184220803
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Prototypical self-supervised learning methods consistently suffer from partial prototype collapse, where multiple prototypes converge to nearly identical representations. This undermines their central purpose -- providing diverse and informative targets to guide encoders toward rich representations -- and has led practitioners to over-parameterize prototype sets or add ad-hoc regularizers, which mitigate symptoms rather than address the root cause. We empirically trace the collapse to the joint optimization of encoders and prototypes, which encourages a type of shortcut learning: early in training prototypes drift toward redundant representations that minimize loss without necessarily enhancing representation diversity. To break the joint optimization, we introduce a fully decoupled training strategy that learns prototypes and encoders under separate objectives. Concretely, we model prototypes as a Gaussian mixture updated with an online EM-style procedure, independent of the encoder's loss. This simple yet principled decoupling eliminates prototype collapse without explicit regularization and yields consistently diverse prototypes and stronger downstream performance.
• Abstract（参考訳）: 原型的自己教師型学習法は、複数のプロトタイプがほぼ同じ表現に収束する部分的なプロトタイプ崩壊に常に悩まされる。 これは、エンコーダをリッチな表現へ導くための多種多様な情報的ターゲットを提供するという彼らの中心的な目的を損なうもので、実践者は、根本原因に対処するよりも、症状を軽減するためにプロトタイプセットを過度にパラメータ化したり、アドホックな正規化ツールを追加したりしている。 我々は,エンコーダとプロトタイプの共同最適化の崩壊を実証的に追跡し,一種類のショートカット学習を促進する。早期のトレーニングプロトタイプは,必ずしも表現多様性を向上することなく損失を最小限に抑える冗長表現に向かって漂流する。 共同最適化を破るために,プロトタイプとエンコーダを別々の目的の下で学習する,完全に分離されたトレーニング戦略を導入する。 具体的には、プロトタイプをオンラインEMスタイルのプロシージャで更新されたガウス混合体としてモデル化し、エンコーダの損失に依存しない。 この単純だが原則化された分離は、明示的な正規化なしにプロトタイプの崩壊を排除し、一貫して多様なプロトタイプとより強力な下流性能をもたらす。

関連論文リスト

• Proto-Former: Unified Facial Landmark Detection by Prototype Transformer [77.47431726595111]
  Proto-Formerは、統一的で適応的でエンドツーエンドの顔ランドマーク検出フレームワークである。 統一されたアーキテクチャ内で、複数のデータセットをまたいだ共同トレーニングを可能にする。 Proto-Formerは、既存の最先端手法よりも優れたパフォーマンスを実現している。
  論文  参考訳（メタデータ） (2025-10-17T06:00:25Z)
• DNP-Guided Contrastive Reconstruction with a Reverse Distillation Transformer for Medical Anomaly Detection [1.0924595442390774]
  医用画像の異常検出は、アノテーションが限られており、自然な画像に比べてドメインギャップが小さいため困難である。 既存の再構成手法は、しばしば凍結した事前訓練されたエンコーダに依存し、ドメイン固有の特徴への適応を制限する。 本稿では,訓練可能なエンコーダとプロトタイプ誘導型再構成を組み合わせた統一的なフレームワークと,ダイバーシティ・アウェア・アライメント・ロス(Diversity-Aware Alignment Loss)を提案する。
  論文  参考訳（メタデータ） (2025-08-27T05:12:09Z)
• Probabilistic Prototype Calibration of Vision-Language Models for Generalized Few-shot Semantic Segmentation [75.18058114915327]
  一般化されたFew-Shot Semanticnative(GFSS)は、いくつかの注釈付き例だけでセグメンテーションモデルを新しいクラスに拡張することを目的としている。 プリトレーニング済みCLIPのマルチモーダルプロトタイプ上での確率的プロトタイプ校正フレームワークであるFewCLIPを提案する。 FewCLIPはGFSSとクラスインクリメンタルセッティングの両方で最先端のアプローチを著しく上回っている。
  論文  参考訳（メタデータ） (2025-06-28T18:36:22Z)
• Pro-AD: Learning Comprehensive Prototypes with Prototype-based Constraint for Multi-class Unsupervised Anomaly Detection [8.358250148845572]
  教師なし異常検出のためのプロトタイプベースの再構成手法は、学習可能なプロトタイプの限られたセットを利用する。 本稿では,これらの問題に対処するPro-ADを提案し,そのプロトタイプを完全活用して異常検出性能を向上する。 当社のPro-ADは,マルチクラス非教師付き異常検出タスクにおいて,優れたロバスト性および実用性を示し,最先端性能を実現している。
  論文  参考訳（メタデータ） (2025-06-16T05:04:12Z)
• Efficient Prototype Consistency Learning in Medical Image Segmentation via Joint Uncertainty and Data Augmentation [32.47805202531351]
  半教師付き医療画像セグメンテーションにプロトタイプ学習が出現している。 共同不確実性定量化とデータ拡張による効率的なプロトタイプの整合性学習を提案する。 我々のフレームワークは従来の最先端のアプローチよりも優れている。
  論文  参考訳（メタデータ） (2025-05-22T06:25:32Z)
• On Partial Prototype Collapse in the DINO Family of Self-Supervised Methods [15.524425102344784]
  データサンプルをコンパクトな表現にマッピングする学習は、表現の崩壊問題につながる。 クラスタ上のデータポイントの分散を規則化することが、この問題を回避するための一般的な戦略です。 提案手法では, プロトタイプの崩壊問題をDINOファミリーに残しており, プロトタイプに重大な冗長性をもたらすことを示す。
  論文  参考訳（メタデータ） (2024-10-17T22:06:34Z)
• Refine, Discriminate and Align: Stealing Encoders via Sample-Wise Prototypes and Multi-Relational Extraction [57.16121098944589]
  RDAは、事前訓練されたエンコーダを盗むために、以前の取り組みで普及した2つの主要な欠陥に対処するために設計された先駆的なアプローチである。 これは、サンプルの様々な視点に対してターゲットエンコーダの表現を統一するサンプルワイドプロトタイプによって達成される。 より強力な有効性を得るために、我々はサロゲートエンコーダを訓練し、ミスマッチした埋め込み-プロトタイプペアを識別するマルチリレーショナル抽出損失を開発する。
  論文  参考訳（メタデータ） (2023-12-01T15:03:29Z)
• Dual Prototypical Contrastive Learning for Few-shot Semantic Segmentation [55.339405417090084]
  本稿では,FSSタスクに適合する2つの特徴的コントラスト学習手法を提案する。 第一の考え方は、プロトタイプの特徴空間におけるクラス内距離を減少させながら、クラス間距離を増やすことで、プロトタイプをより差別的にすることである。 提案手法は,PASCAL-5iおよびCOCO-20iデータセット上で,最先端のFSS手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2021-11-09T08:14:50Z)
• Prototypical Contrastive Learning of Unsupervised Representations [171.3046900127166]
  原型コントラスト学習(Prototypeal Contrastive Learning, PCL)は、教師なし表現学習法である。 PCLは暗黙的にデータのセマンティック構造を学習された埋め込み空間にエンコードする。 PCLは、複数のベンチマークで最先端のインスタンスワイド・コントラスト学習法より優れている。
  論文  参考訳（メタデータ） (2020-05-11T09:53:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。