論文の概要: Exploring Structural Degradation in Dense Representations for Self-supervised Learning

• arxiv url: http://arxiv.org/abs/2510.17299v1
• Date: Mon, 20 Oct 2025 08:40:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-25 00:56:39.370265
• Title: Exploring Structural Degradation in Dense Representations for Self-supervised Learning
• Title（参考訳）: 自己教師型学習のための難易度表現における構造劣化の探索
• Authors: Siran Dai, Qianqian Xu, Peisong Wen, Yang Liu, Qingming Huang,
• Abstract要約: 自己教師付き学習(SSL)における直感的な現象を観察する。 我々は、この現象を自己教師付きDense Degradation(SDD)と呼び、16の最先端SSLメソッドに一貫した存在を示す。 本稿では,クラス関連尺度と有効次元尺度からなるDense Expression Structure Estimator (DSE)を紹介する。
• 参考スコア（独自算出の注目度）: 84.52554180480037
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In this work, we observe a counterintuitive phenomenon in self-supervised learning (SSL): longer training may impair the performance of dense prediction tasks (e.g., semantic segmentation). We refer to this phenomenon as Self-supervised Dense Degradation (SDD) and demonstrate its consistent presence across sixteen state-of-the-art SSL methods with various losses, architectures, and datasets. When the model performs suboptimally on dense tasks at the end of training, measuring the performance during training becomes essential. However, evaluating dense performance effectively without annotations remains an open challenge. To tackle this issue, we introduce a Dense representation Structure Estimator (DSE), composed of a class-relevance measure and an effective dimensionality measure. The proposed DSE is both theoretically grounded and empirically validated to be closely correlated with the downstream performance. Based on this metric, we introduce a straightforward yet effective model selection strategy and a DSE-based regularization method. Experiments on sixteen SSL methods across four benchmarks confirm that model selection improves mIoU by $3.0\%$ on average with negligible computational cost. Additionally, DSE regularization consistently mitigates the effects of dense degradation. Code is available at https://github.com/EldercatSAM/SSL-Degradation.
• Abstract（参考訳）: 本研究では、自己教師付き学習(SSL)における直感的現象を観察し、より長いトレーニングは、密接な予測タスク(セマンティックセグメンテーションなど)のパフォーマンスを損なう可能性があることを示す。 我々は、この現象をセルフ・教師付きDense Degradation(SDD)と呼び、さまざまな損失、アーキテクチャ、データセットを持つ16の最先端SSLメソッドに一貫した存在を示す。 モデルが訓練終了時に密接なタスクに対して最適に実行する場合、トレーニング中のパフォーマンスを測定することが不可欠である。 しかし、アノテーションなしで高密度なパフォーマンスを効果的に評価することは、未解決の課題である。 この問題に対処するために,クラス関連尺度と有効次元尺度からなるDense Expression Structure Estimator (DSE)を導入する。 提案したDSEは,下流の性能と密接な相関関係があることを理論的に証明し,実証的に検証した。 本測定値に基づいて,直感的かつ効果的なモデル選択戦略とDSEに基づく正規化手法を導入する。 4つのベンチマークで16のSSLメソッドの実験により、モデル選択は無視可能な計算コストで平均3.0\%のmIoUを改善することが確認された。 さらに、DSE正則化は密度劣化の影響を常に緩和する。 コードはhttps://github.com/EldercatSAM/SSL-Degradationで入手できる。

関連論文リスト

• WSS-CL: Weight Saliency Soft-Guided Contrastive Learning for Efficient Machine Unlearning Image Classification [0.0]
  本稿では,画像分類のための2相効率的な機械学習手法を提案する。 我々の手法は、効率的な機械学習画像分類(WSS-CL)のためのウェイトサリエンシソフトガイド型コントラスト学習と呼ばれる。 提案手法は, 最先端手法と比較して, 性能損失を無視できるほど改善されていない未学習の有効性を示す。
  論文  参考訳（メタデータ） (2025-08-06T10:47:36Z)
• Overcoming Catastrophic Forgetting by Exemplar Selection in Task-oriented Dialogue System [34.1424535903384]
  知的タスク指向対話システム(ToD)における忘れ課題の克服を目指す。 本稿では, 周期的再学習に有効な経験則を抽出する手法(HESIT)を提案する。 実験結果から,HESITは異常な選択によって破滅的な忘れを効果的に軽減し,ToDsの最大のCLベンチマークで最先端の性能を達成することが示された。
  論文  参考訳（メタデータ） (2024-05-16T10:54:46Z)
• Towards Continual Learning Desiderata via HSIC-Bottleneck Orthogonalization and Equiangular Embedding [55.107555305760954]
  本稿では,レイヤワイドパラメータのオーバーライトや決定境界の歪みに起因する,概念的にシンプルで効果的な手法を提案する。 提案手法は,ゼロの指数バッファと1.02倍の差が絶対的に優れていても,競争精度が向上する。
  論文  参考訳（メタデータ） (2024-01-17T09:01:29Z)
• Test-Time Training for Semantic Segmentation with Output Contrastive Loss [12.535720010867538]
  ディープラーニングベースのセグメンテーションモデルは、公開ベンチマークで印象的なパフォーマンスを達成したが、目に見えない環境にうまく一般化することは、依然として大きな課題である。 本稿では、適応過程を安定させるために、頑健で一般化された表現を学習する能力で知られるコントラストロス(OCL)を紹介する。 本手法は,テスト領域データに対するドメイン適応法を用いて事前学習したモデルに適用した場合においても優れ,そのレジリエンスと適応性を示す。
  論文  参考訳（メタデータ） (2023-11-14T03:13:47Z)
• Narrowing the Gap between Supervised and Unsupervised Sentence Representation Learning with Large Language Model [44.77515147970206]
  文表現学習(SRL)は自然言語処理(NLP)の基本課題である CSE(Contrastive Learning of Sentence Embeddings)はその優れたパフォーマンスのために主流のテクニックである。 以前の作品では、このパフォーマンスギャップは2つの表現特性(配向と均一性)の違いに起因するとされていた。
  論文  参考訳（メタデータ） (2023-09-12T08:16:58Z)
• Weighted Ensemble Self-Supervised Learning [67.24482854208783]
  組み立ては、モデルパフォーマンスを高めるための強力なテクニックであることが証明されている。 我々は,データ依存型重み付きクロスエントロピー損失を許容するフレームワークを開発した。 提案手法は、ImageNet-1K上での複数の評価指標において、両者に優れる。
  論文  参考訳（メタデータ） (2022-11-18T02:00:17Z)
• Data Augmentation through Expert-guided Symmetry Detection to Improve Performance in Offline Reinforcement Learning [0.0]
  マルコフ決定過程(MDP)の動的モデルのオフライン推定は非自明な作業である。 近年の研究では、密度推定法に依存する専門家誘導パイプラインが、決定論的環境において、この構造を効果的に検出できることが示されている。 学習したMDPを解き、実際の環境に最適化されたポリシーを適用すると、前者の結果が性能改善につながることを示す。
  論文  参考訳（メタデータ） (2021-12-18T14:32:32Z)
• A Simple Baseline for Semi-supervised Semantic Segmentation with Strong Data Augmentation [74.8791451327354]
  セマンティックセグメンテーションのためのシンプルで効果的な半教師付き学習フレームワークを提案する。 単純な設計とトレーニングのテクニックのセットは、半教師付きセマンティックセグメンテーションの性能を大幅に向上させることができる。 本手法は,Cityscapes と Pascal VOC データセットの半教師付き設定において,最先端の処理結果を実現する。
  論文  参考訳（メタデータ） (2021-04-15T06:01:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。