論文の概要: On the Discriminability of Self-Supervised Representation Learning

• arxiv url: http://arxiv.org/abs/2407.13541v2
• Date: Mon, 04 Aug 2025 06:37:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-05 18:25:21.55333
• Title: On the Discriminability of Self-Supervised Representation Learning
• Title（参考訳）: 自己監督型表現学習の識別可能性について
• Authors: Zeen Song, Wenwen Qiang, Changwen Zheng, Fuchun Sun, Hui Xiong,
• Abstract要約: 自己教師付き学習(SSL)は、最近、様々な視覚的タスクで顕著な成功を収めた。 しかし、差別性という点では、SSLは依然として教師あり学習(SL)と同等ではない。 本稿では,異なるクラスの特徴が十分に分離されていない「群集問題」について論じる。
• 参考スコア（独自算出の注目度）: 38.598160031349686
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Self-supervised learning (SSL) has recently shown notable success in various visual tasks. However, in terms of discriminability, SSL is still not on par with supervised learning (SL). This paper identifies a key issue, the ``crowding problem," where features from different classes are not well-separated, and there is high intra-class variance. In contrast, SL ensures clear class separation. Our analysis reveals that SSL objectives do not adequately constrain the relationships between samples and their augmentations, leading to poorer performance in complex tasks. We further establish a theoretical framework that connects SSL objectives to cross-entropy risk bounds, explaining how reducing intra-class variance and increasing inter-class separation can improve generalization. To address this, we propose the Dynamic Semantic Adjuster (DSA), a learnable regulator that enhances feature aggregation and separation while being robust to outliers. Comprehensive experiments conducted on diverse benchmark datasets validate that DSA leads to substantial gains in SSL performance, narrowing the performance gap with SL.
• Abstract（参考訳）: 自己教師付き学習(SSL)は、最近、様々な視覚的タスクで顕著な成功を収めた。 しかし、差別性という点では、SSLはいまだに教師あり学習(SL)と同等ではない。 本稿では,異なるクラスの特徴が十分に分離されておらず,クラス内でのばらつきが高いという,‘crowding problem’という重要な問題を特定する。 対照的に、SLは明確なクラス分離を保証する。 分析の結果,SSLの目的はサンプルと拡張の関係を適切に制約しないことが明らかとなり,複雑なタスクでは性能が低下することがわかった。 さらに,SSL目標とクロスエントロピーリスク境界を結合する理論的枠組みを構築し,クラス内分散の低減とクラス間分離の増大によって一般化が向上することを示す。 そこで本稿では,動的セマンティック・アジャイタ (DSA) を提案する。 さまざまなベンチマークデータセットで実施された包括的な実験では、DSAがSSLのパフォーマンスを大幅に向上させ、SLのパフォーマンスギャップを狭めることが確認されている。

関連論文リスト

• SeMi: When Imbalanced Semi-Supervised Learning Meets Mining Hard Examples [54.760757107700755]
  Semi-Supervised Learning (SSL)は、豊富なラベルのないデータを活用して、モデルのパフォーマンスを向上させる。 実世界のシナリオにおけるクラス不均衡なデータ分散は、SSLに大きな課題をもたらし、結果としてパフォーマンスが低下する。 マイニングハードケース(SeMi)による不均衡半教師学習の性能向上手法を提案する。
  論文  参考訳（メタデータ） (2025-01-10T14:35:16Z)
• Self-Supervised Anomaly Detection in the Wild: Favor Joint Embeddings Methods [12.277762115388187]
  Self-Supervised Learning (SSL)は、ラベルのないデータから堅牢な表現を学習することで、有望なアプローチを提供する。 本稿では,下水道インフラに着目した実世界の異常検出のためのSSL手法の包括的評価を行う。
  論文  参考訳（メタデータ） (2024-10-05T21:27:47Z)
• Look Ahead or Look Around? A Theoretical Comparison Between Autoregressive and Masked Pretraining [34.64600580301882]
  自己回帰型SSLとマスク型SSLの2つの主要な生成型SSLパラダイム間の最初の理論的比較を確立する。 分類タスクでは、マスクされたSSLにおけるターゲットトークンの柔軟性により、よりサンプル間の接続が促進される。 コンテンツ生成タスクでは、テストサンプルの柔軟な長さと未翻訳テキストの固定長との相違が、その生成性能を妨げる。
  論文  参考訳（メタデータ） (2024-07-01T03:35:59Z)
• Erasing the Bias: Fine-Tuning Foundation Models for Semi-Supervised Learning [4.137391543972184]
  半教師付き学習(SSL)は目覚ましい進歩をみせており、多くの方法のバリエーションをもたらしている。 本稿では,FinSSLという新しいSSLアプローチを提案する。 我々は、FineSSLが複数のベンチマークデータセットにSSLの新たな状態を設定し、トレーニングコストを6倍以上削減し、さまざまな微調整と現代的なSSLアルゴリズムをシームレスに統合できることを実証した。
  論文  参考訳（メタデータ） (2024-05-20T03:33:12Z)
• Reinforcement Learning-Guided Semi-Supervised Learning [20.599506122857328]
  本稿では,SSLを片腕バンディット問題として定式化する新しい強化学習ガイド型SSL手法 RLGSSL を提案する。 RLGSSLは、ラベル付きデータとラベルなしデータのバランスを保ち、一般化性能を向上させるために、慎重に設計された報酬関数を組み込んでいる。 我々は,複数のベンチマークデータセットに対する広範な実験を通じてRCGSSLの有効性を実証し,我々の手法が最先端のSSL手法と比較して一貫した優れた性能を実現することを示す。
  論文  参考訳（メタデータ） (2024-05-02T21:52:24Z)
• Towards Better Understanding of Contrastive Sentence Representation Learning: A Unified Paradigm for Gradient [20.37803751979975]
  文表現学習(SRL)は自然言語処理(NLP)において重要な課題である コントラスト型と非コントラスト型自己監督型学習(SSL)の類似性について多くの研究がなされている。 しかし、ランキングタスク(すなわち、SRLのセマンティックテキスト類似性(STS))では、対照的なSSLは非コントラストSSLを著しく上回っている。
  論文  参考訳（メタデータ） (2024-02-28T12:17:40Z)
• Improving Representation Learning for Histopathologic Images with Cluster Constraints [31.426157660880673]
  自己教師型学習(SSL)事前学習戦略が,現実的な代替手段として浮上している。 転送可能な表現学習と意味的に意味のあるクラスタリングのためのSSLフレームワークを導入する。 我々の手法は、下流の分類やクラスタリングタスクにおいて一般的なSSLメソッドよりも優れています。
  論文  参考訳（メタデータ） (2023-10-18T21:20:44Z)
• Investigating the Learning Behaviour of In-context Learning: A Comparison with Supervised Learning [67.25698169440818]
  大規模言語モデル(LLM)は、文脈内学習(ICL)において顕著な能力を示している。 我々は、ICLと教師あり学習(SL)を通して、同じ実演例で同じLLMを訓練し、ラベル摂動下での性能を調査する。 まず、特に大規模言語モデルにおいて、ゴールドラベルがダウンストリーム・イン・コンテクストのパフォーマンスに大きな影響を与えることを発見した。 第2に、SLと比較すると、ICLはSLよりもラベル摂動に敏感で、モデルサイズが大きくなるにつれて徐々にSLに匹敵する性能が得られることが実証的に示される。
  論文  参考訳（メタデータ） (2023-07-28T09:03:19Z)
• Reverse Engineering Self-Supervised Learning [17.720366509919167]
  自己教師型学習(SSL)は機械学習の強力なツールである。 本稿ではSSL学習表現の詳細な実験的検討を行う。
  論文  参考訳（メタデータ） (2023-05-24T23:15:28Z)
• Decoupled Adversarial Contrastive Learning for Self-supervised Adversarial Robustness [69.39073806630583]
  頑健な表現学習のための対人訓練(AT)と教師なし表現学習のための自己教師型学習(SSL)は2つの活発な研究分野である。 Decoupled Adversarial Contrastive Learning (DeACL) と呼ばれる2段階のフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-07-22T06:30:44Z)
• Collaborative Intelligence Orchestration: Inconsistency-Based Fusion of Semi-Supervised Learning and Active Learning [60.26659373318915]
  アクティブラーニング(AL)と半教師付きラーニング(SSL)は2つの効果があるが、しばしば孤立している。 本稿では、SSL-ALの潜在的な優位性をさらに調査するために、革新的な一貫性に基づく仮想aDvErialアルゴリズムを提案する。 2つの実世界のケーススタディは、提案したデータサンプリングアルゴリズムの適用と展開の実践的な産業価値を可視化する。
  論文  参考訳（メタデータ） (2022-06-07T13:28:43Z)
• Sound and Visual Representation Learning with Multiple Pretraining Tasks [104.11800812671953]
  自己管理タスク(SSL)は、データと異なる特徴を明らかにする。 この作業は、下流のすべてのタスクをうまく一般化する複数のSSLタスク(Multi-SSL)を組み合わせることを目的としている。 音響表現の実験では、SSLタスクのインクリメンタルラーニング(IL)によるマルチSSLが、単一のSSLタスクモデルより優れていることが示されている。
  論文  参考訳（メタデータ） (2022-01-04T09:09:38Z)
• Self-supervised Learning is More Robust to Dataset Imbalance [65.84339596595383]
  データセット不均衡下での自己教師型学習について検討する。 既製の自己教師型表現は、教師型表現よりもクラス不均衡に対してすでに堅牢である。 我々は、不均衡なデータセット上でSSL表現品質を一貫して改善する、再重み付け正規化手法を考案した。
  論文  参考訳（メタデータ） (2021-10-11T06:29:56Z)
• ReSSL: Relational Self-Supervised Learning with Weak Augmentation [68.47096022526927]
  自己教師付き学習は、データアノテーションなしで視覚表現を学ぶことに成功しました。 本稿では,異なるインスタンス間の関係をモデル化して表現を学習する新しいリレーショナルSSLパラダイムを提案する。 提案したReSSLは,性能とトレーニング効率の両面で,従来の最先端アルゴリズムよりも大幅に優れています。
  論文  参考訳（メタデータ） (2021-07-20T06:53:07Z)
• On Data-Augmentation and Consistency-Based Semi-Supervised Learning [77.57285768500225]
  最近提案された整合性に基づく半教師付き学習(SSL)手法は,複数のSSLタスクにおいて最先端技術である。 これらの進歩にもかかわらず、これらの手法の理解はまだ比較的限られている。
  論文  参考訳（メタデータ） (2021-01-18T10:12:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。