論文の概要: T-REGS: Minimum Spanning Tree Regularization for Self-Supervised Learning

• arxiv url: http://arxiv.org/abs/2510.23484v1
• Date: Mon, 27 Oct 2025 16:16:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-28 15:28:15.615337
• Title: T-REGS: Minimum Spanning Tree Regularization for Self-Supervised Learning
• Title（参考訳）: T-REGS: 自己指導型学習のための最小スパンニング木正規化
• Authors: Julie Mordacq, David Loiseaux, Vicky Kalogeiton, Steve Oudot,
• Abstract要約: 自己教師付き学習(SSL)はラベル付きデータなしで表現を学習するための強力なパラダイムとして登場した。 最近の研究は、効果的な表現のための2つの重要な性質を強調している。 本稿では,学習表現上の最小スパンニングツリー(MST)の長さに基づくSSLのシンプルな正規化フレームワークであるT-REGSを紹介する。
• 参考スコア（独自算出の注目度）: 15.016777234800585
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Self-supervised learning (SSL) has emerged as a powerful paradigm for learning representations without labeled data, often by enforcing invariance to input transformations such as rotations or blurring. Recent studies have highlighted two pivotal properties for effective representations: (i) avoiding dimensional collapse-where the learned features occupy only a low-dimensional subspace, and (ii) enhancing uniformity of the induced distribution. In this work, we introduce T-REGS, a simple regularization framework for SSL based on the length of the Minimum Spanning Tree (MST) over the learned representation. We provide theoretical analysis demonstrating that T-REGS simultaneously mitigates dimensional collapse and promotes distribution uniformity on arbitrary compact Riemannian manifolds. Several experiments on synthetic data and on classical SSL benchmarks validate the effectiveness of our approach at enhancing representation quality.
• Abstract（参考訳）: 自己教師付き学習(SSL)は、しばしば回転やぼやけなどの入力変換に不変を課すことによって、ラベル付きデータなしで表現を学習するための強力なパラダイムとして登場した。 最近の研究は、効果的な表現のための2つの重要な特性を強調している。 一 学習した特徴が低次元の部分空間のみを占める次元崩壊を避けること。 二 誘導分布の均一性を高めること。 本稿では,学習表現に対する最小スパンニングツリー(MST)の長さに基づくSSLのシンプルな正規化フレームワークであるT-REGSを紹介する。 我々は、T-REGSが同時に次元崩壊を緩和し、任意のコンパクトリーマン多様体上の分布均一性を促進することを示す理論的解析を提供する。 合成データおよびSSLベンチマークに関するいくつかの実験により,表現品質向上のためのアプローチの有効性が検証された。

関連論文リスト

• Spectral Logit Sculpting: Adaptive Low-Rank Logit Transformation for Controlled Text Generation [21.76979685109612]
  エントロピーに基づく推論手法は,Large Language Models (LLMs) の信頼性向上のために注目を集めている。 本稿では,近年のロジットのスペクトル特性とエントロピー特性を用いて,トークン分布を動的に変調する軽量な推論時間最適化手法であるSLSを提案する。 SLSは既存のベースライン法を一貫して上回り、数学的、コーディング、科学的推論のタスクにおいて優れた精度を達成している。
  論文  参考訳（メタデータ） (2025-09-19T04:17:46Z)
• Preventing Collapse in Contrastive Learning with Orthonormal Prototypes (CLOP) [0.0]
  CLOPは、クラス埋め込み間の線形部分空間の形成を促進することにより、神経崩壊を防止するために設計された、新しい半教師付き損失関数である。 CLOPは性能を向上し,学習速度やバッチサイズにまたがる安定性が向上することを示す。
  論文  参考訳（メタデータ） (2024-03-27T15:48:16Z)
• The Common Stability Mechanism behind most Self-Supervised Learning Approaches [64.40701218561921]
  自己指導型学習手法の安定性のメカニズムを説明するための枠組みを提供する。 我々は,BYOL,SWAV,SimSiam,Barlow Twins,DINOなどの非コントラスト技術であるSimCLRの動作メカニズムについて議論する。 私たちは異なる仮説を定式化し、Imagenet100データセットを使ってそれらをテストします。
  論文  参考訳（メタデータ） (2024-02-22T20:36:24Z)
• Low-Rank Approximation of Structural Redundancy for Self-Supervised Learning [2.3072402651280517]
  本研究では,その有効性に光を当てるために,再構成SSLのデータ生成機構について検討する。 ラベル付きサンプルの無限の量で、完全線形近似に十分かつ必要な条件を提供する。 この条件により、低ランク因子化による冗長成分の近似を提案する。
  論文  参考訳（メタデータ） (2024-02-10T04:45:27Z)
• Representation Learning Dynamics of Self-Supervised Models [7.289672463326423]
  自己監視学習(SSL)は、非競合データから表現を学習するための重要なパラダイムである。 SSLモデルの学習力学、特に対照的な損失と非対照的な損失を最小化して得られる表現について検討する。 グラスマン多様体上の勾配降下を用いて訓練されたSSLモデルの正確な学習ダイナミクスを導出する。
  論文  参考訳（メタデータ） (2023-09-05T07:48:45Z)
• Regularizing with Pseudo-Negatives for Continual Self-Supervised Learning [62.40718385934608]
  効果的な継続型自己教師型学習(CSSL)のためのPNR(Pseudo-Negative Regularization)フレームワークを提案する。 我々のPNRは,新たに学習した表現が過去の学習と矛盾しないように,モデルに基づく拡張によって得られた擬陰性情報を活用する。
  論文  参考訳（メタデータ） (2023-06-08T10:59:35Z)
• MaxMatch: Semi-Supervised Learning with Worst-Case Consistency [149.03760479533855]
  半教師付き学習(SSL)のための最悪ケース整合正則化手法を提案する。 本稿では,ラベル付きトレーニングデータとラベル付きトレーニングデータとを別々に比較した経験的損失項からなるSSLの一般化について述べる。 この境界によって動機づけられたSSLの目的は、元のラベルのないサンプルと、その複数の拡張版との最大の矛盾を最小限に抑えるものである。
  論文  参考訳（メタデータ） (2022-09-26T12:04:49Z)
• On Data-Augmentation and Consistency-Based Semi-Supervised Learning [77.57285768500225]
  最近提案された整合性に基づく半教師付き学習(SSL)手法は,複数のSSLタスクにおいて最先端技術である。 これらの進歩にもかかわらず、これらの手法の理解はまだ比較的限られている。
  論文  参考訳（メタデータ） (2021-01-18T10:12:31Z)
• Understanding Self-supervised Learning with Dual Deep Networks [74.92916579635336]
  本稿では,2組の深層ReLUネットワークを用いたコントラスト型自己教師学習(SSL)手法を理解するための新しい枠組みを提案する。 種々の損失関数を持つSimCLRの各SGD更新において、各層の重みは共分散演算子によって更新されることを示す。 共分散演算子の役割と、そのようなプロセスでどのような特徴が学習されるかをさらに研究するために、我々は、階層的潜在木モデル(HLTM)を用いて、データ生成および増大過程をモデル化する。
  論文  参考訳（メタデータ） (2020-10-01T17:51:49Z)
• Prototypical Contrastive Learning of Unsupervised Representations [171.3046900127166]
  原型コントラスト学習(Prototypeal Contrastive Learning, PCL)は、教師なし表現学習法である。 PCLは暗黙的にデータのセマンティック構造を学習された埋め込み空間にエンコードする。 PCLは、複数のベンチマークで最先端のインスタンスワイド・コントラスト学習法より優れている。
  論文  参考訳（メタデータ） (2020-05-11T09:53:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。