論文の概要: IdEst: Assessing Self-Supervised Learning Representations via Intrinsic Dimension

• arxiv url: http://arxiv.org/abs/2606.03338v1
• Date: Tue, 02 Jun 2026 08:47:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-03 22:00:04.881029
• Title: IdEst: Assessing Self-Supervised Learning Representations via Intrinsic Dimension
• Title（参考訳）: IdEst:本質的な次元による自己監督型学習表現の評価
• Authors: Julie Mordacq, Vicky Kalogeiton, Steve Oudot,
• Abstract要約: 自己教師付き学習(SSL)は、ラベルのないデータから意味のある表現を学ぶための強力なパラダイムとして登場した。 最小スパンニングツリー次元推定器を用いてSSL表現のIDを推定する手法であるIdEstを提案する。 本研究は、SSL表現の評価のための原理的幾何プロキシとして固有の次元性を強調し、標準教師付き探索プロトコルを補完するものである。
• 参考スコア（独自算出の注目度）: 14.00877995955839
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Self-supervised learning (SSL) has emerged as a powerful paradigm for learning meaningful representations from unlabeled data. However, the standard protocol for evaluating these representations, linear probing, is computationally expensive, sensitive to hyperparameters, and provides limited insight into the geometric structure of the representation space. In this work, motivated by connections between neural network generalization and intrinsic dimension (ID) we propose IdEst, a method for estimating the ID of SSL representations via the Minimum Spanning Tree dimension estimator ($\mathrm{dim}_\mathrm{MST}$). Across diverse datasets, architectures, and SSL pretraining objectives, we show that IdEst strongly correlates with downstream linear probe performances. Furthermore, we demonstrate that IdEst enables efficient hyperparameter selection, significantly reducing the computational cost compared to supervised alternatives. Our results highlight intrinsic dimensionality as a principled geometric proxy for assessing SSL representations, complementing standard supervised probing protocols.
• Abstract（参考訳）: 自己教師付き学習(SSL)は、ラベルのないデータから意味のある表現を学ぶための強力なパラダイムとして登場した。 しかしながら、これらの表現を評価するための標準プロトコルである線形探索は計算コストが高く、ハイパーパラメータに敏感であり、表現空間の幾何学的構造について限られた洞察を与える。 本研究は,ニューラルネットワークの一般化と内在次元(ID)の接続を動機として,最小スパンニングツリー次元推定器(\mathrm{dim}_\mathrm{MST}$)を介してSSL表現のIDを推定する手法であるIdEstを提案する。 多様なデータセット、アーキテクチャ、SSL事前学習目標に対して、IdEstは下流の線形プローブ性能と強く相関していることを示す。 さらに、IdEstは効率的なハイパーパラメータ選択を可能にし、教師付き代替よりも計算コストを大幅に削減できることを示した。 本研究は、SSL表現の評価のための原理的幾何プロキシとして固有の次元性を強調し、標準教師付き探索プロトコルを補完するものである。

関連論文リスト

• Generate in Reconstruction Space, Match in Semantic Space: Transport Geometry for One-Step Generation [16.138914735031744]
  生成モデリングと自己教師付き表現学習(SSL)は、構造的に異なる目的を最適化する。 一段階生成の枠組みにおける生成モデリングにおけるSSLの利点について検討する。 意味的に構造化されたSSL機能空間で計算すると,この目的は非常に効果的であることが分かる。
  論文  参考訳（メタデータ） (2026-05-30T04:03:47Z)
• T-REGS: Minimum Spanning Tree Regularization for Self-Supervised Learning [15.016777234800585]
  自己教師付き学習(SSL)はラベル付きデータなしで表現を学習するための強力なパラダイムとして登場した。 最近の研究は、効果的な表現のための2つの重要な性質を強調している。 本稿では,学習表現上の最小スパンニングツリー(MST)の長さに基づくSSLのシンプルな正規化フレームワークであるT-REGSを紹介する。
  論文  参考訳（メタデータ） (2025-10-27T16:16:40Z)
• Exploring Structural Degradation in Dense Representations for Self-supervised Learning [84.52554180480037]
  自己教師付き学習(SSL)における直感的な現象を観察する。 我々は、この現象を自己教師付きDense Degradation(SDD)と呼び、16の最先端SSLメソッドに一貫した存在を示す。 本稿では,クラス関連尺度と有効次元尺度からなるDense Expression Structure Estimator (DSE)を紹介する。
  論文  参考訳（メタデータ） (2025-10-20T08:40:16Z)
• A Closer Look at Benchmarking Self-Supervised Pre-training with Image Classification [51.35500308126506]
  自己教師付き学習(SSL)は、データ自体が監視を提供する機械学習アプローチであり、外部ラベルの必要性を排除している。 SSLの分類に基づく評価プロトコルがどのように相関し、異なるデータセットのダウンストリーム性能を予測するかを検討する。
  論文  参考訳（メタデータ） (2024-07-16T23:17:36Z)
• LiDAR: Sensing Linear Probing Performance in Joint Embedding SSL Architectures [24.40012454562582]
  LiDARは、ジョイント埋め込みアーキテクチャにおける表現の質を測定するために設計されたメトリクスである。 提案する基準は,JEアーキテクチャにおける表現の質を評価するための,より堅牢で直感的な方法である。
  論文  参考訳（メタデータ） (2023-12-07T02:31:28Z)
• Proximal Symmetric Non-negative Latent Factor Analysis: A Novel Approach to Highly-Accurate Representation of Undirected Weighted Networks [2.1797442801107056]
  Undirected Weighted Network (UWN) は、ビッグデータ関連のアプリケーションで一般的に見られる。 既存のモデルは本質対称性や低データ密度のモデル化に失敗する。 近軸対称非負の潜在因子分析モデルを提案する。
  論文  参考訳（メタデータ） (2023-06-06T13:03:24Z)
• Deciphering the Projection Head: Representation Evaluation Self-supervised Learning [6.375931203397043]
  自己教師付き学習(SSL)は、ラベルなしで固有の特徴を学習することを目的としている。 プロジェクションヘッドは、ダウンストリームタスクのパフォーマンスを改善する上で、常に重要な役割を果たす。 本稿では,表現と投影ベクトルとのショートカット接続を構築するSSLモデルにおける表現評価設計(RED)を提案する。
  論文  参考訳（メタデータ） (2023-01-28T13:13:53Z)
• Improving Self-Supervised Learning by Characterizing Idealized Representations [155.1457170539049]
  与えられたデータ拡張に不変なタスクに対して必要かつ十分な条件を証明します。 対照的に、我々のフレームワークは、従来の手法に対して単純だが重要な改善を規定している。 非コントラスト学習では、私たちのフレームワークを使って、シンプルで斬新な目的を導き出します。
  論文  参考訳（メタデータ） (2022-09-13T18:01:03Z)
• Deep Dimension Reduction for Supervised Representation Learning [51.10448064423656]
  本研究は,本質的な特徴を持つ学習表現の次元削減手法を提案する。 提案手法は, 十分次元還元法の非パラメトリック一般化である。 推定された深度非パラメトリック表現は、その余剰リスクが0に収束するという意味で一貫したものであることを示す。
  論文  参考訳（メタデータ） (2020-06-10T14:47:43Z)
• Prototypical Contrastive Learning of Unsupervised Representations [171.3046900127166]
  原型コントラスト学習(Prototypeal Contrastive Learning, PCL)は、教師なし表現学習法である。 PCLは暗黙的にデータのセマンティック構造を学習された埋め込み空間にエンコードする。 PCLは、複数のベンチマークで最先端のインスタンスワイド・コントラスト学習法より優れている。
  論文  参考訳（メタデータ） (2020-05-11T09:53:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。