論文の概要: Self-Supervised Learning with Gaussian Processes

• arxiv url: http://arxiv.org/abs/2512.09322v1
• Date: Wed, 10 Dec 2025 05:10:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-12-11 15:14:53.401073
• Title: Self-Supervised Learning with Gaussian Processes
• Title（参考訳）: ガウス過程による自己指導型学習
• Authors: Yunshan Duan, Sinead Williamson,
• Abstract要約: 自己教師付き学習(SSL)は、ラベル付きサンプルからの明確な監督なしに、モデルが基礎となるデータ構造を理解することを学ぶ機械学習パラダイムである。 表現空間の滑らかさを確保するため、ほとんどのSSLメソッドは、与えられたインスタンスに類似した観測ペアを生成する能力に依存している。 我々は、GPSSLが、人気のあるニューラルネットワークベースのSSL手法であるカーネルPCAとVICRegの両方と密接に関連していることを示すが、どちらも下流タスクに伝播可能な後続の不確かさを許容している。
• 参考スコア（独自算出の注目度）: 0.9058737915650011
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Self supervised learning (SSL) is a machine learning paradigm where models learn to understand the underlying structure of data without explicit supervision from labeled samples. The acquired representations from SSL have demonstrated useful for many downstream tasks including clustering, and linear classification, etc. To ensure smoothness of the representation space, most SSL methods rely on the ability to generate pairs of observations that are similar to a given instance. However, generating these pairs may be challenging for many types of data. Moreover, these methods lack consideration of uncertainty quantification and can perform poorly in out-of-sample prediction settings. To address these limitations, we propose Gaussian process self supervised learning (GPSSL), a novel approach that utilizes Gaussian processes (GP) models on representation learning. GP priors are imposed on the representations, and we obtain a generalized Bayesian posterior minimizing a loss function that encourages informative representations. The covariance function inherent in GPs naturally pulls representations of similar units together, serving as an alternative to using explicitly defined positive samples. We show that GPSSL is closely related to both kernel PCA and VICReg, a popular neural network-based SSL method, but unlike both allows for posterior uncertainties that can be propagated to downstream tasks. Experiments on various datasets, considering classification and regression tasks, demonstrate that GPSSL outperforms traditional methods in terms of accuracy, uncertainty quantification, and error control.
• Abstract（参考訳）: 自己教師付き学習(SSL)は、ラベル付きサンプルからの明確な監督なしに、モデルが基礎となるデータ構造を理解することを学ぶ機械学習パラダイムである。 SSLから取得した表現は、クラスタリングや線形分類など、多くのダウンストリームタスクに役立ちます。 表現空間の滑らかさを確保するため、ほとんどのSSLメソッドは、与えられたインスタンスに類似した観測ペアを生成する能力に依存している。 しかし、これらのペアを生成することは、多くの種類のデータにとって難しいかもしれない。 さらに, これらの手法は不確実性の定量化を考慮せず, サンプル外予測設定ではあまり機能しない。 これらの制約に対処するため,表現学習におけるガウス過程(GP)モデルを利用した新しいアプローチであるGPSSLを提案する。 GP先行は表現に課せられ、情報表現を促進する損失関数を最小化する一般化ベイズ後続関数を得る。 GP に固有の共分散関数は、類似した単位の表現を自然に引き寄せ、明示的に定義された正のサンプルを使用する代替となる。 我々は、GPSSLが、人気のあるニューラルネットワークベースのSSL手法であるカーネルPCAとVICRegの両方と密接に関連していることを示すが、どちらも下流タスクに伝播可能な後続の不確かさを許容している。 分類と回帰タスクを考慮した各種データセットの実験では、GPSSLは精度、不確実性定量化、エラー制御の点で従来の手法よりも優れていることを示した。

関連論文リスト

• A Closer Look at Benchmarking Self-Supervised Pre-training with Image Classification [51.35500308126506]
  自己教師付き学習(SSL)は、データ自体が監視を提供する機械学習アプローチであり、外部ラベルの必要性を排除している。 SSLの分類に基づく評価プロトコルがどのように相関し、異なるデータセットのダウンストリーム性能を予測するかを検討する。
  論文  参考訳（メタデータ） (2024-07-16T23:17:36Z)
• Understanding Representation Learnability of Nonlinear Self-Supervised Learning [13.965135660149212]
  自己教師付き学習(SSL)は、多くの下流タスクにおいて、データ表現の学習性を実証的に示す。 本論文は非線形SSLモデルの学習結果を精度良く解析した最初の論文である。
  論文  参考訳（メタデータ） (2024-01-06T13:23:26Z)
• Semi-Supervised Class-Agnostic Motion Prediction with Pseudo Label Regeneration and BEVMix [59.55173022987071]
  クラス非依存動作予測のための半教師あり学習の可能性について検討する。 我々のフレームワークは一貫性に基づく自己学習パラダイムを採用しており、ラベルのないデータからモデルを学習することができる。 本手法は,弱さと完全教師付き手法に匹敵する性能を示す。
  論文  参考訳（メタデータ） (2023-12-13T09:32:50Z)
• Bridging the Projection Gap: Overcoming Projection Bias Through Parameterized Distance Learning [9.26015904497319]
  Generalized Zero-shot Learning (GZSL) は、見知らぬクラスと見えないクラスの両方からのサンプルを、学習用のクラスサンプルのみを使用して認識することを目的としている。 GZSL法は、投射関数が観測クラスから学習されるため、推論中に観測クラスに偏りが生じる傾向にある。 我々はこの予測バイアスに,ロバスト推論のためのパラメータ化されたマハラノビス距離測定値の学習を提案して対処する。
  論文  参考訳（メタデータ） (2023-09-04T06:41:29Z)
• Benchmark for Uncertainty & Robustness in Self-Supervised Learning [0.0]
  セルフ・スーパーバイザード・ラーニングは現実世界のアプリケーション、特に医療や自動運転車のようなデータ・ハングリーな分野に不可欠である。 本稿では Jigsaw Puzzles, Context, Rotation, Geometric Transformations Prediction for vision や BERT や GPT for Language Task など,SSL メソッドの変種について検討する。 我々のゴールは、実験から出力されたベンチマークを作成し、信頼性のある機械学習で新しいSSLメソッドの出発点を提供することです。
  論文  参考訳（メタデータ） (2022-12-23T15:46:23Z)
• Improving Self-Supervised Learning by Characterizing Idealized Representations [155.1457170539049]
  与えられたデータ拡張に不変なタスクに対して必要かつ十分な条件を証明します。 対照的に、我々のフレームワークは、従来の手法に対して単純だが重要な改善を規定している。 非コントラスト学習では、私たちのフレームワークを使って、シンプルで斬新な目的を導き出します。
  論文  参考訳（メタデータ） (2022-09-13T18:01:03Z)
• On Data-Augmentation and Consistency-Based Semi-Supervised Learning [77.57285768500225]
  最近提案された整合性に基づく半教師付き学習(SSL)手法は,複数のSSLタスクにおいて最先端技術である。 これらの進歩にもかかわらず、これらの手法の理解はまだ比較的限られている。
  論文  参考訳（メタデータ） (2021-01-18T10:12:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。