論文の概要: A Probabilistic Model for Self-Supervised Learning

• arxiv url: http://arxiv.org/abs/2501.13031v1
• Date: Wed, 22 Jan 2025 17:25:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-23 13:28:56.542346
• Title: A Probabilistic Model for Self-Supervised Learning
• Title（参考訳）: 自己監督型学習のための確率論的モデル
• Authors: Maximilian Fleissner, Pascal Esser, Debarghya Ghoshdastidar,
• Abstract要約: 自己教師付き学習(SSL)は、データ拡張を通じて意味的類似性を符号化することで、ラベルのないデータから意味のある表現を見つけることを目的としている。 一般的なSSL損失関数が統計モデルに関連があるかどうかはまだ分かっていない。 興味ある特性を示すSSLの潜在変数統計モデルを考える:データ拡張の情報性に応じて、モデルのMLEはPCAに還元するか、単純な非競合的損失にアプローチする。
• 参考スコア（独自算出の注目度）: 6.178817969919849
• License:
• Abstract: Self-supervised learning (SSL) aims to find meaningful representations from unlabeled data by encoding semantic similarities through data augmentations. Despite its current popularity, theoretical insights about SSL are still scarce. For example, it is not yet known whether commonly used SSL loss functions can be related to a statistical model, much in the same as OLS, generalized linear models or PCA naturally emerge as maximum likelihood estimates of an underlying generative process. In this short paper, we consider a latent variable statistical model for SSL that exhibits an interesting property: Depending on the informativeness of the data augmentations, the MLE of the model either reduces to PCA, or approaches a simple non-contrastive loss. We analyze the model and also empirically illustrate our findings.
• Abstract（参考訳）: 自己教師付き学習(SSL)は、データ拡張を通じて意味的類似性を符号化することで、ラベルのないデータから意味のある表現を見つけることを目的としている。 現在の人気にもかかわらず、SSLに関する理論的知見はいまだに乏しい。 例えば、一般的なSSL損失関数が統計モデルと関係があるかどうかはまだ分かっていないが、OLSや一般化線形モデルやPCAと同様に、基底生成過程の最大推定値として自然に現れる。 本稿では、SSLの遅延変数統計モデルについて、興味深い特性を示すものについて考察する:データ拡張の情報性に応じて、モデルのMLEはPCAに還元するか、単純な非競合的損失にアプローチする。 我々はモデルを解析し、また、我々の発見を実証的に説明する。

関連論文リスト

• A Closer Look at Benchmarking Self-Supervised Pre-training with Image Classification [51.35500308126506]
  自己教師付き学習(SSL)は、データ自体が監視を提供する機械学習アプローチであり、外部ラベルの必要性を排除している。 SSLの分類に基づく評価プロトコルがどのように相関し、異なるデータセットのダウンストリーム性能を予測するかを検討する。
  論文  参考訳（メタデータ） (2024-07-16T23:17:36Z)
• Semi-supervised Regression Analysis with Model Misspecification and High-dimensional Data [8.619243141968886]
  条件付き平均モデルにおける回帰係数を推定するための推論フレームワークを提案する。 提案手法は,正規化推定器を適応度スコア(PS)と結果回帰(OR)モデルの両方に用い,拡張逆確率重み付き(AIPW)法を開発した。 我々の理論的な知見は、広範囲なシミュレーション研究と実世界のデータ応用を通して検証される。
  論文  参考訳（メタデータ） (2024-06-20T00:34:54Z)
• Querying Easily Flip-flopped Samples for Deep Active Learning [63.62397322172216]
  アクティブラーニング(英: Active Learning)は、ラベルのないデータを戦略的に選択してクエリすることで、モデルの性能を向上させることを目的とした機械学習パラダイムである。 効果的な選択戦略の1つはモデルの予測の不確実性に基づくもので、サンプルがどの程度情報的であるかの尺度として解釈できる。 本稿では,予測されたラベルの不一致の最小確率として,最小不一致距離(LDM)を提案する。
  論文  参考訳（メタデータ） (2024-01-18T08:12:23Z)
• Understanding Representation Learnability of Nonlinear Self-Supervised Learning [13.965135660149212]
  自己教師付き学習(SSL)は、多くの下流タスクにおいて、データ表現の学習性を実証的に示す。 本論文は非線形SSLモデルの学習結果を精度良く解析した最初の論文である。
  論文  参考訳（メタデータ） (2024-01-06T13:23:26Z)
• How robust are pre-trained models to distribution shift? [82.08946007821184]
  自己教師付き学習(SSL)と自己エンコーダベースモデル(AE)の相互関係が相互関係に与える影響を示す。 本研究では, 線形ヘッドの潜在バイアスから事前学習したモデルの性能を分離するために, アウト・オブ・ディストリビューション(OOD)データに基づいて訓練された線形ヘッドを用いた新しい評価手法を開発した。
  論文  参考訳（メタデータ） (2022-06-17T16:18:28Z)
• Collaborative Intelligence Orchestration: Inconsistency-Based Fusion of Semi-Supervised Learning and Active Learning [60.26659373318915]
  アクティブラーニング(AL)と半教師付きラーニング(SSL)は2つの効果があるが、しばしば孤立している。 本稿では、SSL-ALの潜在的な優位性をさらに調査するために、革新的な一貫性に基づく仮想aDvErialアルゴリズムを提案する。 2つの実世界のケーススタディは、提案したデータサンプリングアルゴリズムの適用と展開の実践的な産業価値を可視化する。
  論文  参考訳（メタデータ） (2022-06-07T13:28:43Z)
• Self-supervised Learning is More Robust to Dataset Imbalance [65.84339596595383]
  データセット不均衡下での自己教師型学習について検討する。 既製の自己教師型表現は、教師型表現よりもクラス不均衡に対してすでに堅牢である。 我々は、不均衡なデータセット上でSSL表現品質を一貫して改善する、再重み付け正規化手法を考案した。
  論文  参考訳（メタデータ） (2021-10-11T06:29:56Z)
• Imputation-Free Learning from Incomplete Observations [73.15386629370111]
  本稿では,不備な値を含む入力からの推論をインプットなしでトレーニングするIGSGD法の重要性について紹介する。 バックプロパゲーションによるモデルのトレーニングに使用する勾配の調整には強化学習(RL)を用いる。 我々の計算自由予測は、最先端の計算手法を用いて従来の2段階の計算自由予測よりも優れている。
  論文  参考訳（メタデータ） (2021-07-05T12:44:39Z)
• Semi-supervised learning objectives as log-likelihoods in a generative model of data curation [32.45282187405337]
  データキュレーションの生成モデルにおいて、SSLの目的をログライクな形式として定式化する。 おもちゃのデータにベイジアンSSLの証明を与える。
  論文  参考訳（メタデータ） (2020-08-13T13:50:27Z)
• A Probabilistic Model for Discriminative and Neuro-Symbolic Semi-Supervised Learning [6.789370732159177]
  本稿では、その古典的な生成過程を反映した識別的SSLの確率モデルを提案する。 我々は、よく知られたSSLメソッドを事前の近似として解釈でき、改善可能であることを示す。 我々は識別モデルをニューロシンボリックSSLに拡張し、上記のルールを直接関連付けることによって、ラベルの特徴が論理規則を満たすようにした。
  論文  参考訳（メタデータ） (2020-06-10T15:30:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。