論文の概要: A Probabilistic Approach to Self-Supervised Learning using Cyclical Stochastic Gradient MCMC

• arxiv url: http://arxiv.org/abs/2308.01271v1
• Date: Wed, 2 Aug 2023 16:52:56 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-03 12:11:35.705100
• Title: A Probabilistic Approach to Self-Supervised Learning using Cyclical Stochastic Gradient MCMC
• Title（参考訳）: 周期確率勾配MCMCを用いた自己教師付き学習の確率論的アプローチ
• Authors: Masoumeh Javanbakhat, Christoph Lippert
• Abstract要約: 循環グラディエントハミルトンモンテカルロ(cSGHMC)を用いた実践的自己教師型学習法を提案する。 本枠組みでは,自己教師型学習モデルのパラメータよりも先を置き,cSGHMCを用いて埋め込みの高次元および多モード後部分布を近似する。 4つの挑戦的データセットに対して,複数の分類タスクに関する実験結果を提供する。
• 参考スコア（独自算出の注目度）: 8.027994148508844
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this paper we present a practical Bayesian self-supervised learning method with Cyclical Stochastic Gradient Hamiltonian Monte Carlo (cSGHMC). Within this framework, we place a prior over the parameters of a self-supervised learning model and use cSGHMC to approximate the high dimensional and multimodal posterior distribution over the embeddings. By exploring an expressive posterior over the embeddings, Bayesian self-supervised learning produces interpretable and diverse representations. Marginalizing over these representations yields a significant gain in performance, calibration and out-of-distribution detection on a variety of downstream classification tasks. We provide experimental results on multiple classification tasks on four challenging datasets. Moreover, we demonstrate the effectiveness of the proposed method in out-of-distribution detection using the SVHN and CIFAR-10 datasets.
• Abstract（参考訳）: 本稿では,周期確率勾配ハミルトニアンモンテカルロ(cSGHMC)を用いたベイズ的自己教師型学習手法を提案する。 本枠組みでは,自己教師型学習モデルのパラメータよりも先を置き,cSGHMCを用いて埋め込みの高次元および多モード後部分布を近似する。 埋め込み上で表現力のある後方を探索することで、ベイズ自己教師付き学習は解釈可能で多様な表現を生み出す。 これらの表現の限界化は、様々な下流分類タスクにおけるパフォーマンス、キャリブレーション、分散検出の大幅な向上をもたらす。 4つの挑戦的データセット上で複数の分類タスクに関する実験結果を提供する。 さらに,SVHNとCIFAR-10データセットを用いた分布外検出における提案手法の有効性を示す。

関連論文リスト

• On Discriminative Probabilistic Modeling for Self-Supervised Representation Learning [85.75164588939185]
  複数モーダルな)自己教師付き表現学習のための連続領域における識別確率モデル問題について検討する。 我々は、自己教師付き表現学習における現在のInfoNCEに基づくコントラスト損失の制限を明らかにするために一般化誤差解析を行う。
  論文  参考訳（メタデータ） (2024-10-11T18:02:46Z)
• Hierarchical Visual Categories Modeling: A Joint Representation Learning and Density Estimation Framework for Out-of-Distribution Detection [28.442470704073767]
  本稿では,分布外データと分布内データとを分離する階層型視覚カテゴリーモデリング手法を提案する。 我々は、CIFAR、iNaturalist、SUN、Places、Textures、ImageNet-O、OpenImage-Oを含む7つの人気のあるベンチマーク実験を行った。 我々の視覚表現は古典的手法で学習した特徴と比較して競争力がある。
  論文  参考訳（メタデータ） (2024-08-28T07:05:46Z)
• Learning to Explore for Stochastic Gradient MCMC [15.286308920219446]
  マルチモーダルなターゲット分布を効率的に探索できるglssgmcmcを構築するメタラーニング戦略を提案する。 我々のアルゴリズムは、学習したSGMCMCが後部景観の高密度領域を迅速に探索することを可能にする。
  論文  参考訳（メタデータ） (2024-08-17T08:36:42Z)
• Convolutional autoencoder-based multimodal one-class classification [80.52334952912808]
  1クラス分類は、単一のクラスからのデータを用いた学習のアプローチを指す。 マルチモーダルデータに適した深層学習一クラス分類法を提案する。
  論文  参考訳（メタデータ） (2023-09-25T12:31:18Z)
• Ensemble Modeling for Multimodal Visual Action Recognition [50.38638300332429]
  マルチモーダル動作認識のためのアンサンブルモデリング手法を提案する。 我々は,MECCANO[21]データセットの長期分布を処理するために,焦点損失の変種を用いて,個別のモダリティモデルを個別に訓練する。
  論文  参考訳（メタデータ） (2023-08-10T08:43:20Z)
• Manifold Contrastive Learning with Variational Lie Group Operators [5.0741409008225755]
  そこで本研究では, 余剰余剰余剰余剰余剰余剰余剰余剰余剰余剰余剰余剰余剰余剰余剰余剰余剰余剰余剰余剰余剰乗群演算子を用いて, 潜在多様体を直接モデル化する対照的な学習手法を提案する。 これらの係数上の変動分布は多様体の生成モデルを提供し、対照的なトレーニングと下流のタスクの両方で適用可能な特徴増強を提供するサンプルを提供する。
  論文  参考訳（メタデータ） (2023-06-23T15:07:01Z)
• Learning disentangled representations for explainable chest X-ray classification using Dirichlet VAEs [68.73427163074015]
  本研究では,胸部X線像の非絡み合った潜在表現の学習にDirVAE(Dirichlet Variational Autoencoder)を用いることを検討した。 DirVAEモデルにより学習された多モード潜在表現の予測能力について,補助的多ラベル分類タスクの実装により検討した。
  論文  参考訳（メタデータ） (2023-02-06T18:10:08Z)
• MCDAL: Maximum Classifier Discrepancy for Active Learning [74.73133545019877]
  近年の最先端のアクティブラーニング手法は, 主にGAN(Generative Adversarial Networks)をサンプル取得に活用している。 本稿では,MCDAL(Maximum Discrepancy for Active Learning)と呼ぶ新しいアクティブラーニングフレームワークを提案する。 特に,両者の差分を最大化することにより,より厳密な決定境界を学習する2つの補助的分類層を利用する。
  論文  参考訳（メタデータ） (2021-07-23T06:57:08Z)
• Improving Deep Learning Sound Events Classifiers using Gram Matrix Feature-wise Correlations [1.2891210250935146]
  本手法では,一般CNNの全てのアクティベーションを分析し,Gram Matricesを用いて特徴表現を生成する。 提案手法はどのCNNにも適用可能であり,2つのデータセット上で4つの異なるアーキテクチャを実験的に評価した結果,ベースラインモデルが一貫して改善されることが示された。
  論文  参考訳（メタデータ） (2021-02-23T16:08:02Z)
• Trusted Multi-View Classification [76.73585034192894]
  本稿では,信頼された多視点分類と呼ばれる新しい多視点分類手法を提案する。 さまざまなビューをエビデンスレベルで動的に統合することで、マルチビュー学習のための新しいパラダイムを提供する。 提案アルゴリズムは,分類信頼性とロバスト性の両方を促進するために,複数のビューを併用する。
  論文  参考訳（メタデータ） (2021-02-03T13:30:26Z)
• Ask-n-Learn: Active Learning via Reliable Gradient Representations for Image Classification [29.43017692274488]
  深い予測モデルは、ラベル付きトレーニングデータという形で人間の監督に依存する。 Ask-n-Learnは,各アルゴリズムで推定されたペスドラベルを用いて得られる勾配埋め込みに基づく能動的学習手法である。
  論文  参考訳（メタデータ） (2020-09-30T05:19:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。