論文の概要: Representation Uncertainty in Self-Supervised Learning as Variational Inference

• arxiv url: http://arxiv.org/abs/2203.11437v3
• Date: Wed, 22 Mar 2023 01:10:08 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-24 04:54:39.991180
• Title: Representation Uncertainty in Self-Supervised Learning as Variational Inference
• Title（参考訳）: 変分推論としての自己監督学習における表現の不確かさ
• Authors: Hiroki Nakamura, Masashi Okada and Tadahiro Taniguchi
• Abstract要約: 表現だけでなく不確実性も学習する,新たな自己教師型学習法(SSL)が提案されている。 VAEとSSLはラベルなしで表現を学ぶことができるが、VAEとSSLの関係は明らかにされていない。
• 参考スコア（独自算出の注目度）: 12.654871396334668
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this paper, a novel self-supervised learning (SSL) method is proposed, which learns not only representations but also representations uncertainties by considering SSL in terms of variational inference. SSL is a method of learning representation without labels by maximizing the similarity between image representations of different augmented views of the same image. Variational autoencoder (VAE) is an unsupervised representation learning method that trains a probabilistic generative model with variational inference. VAE and SSL can learn representations without labels, but the relationship between VAE and SSL has not been revealed. In this paper, the theoretical relationship between SSL and variational inference is clarified. In addition, variational inference SimSiam (VI-SimSiam) is proposed, which can predict the representation uncertainty by interpreting SimSiam with variational inference and defining the latent space distribution. The experiment qualitatively showed that VISimSiam could learn uncertainty by comparing input images and predicted uncertainties. We also revealed a relationship between estimated uncertainty and classification accuracy.
• Abstract（参考訳）: 本稿では, 表現だけでなく, 変動推論の観点からのsslを考慮した不確実性も学習する新しい自己教師付き学習(ssl)法を提案する。 sslはラベルのない表現を学習する方法であり、同じ画像の異なる拡張ビューの画像表現間の類似性を最大化する。 変分オートエンコーダ(VAE)は、確率的生成モデルを変分推論で訓練する教師なし表現学習法である。 VAEとSSLはラベルなしで表現を学ぶことができるが、VAEとSSLの関係は明らかにされていない。 本稿では,SSLと変分推論の理論的関係を明らかにする。 さらに,変分推論による不確かさを解釈し,潜在空間分布を定義することで表現の不確かさを予測できる変分推論シムシアム (vi-simsiam) を提案する。 実験は、VISimSiamが入力画像と予測不確かさを比較して不確かさを学習できることを定性的に示した。 また,推定不確かさと分類精度の関係も明らかにした。

関連論文リスト

• Do not trust what you trust: Miscalibration in Semi-supervised Learning [21.20806568508201]
  最先端の半教師付き学習(SSL)アプローチは、ラベルなしサンプルのトレーニングをガイドする擬似ラベルとして機能するために、信頼性の高い予測に依存している。 擬似ラベルに基づくSSL方式は, かなり誤解されていることを示し, ミンエントロピーの最小化を正式に示す。 我々は単純なペナルティ項を統合し、ラベルのないサンプルの予測のロジットを低く保ち、ネットワーク予測が過信にならないようにする。
  論文  参考訳（メタデータ） (2024-03-22T18:43:46Z)
• The Common Stability Mechanism behind most Self-Supervised Learning Approaches [64.40701218561921]
  自己指導型学習手法の安定性のメカニズムを説明するための枠組みを提供する。 我々は,BYOL,SWAV,SimSiam,Barlow Twins,DINOなどの非コントラスト技術であるSimCLRの動作メカニズムについて議論する。 私たちは異なる仮説を定式化し、Imagenet100データセットを使ってそれらをテストします。
  論文  参考訳（メタデータ） (2024-02-22T20:36:24Z)
• Uncertainty Quantification for In-Context Learning of Large Language Models [52.891205009620364]
  大規模言語モデル(LLM)の画期的な能力として、文脈内学習が登場している。 両タイプの不確かさを定量化するための新しい定式化法とそれに対応する推定法を提案する。 提案手法は、プラグイン・アンド・プレイ方式でコンテキスト内学習の予測を理解するための教師なしの方法を提供する。
  論文  参考訳（メタデータ） (2024-02-15T18:46:24Z)
• A Probabilistic Model Behind Self-Supervised Learning [53.64989127914936]
  自己教師付き学習(SSL)では、アノテートラベルなしで補助的なタスクを通じて表現が学習される。 自己教師型学習のための生成潜在変数モデルを提案する。 対照的な方法を含む識別的SSLのいくつかのファミリーは、表現に匹敵する分布を誘導することを示した。
  論文  参考訳（メタデータ） (2024-02-02T13:31:17Z)
• Selective Nonparametric Regression via Testing [54.20569354303575]
  本研究では,所定の点における条件分散の値に関する仮説を検証し,留置手順を開発する。 既存の手法とは異なり、提案手法は分散自体の値だけでなく、対応する分散予測器の不確実性についても考慮することができる。
  論文  参考訳（メタデータ） (2023-09-28T13:04:11Z)
• Introspective Deep Metric Learning [91.47907685364036]
  本稿では,不確実性を考慮した画像比較のためのイントロスペクティブな深度学習フレームワークを提案する。 提案するIDMLフレームワークは,不確実性モデリングによるディープメトリック学習の性能を向上させる。
  論文  参考訳（メタデータ） (2023-09-11T16:21:13Z)
• ArCL: Enhancing Contrastive Learning with Augmentation-Robust Representations [30.745749133759304]
  我々は,自己教師付きコントラスト学習の伝達可能性を分析する理論的枠組みを開発する。 対照的な学習は、その伝達可能性を制限するような、ドメイン不変の機能を学ぶのに失敗することを示す。 これらの理論的知見に基づき、Augmentation-robust Contrastive Learning (ArCL) と呼ばれる新しい手法を提案する。
  論文  参考訳（メタデータ） (2023-03-02T09:26:20Z)
• Learning Disentangled Representations with Latent Variation Predictability [102.4163768995288]
  本稿では,潜在不整合表現の変動予測可能性について述べる。 逆生成プロセス内では、潜時変動と対応する画像対の相互情報を最大化することにより、変動予測可能性を高める。 本研究では,潜在表現の絡み合いを測るために,基礎的構造的生成因子に依存しない評価指標を開発する。
  論文  参考訳（メタデータ） (2020-07-25T08:54:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。