論文の概要: Representation Uncertainty in Self-Supervised Learning as Variational Inference

• arxiv url: http://arxiv.org/abs/2203.11437v4
• Date: Fri, 8 Sep 2023 05:41:47 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-11 18:57:05.883666
• Title: Representation Uncertainty in Self-Supervised Learning as Variational Inference
• Title（参考訳）: 変分推論としての自己監督学習における表現の不確かさ
• Authors: Hiroki Nakamura, Masashi Okada and Tadahiro Taniguchi
• Abstract要約: 表現の不確かさを学習するために,変分推論の観点からSSLを考慮した新しい自己教師型学習法を提案する。 変分推論SimSiam(VI-SimSiam)という新しい手法が提案されている。 入力画像と予測不確かさを比較することで, VI-SimSiamは不確かさを学習できることを示す。
• 参考スコア（独自算出の注目度）: 10.49712834719005
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this study, a novel self-supervised learning (SSL) method is proposed, which considers SSL in terms of variational inference to learn not only representation but also representation uncertainties. SSL is a method of learning representations without labels by maximizing the similarity between image representations of different augmented views of an image. Meanwhile, variational autoencoder (VAE) is an unsupervised representation learning method that trains a probabilistic generative model with variational inference. Both VAE and SSL can learn representations without labels, but their relationship has not been investigated in the past. Herein, the theoretical relationship between SSL and variational inference has been clarified. Furthermore, a novel method, namely variational inference SimSiam (VI-SimSiam), has been proposed. VI-SimSiam can predict the representation uncertainty by interpreting SimSiam with variational inference and defining the latent space distribution. The present experiments qualitatively show that VI- SimSiam could learn uncertainty by comparing input images and predicted uncertainties. Additionally, we described a relationship between estimated uncertainty and classification accuracy.
• Abstract（参考訳）: 本研究では,表現だけでなく不確実性も学習するために,変分推論の観点からSSLを考察する,新たな自己教師型学習(SSL)手法を提案する。 SSLは、画像の異なる拡張ビューの画像表現の類似性を最大化することにより、ラベルのない表現を学習する方法である。 一方、変分オートエンコーダ(VAE)は、確率的生成モデルを変分推論で訓練する教師なし表現学習法である。 VAEとSSLはラベルなしで表現を学ぶことができるが、それらの関係は過去には調査されていない。 ここでは、SSLと変分推論の理論的関係が解明されている。 さらに, 変分推論SimSiam (VI-SimSiam) という新しい手法が提案されている。 VI-SimSiamはSimSiamを変分推論で解釈し、潜在空間分布を定義することによって表現の不確かさを予測することができる。 本実験は,VI-SimSiamが入力画像と予測不確かさを比較して不確かさを学習できることを定性的に示す。 さらに,推定不確実性と分類精度の関係について述べる。

関連論文リスト

• Do not trust what you trust: Miscalibration in Semi-supervised Learning [21.20806568508201]
  最先端の半教師付き学習(SSL)アプローチは、ラベルなしサンプルのトレーニングをガイドする擬似ラベルとして機能するために、信頼性の高い予測に依存している。 擬似ラベルに基づくSSL方式は, かなり誤解されていることを示し, ミンエントロピーの最小化を正式に示す。 我々は単純なペナルティ項を統合し、ラベルのないサンプルの予測のロジットを低く保ち、ネットワーク予測が過信にならないようにする。
  論文  参考訳（メタデータ） (2024-03-22T18:43:46Z)
• The Common Stability Mechanism behind most Self-Supervised Learning Approaches [64.40701218561921]
  自己指導型学習手法の安定性のメカニズムを説明するための枠組みを提供する。 我々は,BYOL,SWAV,SimSiam,Barlow Twins,DINOなどの非コントラスト技術であるSimCLRの動作メカニズムについて議論する。 私たちは異なる仮説を定式化し、Imagenet100データセットを使ってそれらをテストします。
  論文  参考訳（メタデータ） (2024-02-22T20:36:24Z)
• Uncertainty Quantification for In-Context Learning of Large Language Models [52.891205009620364]
  大規模言語モデル(LLM)の画期的な能力として、文脈内学習が登場している。 両タイプの不確かさを定量化するための新しい定式化法とそれに対応する推定法を提案する。 提案手法は、プラグイン・アンド・プレイ方式でコンテキスト内学習の予測を理解するための教師なしの方法を提供する。
  論文  参考訳（メタデータ） (2024-02-15T18:46:24Z)
• A Probabilistic Model Behind Self-Supervised Learning [53.64989127914936]
  自己教師付き学習(SSL)では、アノテートラベルなしで補助的なタスクを通じて表現が学習される。 自己教師型学習のための生成潜在変数モデルを提案する。 対照的な方法を含む識別的SSLのいくつかのファミリーは、表現に匹敵する分布を誘導することを示した。
  論文  参考訳（メタデータ） (2024-02-02T13:31:17Z)
• Selective Nonparametric Regression via Testing [54.20569354303575]
  本研究では,所定の点における条件分散の値に関する仮説を検証し,留置手順を開発する。 既存の手法とは異なり、提案手法は分散自体の値だけでなく、対応する分散予測器の不確実性についても考慮することができる。
  論文  参考訳（メタデータ） (2023-09-28T13:04:11Z)
• Introspective Deep Metric Learning [91.47907685364036]
  本稿では,不確実性を考慮した画像比較のためのイントロスペクティブな深度学習フレームワークを提案する。 提案するIDMLフレームワークは,不確実性モデリングによるディープメトリック学習の性能を向上させる。
  論文  参考訳（メタデータ） (2023-09-11T16:21:13Z)
• ArCL: Enhancing Contrastive Learning with Augmentation-Robust Representations [30.745749133759304]
  我々は,自己教師付きコントラスト学習の伝達可能性を分析する理論的枠組みを開発する。 対照的な学習は、その伝達可能性を制限するような、ドメイン不変の機能を学ぶのに失敗することを示す。 これらの理論的知見に基づき、Augmentation-robust Contrastive Learning (ArCL) と呼ばれる新しい手法を提案する。
  論文  参考訳（メタデータ） (2023-03-02T09:26:20Z)
• Learning Disentangled Representations with Latent Variation Predictability [102.4163768995288]
  本稿では,潜在不整合表現の変動予測可能性について述べる。 逆生成プロセス内では、潜時変動と対応する画像対の相互情報を最大化することにより、変動予測可能性を高める。 本研究では,潜在表現の絡み合いを測るために,基礎的構造的生成因子に依存しない評価指標を開発する。
  論文  参考訳（メタデータ） (2020-07-25T08:54:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。