論文の概要: Self-Supervised Representation Learning as Multimodal Variational Inference

• arxiv url: http://arxiv.org/abs/2203.11437v1
• Date: Tue, 22 Mar 2022 03:17:15 GMT
• ステータス: 処理完了
• システム内更新日: 2022-03-23 13:58:15.213209
• Title: Self-Supervised Representation Learning as Multimodal Variational Inference
• Title（参考訳）: マルチモーダル変分推論による自己教師付き表現学習
• Authors: Hiroki Nakamura, Masashi Okada and Tadahiro Taniguchi
• Abstract要約: 本稿では,最近の自己教師付き学習(SSL)手法であるSimSiamの確率的拡張を提案する。 球面後部分布を含む不確実性を含む変分推論SimSiamという新しいSSLを導入する。 実験の結果, 画像Nette と ImageWoof の分類作業において, VI-SimSiam がSimSiam より優れており, 表現の不確実性の推定に成功していることがわかった。
• 参考スコア（独自算出の注目度）: 12.654871396334668
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper proposes a probabilistic extension of SimSiam, a recent self-supervised learning (SSL) method. SimSiam trains a model by maximizing the similarity between image representations of different augmented views of the same image. Although uncertainty-aware machine learning has been getting general like deep variational inference, SimSiam and other SSL are insufficiently uncertainty-aware, which could lead to limitations on its potential. The proposed extension is to make SimSiam uncertainty-aware based on variational inference. Our main contributions are twofold: Firstly, we clarify the theoretical relationship between non-contrastive SSL and multimodal variational inference. Secondly, we introduce a novel SSL called variational inference SimSiam (VI-SimSiam), which incorporates the uncertainty by involving spherical posterior distributions. Our experiment shows that VI-SimSiam outperforms SimSiam in classification tasks in ImageNette and ImageWoof by successfully estimating the representation uncertainty.
• Abstract（参考訳）: 本稿では,最近の自己教師付き学習(SSL)手法であるSimSiamの確率的拡張を提案する。 SimSiamは、同じ画像の異なる拡張ビューのイメージ表現の類似性を最大化することによってモデルをトレーニングする。 不確実性を認識した機械学習は、深いばらつき推論のように一般的なものになっているが、SimSiamや他のSSLは不確実性を認識しているため、その可能性の制限につながる可能性がある。 提案する拡張は、変分推論に基づくシムシムの不確実性を認識することである。 まず,非contrastive sslとマルチモーダル変分推論の理論的関係を明らかにする。 第2に、球面後部分布を含む不確実性を含む変分推論SimSiam(VI-SimSiam)と呼ばれる新しいSSLを導入する。 実験の結果, 画像Nette と ImageWoof の分類作業において, VI-SimSiam がSimSiam より優れており, 表現の不確実性の推定に成功していることがわかった。

関連論文リスト

• Do not trust what you trust: Miscalibration in Semi-supervised Learning [21.20806568508201]
  最先端の半教師付き学習(SSL)アプローチは、ラベルなしサンプルのトレーニングをガイドする擬似ラベルとして機能するために、信頼性の高い予測に依存している。 擬似ラベルに基づくSSL方式は, かなり誤解されていることを示し, ミンエントロピーの最小化を正式に示す。 我々は単純なペナルティ項を統合し、ラベルのないサンプルの予測のロジットを低く保ち、ネットワーク予測が過信にならないようにする。
  論文  参考訳（メタデータ） (2024-03-22T18:43:46Z)
• The Common Stability Mechanism behind most Self-Supervised Learning Approaches [64.40701218561921]
  自己指導型学習手法の安定性のメカニズムを説明するための枠組みを提供する。 我々は,BYOL,SWAV,SimSiam,Barlow Twins,DINOなどの非コントラスト技術であるSimCLRの動作メカニズムについて議論する。 私たちは異なる仮説を定式化し、Imagenet100データセットを使ってそれらをテストします。
  論文  参考訳（メタデータ） (2024-02-22T20:36:24Z)
• Uncertainty Quantification for In-Context Learning of Large Language Models [52.891205009620364]
  大規模言語モデル(LLM)の画期的な能力として、文脈内学習が登場している。 両タイプの不確かさを定量化するための新しい定式化法とそれに対応する推定法を提案する。 提案手法は、プラグイン・アンド・プレイ方式でコンテキスト内学習の予測を理解するための教師なしの方法を提供する。
  論文  参考訳（メタデータ） (2024-02-15T18:46:24Z)
• A Probabilistic Model Behind Self-Supervised Learning [53.64989127914936]
  自己教師付き学習(SSL)では、アノテートラベルなしで補助的なタスクを通じて表現が学習される。 自己教師型学習のための生成潜在変数モデルを提案する。 対照的な方法を含む識別的SSLのいくつかのファミリーは、表現に匹敵する分布を誘導することを示した。
  論文  参考訳（メタデータ） (2024-02-02T13:31:17Z)
• Selective Nonparametric Regression via Testing [54.20569354303575]
  本研究では,所定の点における条件分散の値に関する仮説を検証し,留置手順を開発する。 既存の手法とは異なり、提案手法は分散自体の値だけでなく、対応する分散予測器の不確実性についても考慮することができる。
  論文  参考訳（メタデータ） (2023-09-28T13:04:11Z)
• Introspective Deep Metric Learning [91.47907685364036]
  本稿では,不確実性を考慮した画像比較のためのイントロスペクティブな深度学習フレームワークを提案する。 提案するIDMLフレームワークは,不確実性モデリングによるディープメトリック学習の性能を向上させる。
  論文  参考訳（メタデータ） (2023-09-11T16:21:13Z)
• ArCL: Enhancing Contrastive Learning with Augmentation-Robust Representations [30.745749133759304]
  我々は,自己教師付きコントラスト学習の伝達可能性を分析する理論的枠組みを開発する。 対照的な学習は、その伝達可能性を制限するような、ドメイン不変の機能を学ぶのに失敗することを示す。 これらの理論的知見に基づき、Augmentation-robust Contrastive Learning (ArCL) と呼ばれる新しい手法を提案する。
  論文  参考訳（メタデータ） (2023-03-02T09:26:20Z)
• Learning Disentangled Representations with Latent Variation Predictability [102.4163768995288]
  本稿では,潜在不整合表現の変動予測可能性について述べる。 逆生成プロセス内では、潜時変動と対応する画像対の相互情報を最大化することにより、変動予測可能性を高める。 本研究では,潜在表現の絡み合いを測るために,基礎的構造的生成因子に依存しない評価指標を開発する。
  論文  参考訳（メタデータ） (2020-07-25T08:54:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。