論文の概要: InfoNCE is a variational autoencoder

• arxiv url: http://arxiv.org/abs/2107.02495v1
• Date: Tue, 6 Jul 2021 09:24:57 GMT
• ステータス: 処理完了
• システム内更新日: 2021-07-07 13:58:29.303509
• Title: InfoNCE is a variational autoencoder
• Title（参考訳）: InfoNCEは変分オートエンコーダである
• Authors: Laurence Aitchison
• Abstract要約: 本稿では,教師なし学習手法であるSSVAE (Self-supervised variational autoencoder) の特殊事例として,人気のある自己教師付き学習手法であるInfoNCEについて述べる。 SSVAEは、慎重に選択された暗黙のデコーダを使用してデータを再構築する通常のVAE要件を回避する。
• 参考スコア（独自算出の注目度）: 23.786649328915093
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We show that a popular self-supervised learning method, InfoNCE, is a special case of a new family of unsupervised learning methods, the self-supervised variational autoencoder (SSVAE). SSVAEs circumvent the usual VAE requirement to reconstruct the data by using a carefully chosen implicit decoder. The InfoNCE objective was motivated as a simplified parametric mutual information estimator. Under one choice of prior, the SSVAE objective (i.e. the ELBO) is exactly equal to the mutual information (up to constants). Under an alternative choice of prior, the SSVAE objective is exactly equal to the simplified parametric mutual information estimator used in InfoNCE (up to constants). Importantly, the use of simplified parametric mutual information estimators is believed to be critical to obtain good high-level representations, and the SSVAE framework naturally provides a principled justification for using prior information to choose these estimators.
• Abstract（参考訳）: 本稿では,教師なし学習手法であるSSVAE (Self-supervised variational autoencoder) の特殊事例として,人気のある自己教師付き学習手法であるInfoNCEについて述べる。 SSVAEは、慎重に選択された暗黙のデコーダを使用してデータを再構築する通常のVAE要件を回避する。 InfoNCEの目的は、簡易なパラメトリック相互情報推定器として動機づけられた。 SSVAEの1つの選択は、SSVAEの目的(すなわち)である。 ELBO)は、相互情報(定数まで)と完全に等しい。 以前の選択肢では、SSVAEの目標はInfoNCE(定数まで)で使われる単純化されたパラメトリックな相互情報推定器と完全に等しい。 重要なことは、簡易なパラメトリックな相互情報推定器の使用は、優れたハイレベルな表現を得るために重要であると考えられており、SSVAEフレームワークは、これらの推定器を選択するために事前情報を使用するための原則化された正当化を提供する。

関連論文リスト

• Evaluating Membership Inference Attacks and Defenses in Federated Learning [23.080346952364884]
  会員推論攻撃(MIA)は、連合学習におけるプライバシー保護への脅威を増大させる。 本稿では,既存のMIAと対応する防衛戦略の評価を行う。
  論文  参考訳（メタデータ） (2024-02-09T09:58:35Z)
• Improving Mutual Information Estimation with Annealed and Energy-Based Bounds [20.940022170594816]
  相互情報(英: Mutual Information、MI)は、情報理論と機械学習における基本的な量である。 重要サンプリングの観点から,既存のMI境界の統一的な視点を示す。 このアプローチに基づく3つの新しい境界を提案する。
  論文  参考訳（メタデータ） (2023-03-13T10:47:24Z)
• How to select an objective function using information theory [0.0]
  機械学習や科学計算では、モデル性能は客観的関数で測定される。 情報理論のパラダイムの下では、最終的な目的は、特定のユーティリティとは対照的に、情報の最大化(および不確実性の最小化)である。 このパラダイムは、気候変動の影響を理解するために使用される大規模な地球システムモデルのように、多くの用途を持ち、明確な実用性を持たないモデルに適している、と我々は主張する。
  論文  参考訳（メタデータ） (2022-12-10T04:05:54Z)
• Adversarial Intrinsic Motivation for Reinforcement Learning [60.322878138199364]
  政策状態の訪問分布と目標分布とのワッサースタイン-1距離が強化学習タスクに有効に活用できるかどうかを検討する。 我々のアプローチは、AIM (Adversarial Intrinsic Motivation) と呼ばれ、このワッサーシュタイン-1距離をその双対目的を通して推定し、補足報酬関数を計算する。
  論文  参考訳（メタデータ） (2021-05-27T17:51:34Z)
• How Does Data Augmentation Affect Privacy in Machine Learning? [94.52721115660626]
  拡張データの情報を活用するために,新たなMI攻撃を提案する。 モデルが拡張データで訓練された場合、最適な会員推定値を確立する。
  論文  参考訳（メタデータ） (2020-07-21T02:21:10Z)
• Neural Methods for Point-wise Dependency Estimation [129.93860669802046]
  我々は,2つの結果が共起する確率を定量的に測定する点依存度(PD)の推定に焦点をあてる。 提案手法の有効性を,1)MI推定,2)自己教師付き表現学習,3)クロスモーダル検索タスクで示す。
  論文  参考訳（メタデータ） (2020-06-09T23:26:15Z)
• VMI-VAE: Variational Mutual Information Maximization Framework for VAE With Discrete and Continuous Priors [5.317548969642376]
  変分オートエンコーダは、複雑なデータの潜在変数モデルを学習するためのスケーラブルな方法である。 本稿では,VAEのための変分相互情報最大化フレームワークを提案し,この問題に対処する。
  論文  参考訳（メタデータ） (2020-05-28T12:44:23Z)
• What Makes for Good Views for Contrastive Learning? [90.49736973404046]
  我々は、タスク関連情報をそのまま保持しながら、ビュー間の相互情報(MI)を減らすべきであると論じる。 教師なし・半教師なしのフレームワークを考案し、MIの削減をめざして効果的なビューを学習する。 副産物として、ImageNet分類のための教師なし事前学習における最先端の精度を実現する。
  論文  参考訳（メタデータ） (2020-05-20T17:59:57Z)
• Mutual Information Gradient Estimation for Representation Learning [56.08429809658762]
  相互情報(MI)は表現学習において重要な役割を担っている。 近年の進歩は、有用な表現を見つけるためのトラクタブルでスケーラブルなMI推定器を確立している。 暗黙分布のスコア推定に基づく表現学習のための相互情報勾配推定器(MIGE)を提案する。
  論文  参考訳（メタデータ） (2020-05-03T16:05:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。