論文の概要: InfoNCE is variational inference in a recognition parameterised model

• arxiv url: http://arxiv.org/abs/2107.02495v3
• Date: Thu, 10 Aug 2023 08:16:52 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-11 17:02:32.535334
• Title: InfoNCE is variational inference in a recognition parameterised model
• Title（参考訳）: InfoNCEは認識パラメータ化モデルにおける変分推論である
• Authors: Laurence Aitchison and Stoil Ganev
• Abstract要約: 本稿では,新しい確率的生成モデルのクラスにおいて,InfoNCEの目的がELBOと等価であることを示す。 特に、無限サンプル極限において、前者の特定の選択に対して、実際のInfoNCE目標がELBOと等しいことを示す。
• 参考スコア（独自算出の注目度）: 32.45282187405337
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Here, we show that the InfoNCE objective is equivalent to the ELBO in a new class of probabilistic generative model, the recognition parameterised model (RPM). When we learn the optimal prior, the RPM ELBO becomes equal to the mutual information (MI; up to a constant), establishing a connection to pre-existing self-supervised learning methods such as InfoNCE. However, practical InfoNCE methods do not use the MI as an objective; the MI is invariant to arbitrary invertible transformations, so using an MI objective can lead to highly entangled representations (Tschannen et al., 2019). Instead, the actual InfoNCE objective is a simplified lower bound on the MI which is loose even in the infinite sample limit. Thus, an objective that works (i.e. the actual InfoNCE objective) appears to be motivated as a loose bound on an objective that does not work (i.e. the true MI which gives arbitrarily entangled representations). We give an alternative motivation for the actual InfoNCE objective. In particular, we show that in the infinite sample limit, and for a particular choice of prior, the actual InfoNCE objective is equal to the ELBO (up to a constant); and the ELBO is equal to the marginal likelihood with a deterministic recognition model. Thus, we argue that our VAE perspective gives a better motivation for InfoNCE than MI, as the actual InfoNCE objective is only loosely bounded by the MI, but is equal to the ELBO/marginal likelihood (up to a constant).
• Abstract（参考訳）: 本稿では,新しい確率的生成モデルである認識パラメータ化モデル(RPM)において,InfoNCEの目的がELBOと等価であることを示す。 最適な事前学習を行うと、RPM ELBOは相互情報(MI; 定数まで)と等しくなり、InfoNCEのような既存の自己教師付き学習手法との接続を確立する。 しかし、実際的なInfoNCE法はMIを目的とせず、MIは任意の可逆変換に不変であるため、MIの目的は高度に絡み合った表現につながる(Tschannen et al., 2019)。 代わりに、実際のInfoNCE の目的は、無限サンプル極限においてもゆるい MI 上の単純化された下界である。 したがって、機能する対象(すなわち実際の情報対象)は、機能しない目的(すなわち任意に絡み合った表現を与える真のmi)に対するゆるい境界として動機づけられているように見える。 実際のInfoNCEの目的に対して、別の動機を与えます。 特に、無限サンプル極限において、そして事前の特定の選択において、実際のインフォデンスの目的は(定数まで)エルボに等しく、エルボは決定論的認識モデルを持つ限界確率に等しくなることを示す。 したがって、我々のVAEパースペクティブは、実際のInfoNCEの目的が MI によってゆるやかに束縛されているだけでなく、ELBO/marginal chance(定数まで)に等しいため、MI よりもInfoNCE のモチベーションが良いと論じる。

関連論文リスト

• Evaluating Membership Inference Attacks and Defenses in Federated Learning [23.080346952364884]
  会員推論攻撃(MIA)は、連合学習におけるプライバシー保護への脅威を増大させる。 本稿では,既存のMIAと対応する防衛戦略の評価を行う。
  論文  参考訳（メタデータ） (2024-02-09T09:58:35Z)
• Improving Mutual Information Estimation with Annealed and Energy-Based Bounds [20.940022170594816]
  相互情報(英: Mutual Information、MI)は、情報理論と機械学習における基本的な量である。 重要サンプリングの観点から,既存のMI境界の統一的な視点を示す。 このアプローチに基づく3つの新しい境界を提案する。
  論文  参考訳（メタデータ） (2023-03-13T10:47:24Z)
• How to select an objective function using information theory [0.0]
  機械学習や科学計算では、モデル性能は客観的関数で測定される。 情報理論のパラダイムの下では、最終的な目的は、特定のユーティリティとは対照的に、情報の最大化(および不確実性の最小化)である。 このパラダイムは、気候変動の影響を理解するために使用される大規模な地球システムモデルのように、多くの用途を持ち、明確な実用性を持たないモデルに適している、と我々は主張する。
  論文  参考訳（メタデータ） (2022-12-10T04:05:54Z)
• Adversarial Intrinsic Motivation for Reinforcement Learning [60.322878138199364]
  政策状態の訪問分布と目標分布とのワッサースタイン-1距離が強化学習タスクに有効に活用できるかどうかを検討する。 我々のアプローチは、AIM (Adversarial Intrinsic Motivation) と呼ばれ、このワッサーシュタイン-1距離をその双対目的を通して推定し、補足報酬関数を計算する。
  論文  参考訳（メタデータ） (2021-05-27T17:51:34Z)
• How Does Data Augmentation Affect Privacy in Machine Learning? [94.52721115660626]
  拡張データの情報を活用するために,新たなMI攻撃を提案する。 モデルが拡張データで訓練された場合、最適な会員推定値を確立する。
  論文  参考訳（メタデータ） (2020-07-21T02:21:10Z)
• Neural Methods for Point-wise Dependency Estimation [129.93860669802046]
  我々は,2つの結果が共起する確率を定量的に測定する点依存度(PD)の推定に焦点をあてる。 提案手法の有効性を,1)MI推定,2)自己教師付き表現学習,3)クロスモーダル検索タスクで示す。
  論文  参考訳（メタデータ） (2020-06-09T23:26:15Z)
• VMI-VAE: Variational Mutual Information Maximization Framework for VAE With Discrete and Continuous Priors [5.317548969642376]
  変分オートエンコーダは、複雑なデータの潜在変数モデルを学習するためのスケーラブルな方法である。 本稿では,VAEのための変分相互情報最大化フレームワークを提案し,この問題に対処する。
  論文  参考訳（メタデータ） (2020-05-28T12:44:23Z)
• What Makes for Good Views for Contrastive Learning? [90.49736973404046]
  我々は、タスク関連情報をそのまま保持しながら、ビュー間の相互情報(MI)を減らすべきであると論じる。 教師なし・半教師なしのフレームワークを考案し、MIの削減をめざして効果的なビューを学習する。 副産物として、ImageNet分類のための教師なし事前学習における最先端の精度を実現する。
  論文  参考訳（メタデータ） (2020-05-20T17:59:57Z)
• Mutual Information Gradient Estimation for Representation Learning [56.08429809658762]
  相互情報(MI)は表現学習において重要な役割を担っている。 近年の進歩は、有用な表現を見つけるためのトラクタブルでスケーラブルなMI推定器を確立している。 暗黙分布のスコア推定に基づく表現学習のための相互情報勾配推定器(MIGE)を提案する。
  論文  参考訳（メタデータ） (2020-05-03T16:05:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。