論文の概要: Gacs-Korner Common Information Variational Autoencoder
- arxiv url: http://arxiv.org/abs/2205.12239v1
- Date: Tue, 24 May 2022 17:47:26 GMT
- ステータス: 処理完了
- システム内更新日: 2022-05-25 13:51:42.745420
- Title: Gacs-Korner Common Information Variational Autoencoder
- Title(参考訳): Gacs-Korner共通情報変分オートエンコーダ
- Authors: Michael Kleinman, Alessandro Achille, Stefano Soatto, Jonathan Kao
- Abstract要約: 本稿では,2つの変数間で共有される情報の定量化と分離を可能にする共通情報の概念を提案する。
我々の定式化によって,高次元データにおいても意味論的に意味のある共通性と特異な変動要因を学習できることが示される。
- 参考スコア(独自算出の注目度): 127.84318240144825
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We propose a notion of common information that allows one to quantify and
separate the information that is shared between two random variables from the
information that is unique to each. Our notion of common information is a
variational relaxation of the G\'acs-K\"orner common information, which we
recover as a special case, but is more amenable to optimization and can be
approximated empirically using samples from the underlying distribution. We
then provide a method to partition and quantify the common and unique
information using a simple modification of a traditional variational
auto-encoder. Empirically, we demonstrate that our formulation allows us to
learn semantically meaningful common and unique factors of variation even on
high-dimensional data such as images and videos. Moreover, on datasets where
ground-truth latent factors are known, we show that we can accurately quantify
the common information between the random variables. Additionally, we show that
the auto-encoder that we learn recovers semantically meaningful disentangled
factors of variation, even though we do not explicitly optimize for it.
- Abstract(参考訳): 本稿では,2つの変数間で共有される情報の定量化と分離を可能にする共通情報の概念を,それぞれに固有の情報から提案する。
我々の共通情報の概念は、g\'acs-k\"orner共通情報の変動緩和であり、これは特別な場合として回復するが、最適化に適しており、基礎となる分布からサンプルを用いて経験的に近似することができる。
次に,従来の変分オートエンコーダの簡単な修正を用いて,共通情報と一意情報を分割,定量化する手法を提案する。
画像やビデオなどの高次元データでも意味論的に意味のある共通要素や特徴要因を学習できることを実証的に実証した。
さらに,接地潜伏要因が知られているデータセットについて,確率変数間の共通情報を正確に定量化できることを示す。
さらに、学習する自動エンコーダは、明示的に最適化していないにもかかわらず、意味的に意味のあるばらつきの要因を回復することを示している。
関連論文リスト
- The Mixtures and the Neural Critics: On the Pointwise Mutual Information
Profiles of Fine Distributions [52.85079110699378]
本稿では,情報分布の微細化をポイントワイドな情報プロファイルの近似に利用する方法を示す。
また, 相互情報のモデルに基づくベイズ推定において, 詳細な分布をいかに利用できるかを示す。
論文 参考訳(メタデータ) (2023-10-16T10:02:24Z) - Learning Variational Neighbor Labels for Test-Time Domain Generalization [66.68682533754367]
本稿では、ドメインの一般化に取り組み、モデルが未確認のターゲットドメインにデプロイされる前に、ソースドメインにのみトレーニングされる。
ソーストレーニングされたモデルをテスト時にターゲットドメインに一般化するための、ターゲットサンプルの擬似ラベル化の確率。
より堅牢な擬似ラベルを生成するために、近隣のターゲットサンプルの情報を含む変分隣接ラベル。
論文 参考訳(メタデータ) (2023-07-08T18:58:08Z) - DCID: Deep Canonical Information Decomposition [84.59396326810085]
本稿では,2つの1次元目標変数間で共有される信号の同定について考察する。
そこで本研究では,地中トラスラベルの存在下で使用可能な評価指標であるICMを提案する。
また、共有変数を学習するための単純かつ効果的なアプローチとして、Deep Canonical Information Decomposition (DCID)を提案する。
論文 参考訳(メタデータ) (2023-06-27T16:59:06Z) - Beyond Normal: On the Evaluation of Mutual Information Estimators [52.85079110699378]
そこで本研究では,既知の地道的相互情報を用いて,多種多様な分布群を構築する方法について述べる。
本稿では,問題の難易度に適応した適切な推定器の選択方法について,実践者のためのガイドラインを提供する。
論文 参考訳(メタデータ) (2023-06-19T17:26:34Z) - FUNCK: Information Funnels and Bottlenecks for Invariant Representation
Learning [7.804994311050265]
データから不変表現を学習すると主張する一連の関連する情報漏えいとボトルネック問題について検討する。
本稿では,この情報理論の目的である「側情報付き条件付きプライバシ・ファンネル」の新たな要素を提案する。
一般に難解な目的を考慮し、ニューラルネットワークによってパラメータ化された補正変分推論を用いて、抽出可能な近似を導出する。
論文 参考訳(メタデータ) (2022-11-02T19:37:55Z) - Knowledge-based Document Classification with Shannon Entropy [0.0]
そこで我々は,シャノン・エントロピーを用いた知識ベースモデルを提案し,情報の豊かさを計測し,一様で多様なキーワードマッチングを好む。
シャノンエントロピーは偽陽性率の一定レベルにおいてリコールを著しく改善することを示す。
論文 参考訳(メタデータ) (2022-06-06T05:39:10Z) - A Bayesian Framework for Information-Theoretic Probing [51.98576673620385]
我々は、探索は相互情報を近似するものとみなすべきであると論じる。
これは、表現が元の文とターゲットタスクに関する全く同じ情報をエンコードしているというかなり直感的な結論を導いた。
本稿では,ベイズ的相互情報(Bayesian mutual information)と呼ぶものを測定するための新しい枠組みを提案する。
論文 参考訳(メタデータ) (2021-09-08T18:08:36Z) - Learning Discrete Structured Representations by Adversarially Maximizing
Mutual Information [39.87273353895564]
本研究では、構造化潜在変数と対象変数の相互情報を最大化することにより、ラベルのないデータから離散的構造化表現を学習する。
我々の重要な技術的貢献は、クロスエントロピー計算の実現可能性のみを前提として、相互情報を的確に見積もることができる敵の目的である。
文書ハッシュに本モデルを適用し,離散およびベクトル量子化変分オートエンコーダに基づいて,現在の最良ベースラインよりも優れていることを示す。
論文 参考訳(メタデータ) (2020-04-08T13:31:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。