論文の概要: Gacs-Korner Common Information Variational Autoencoder

• arxiv url: http://arxiv.org/abs/2205.12239v1
• Date: Tue, 24 May 2022 17:47:26 GMT
• ステータス: 処理完了
• システム内更新日: 2022-05-25 13:51:42.745420
• Title: Gacs-Korner Common Information Variational Autoencoder
• Title（参考訳）: Gacs-Korner共通情報変分オートエンコーダ
• Authors: Michael Kleinman, Alessandro Achille, Stefano Soatto, Jonathan Kao
• Abstract要約: 本稿では,2つの変数間で共有される情報の定量化と分離を可能にする共通情報の概念を提案する。 我々の定式化によって,高次元データにおいても意味論的に意味のある共通性と特異な変動要因を学習できることが示される。
• 参考スコア（独自算出の注目度）: 127.84318240144825
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We propose a notion of common information that allows one to quantify and separate the information that is shared between two random variables from the information that is unique to each. Our notion of common information is a variational relaxation of the G\'acs-K\"orner common information, which we recover as a special case, but is more amenable to optimization and can be approximated empirically using samples from the underlying distribution. We then provide a method to partition and quantify the common and unique information using a simple modification of a traditional variational auto-encoder. Empirically, we demonstrate that our formulation allows us to learn semantically meaningful common and unique factors of variation even on high-dimensional data such as images and videos. Moreover, on datasets where ground-truth latent factors are known, we show that we can accurately quantify the common information between the random variables. Additionally, we show that the auto-encoder that we learn recovers semantically meaningful disentangled factors of variation, even though we do not explicitly optimize for it.
• Abstract（参考訳）: 本稿では,2つの変数間で共有される情報の定量化と分離を可能にする共通情報の概念を,それぞれに固有の情報から提案する。 我々の共通情報の概念は、g\'acs-k\"orner共通情報の変動緩和であり、これは特別な場合として回復するが、最適化に適しており、基礎となる分布からサンプルを用いて経験的に近似することができる。 次に,従来の変分オートエンコーダの簡単な修正を用いて,共通情報と一意情報を分割,定量化する手法を提案する。 画像やビデオなどの高次元データでも意味論的に意味のある共通要素や特徴要因を学習できることを実証的に実証した。 さらに,接地潜伏要因が知られているデータセットについて,確率変数間の共通情報を正確に定量化できることを示す。 さらに、学習する自動エンコーダは、明示的に最適化していないにもかかわらず、意味的に意味のあるばらつきの要因を回復することを示している。

関連論文リスト

• Quantifying Spuriousness of Biased Datasets Using Partial Information Decomposition [14.82261635235695]
  純粋パターン(spurious pattern)とは、因果関係のないデータセットにおける2つ以上の変数間の数学的関連である。 本研究は,PID(Partial Information Decomposition)と呼ばれる数学的枠組みを用いて,データセット(スプリアス特徴とコア特徴の分割を含む)におけるスプリアス性の最初の情報理論的な定式化を提示する。 我々は、刺激的特徴と中核的特徴が他の対象変数について共有する結合情報内容、すなわちユニーク、冗長、シナジスティックな情報を分離する。
  論文  参考訳（メタデータ） (2024-06-29T16:05:47Z)
• Discovering Common Information in Multi-view Data [35.37807004353416]
  多視点データから共通情報を計算するための革新的で数学的に厳密な定義を導入する。 我々は,共通情報と一意情報の両方を捉えるために,教師付き多視点学習フレームワークを開発した。
  論文  参考訳（メタデータ） (2024-06-21T10:47:06Z)
• On the Properties and Estimation of Pointwise Mutual Information Profiles [49.877314063833296]
  ポイントワイド相互情報プロファイル(ポイントワイド相互情報プロファイル、英: pointwise mutual information profile)は、与えられた確率変数のペアに対するポイントワイド相互情報の分布である。 そこで我々は,モンテカルロ法を用いて分布を正確に推定できる新しい分布系 Bend と Mix Models を導入する。
  論文  参考訳（メタデータ） (2023-10-16T10:02:24Z)
• Probabilistic Test-Time Generalization by Variational Neighbor-Labeling [62.158807685159736]
  本稿では、ドメインの一般化を試み、モデルが未確認のターゲットドメインにデプロイされる前に、ソースドメインにのみトレーニングされる。 ソーストレーニングされたモデルをテスト時にターゲットドメインに一般化するための、ターゲットサンプルの擬似ラベル化の確率。 より堅牢な擬似ラベルを生成するために、近隣のターゲットサンプルの情報を含む変分隣接ラベル。
  論文  参考訳（メタデータ） (2023-07-08T18:58:08Z)
• DCID: Deep Canonical Information Decomposition [84.59396326810085]
  本稿では,2つの1次元目標変数間で共有される信号の同定について考察する。 そこで本研究では,地中トラスラベルの存在下で使用可能な評価指標であるICMを提案する。 また、共有変数を学習するための単純かつ効果的なアプローチとして、Deep Canonical Information Decomposition (DCID)を提案する。
  論文  参考訳（メタデータ） (2023-06-27T16:59:06Z)
• Beyond Normal: On the Evaluation of Mutual Information Estimators [52.85079110699378]
  そこで本研究では,既知の地道的相互情報を用いて,多種多様な分布群を構築する方法について述べる。 本稿では,問題の難易度に適応した適切な推定器の選択方法について,実践者のためのガイドラインを提供する。
  論文  参考訳（メタデータ） (2023-06-19T17:26:34Z)
• FUNCK: Information Funnels and Bottlenecks for Invariant Representation Learning [7.804994311050265]
  データから不変表現を学習すると主張する一連の関連する情報漏えいとボトルネック問題について検討する。 本稿では,この情報理論の目的である「側情報付き条件付きプライバシ・ファンネル」の新たな要素を提案する。 一般に難解な目的を考慮し、ニューラルネットワークによってパラメータ化された補正変分推論を用いて、抽出可能な近似を導出する。
  論文  参考訳（メタデータ） (2022-11-02T19:37:55Z)
• A Bayesian Framework for Information-Theoretic Probing [51.98576673620385]
  我々は、探索は相互情報を近似するものとみなすべきであると論じる。 これは、表現が元の文とターゲットタスクに関する全く同じ情報をエンコードしているというかなり直感的な結論を導いた。 本稿では,ベイズ的相互情報(Bayesian mutual information)と呼ぶものを測定するための新しい枠組みを提案する。
  論文  参考訳（メタデータ） (2021-09-08T18:08:36Z)
• Learning Discrete Structured Representations by Adversarially Maximizing Mutual Information [39.87273353895564]
  本研究では、構造化潜在変数と対象変数の相互情報を最大化することにより、ラベルのないデータから離散的構造化表現を学習する。 我々の重要な技術的貢献は、クロスエントロピー計算の実現可能性のみを前提として、相互情報を的確に見積もることができる敵の目的である。 文書ハッシュに本モデルを適用し,離散およびベクトル量子化変分オートエンコーダに基づいて,現在の最良ベースラインよりも優れていることを示す。
  論文  参考訳（メタデータ） (2020-04-08T13:31:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。