論文の概要: Deep Variational Multivariate Information Bottleneck -- A Framework for Variational Losses

• arxiv url: http://arxiv.org/abs/2310.03311v1
• Date: Thu, 5 Oct 2023 04:59:58 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-06 19:23:03.503183
• Title: Deep Variational Multivariate Information Bottleneck -- A Framework for Variational Losses
• Title（参考訳）: 変分多変量情報ボトルネック-変分損失のためのフレームワーク
• Authors: Eslam Abdelaleem and Ilya Nemenman and K. Michael Martini
• Abstract要約: 情報理論に根ざした統一原理を導入し,既存の変分法を改良・一般化する。 本研究では,データ構造に適合するアルゴリズム(beta-DVCCAとDVSIB)がより優れた潜伏空間を生成することを示す。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Variational dimensionality reduction methods are known for their high accuracy, generative abilities, and robustness. These methods have many theoretical justifications. Here we introduce a unifying principle rooted in information theory to rederive and generalize existing variational methods and design new ones. We base our framework on an interpretation of the multivariate information bottleneck, in which two Bayesian networks are traded off against one another. We interpret the first network as an encoder graph, which specifies what information to keep when compressing the data. We interpret the second network as a decoder graph, which specifies a generative model for the data. Using this framework, we rederive existing dimensionality reduction methods such as the deep variational information bottleneck (DVIB), beta variational auto-encoders (beta-VAE), and deep variational canonical correlation analysis (DVCCA). The framework naturally introduces a trade-off parameter between compression and reconstruction in the DVCCA family of algorithms, resulting in the new beta-DVCCA family. In addition, we derive a new variational dimensionality reduction method, deep variational symmetric informational bottleneck (DVSIB), which simultaneously compresses two variables to preserve information between their compressed representations. We implement all of these algorithms and evaluate their ability to produce shared low dimensional latent spaces on a modified noisy MNIST dataset. We show that algorithms that are better matched to the structure of the data (beta-DVCCA and DVSIB) produce better latent spaces as measured by classification accuracy and the dimensionality of the latent variables. We believe that this framework can be used to unify other multi-view representation learning algorithms. Additionally, it provides a straightforward framework for deriving problem-specific loss functions.
• Abstract（参考訳）: 変動次元減少法は高い精度、生成能力、頑健さで知られている。 これらの方法には多くの理論的正当性がある。 ここでは,情報理論に根ざした統一原理を導入し,既存の変分法を改良・一般化し,新しいものを設計する。 我々は,2つのベイズネットワークを相互に交換する多変量情報ボトルネックの解釈に基づく。 第1のネットワークをエンコーダグラフとして解釈し,データ圧縮時に保持すべき情報を指定する。 我々は,データ生成モデルを指定するデコーダグラフとして,第2のネットワークを解釈する。 この枠組みを用いて,dvib (deep variational information bottleneck) やvae (beta variational auto-encoders) ,dvcca (deep variational canonical correlation analysis) といった既存の次元低減法を再検討する。 このフレームワークは自然にDVCCAファミリーのアルゴリズムで圧縮と再構成のトレードオフパラメータを導入し、結果として新しいβ-DVCCAファミリーとなる。 さらに,2変数を同時に圧縮して圧縮した表現間の情報を保存する,新しい変動次元低減手法DVSIB(Deep variational symmetric informational bottleneck)を考案した。 これらのアルゴリズムを全て実装し、修正ノイズMNISTデータセット上で共有低次元潜在空間を生成する能力を評価する。 本研究では,データ構造によく適合するアルゴリズム(beta-DVCCAとDVSIB)が,分類精度と潜伏変数の次元性から,より優れた潜伏空間を生成することを示す。 このフレームワークは、他のマルチビュー表現学習アルゴリズムの統合に利用できると信じている。 さらに、問題固有の損失関数を導出するための簡単なフレームワークを提供する。

関連論文リスト

• You are out of context! [0.0]
  新しいデータは、モデルによって学習された幾何学的関係を伸ばしたり、圧縮したり、ねじったりする力として振る舞うことができる。 本稿では,ベクトル空間表現における「変形」の概念に基づく機械学習モデルのための新しいドリフト検出手法を提案する。
  論文  参考訳（メタデータ） (2024-11-04T10:17:43Z)
• Protect Before Generate: Error Correcting Codes within Discrete Deep Generative Models [3.053842954605396]
  本稿では,離散潜在変数モデルにおける変分推論を強化する新しい手法を提案する。 我々は誤り訂正符号(ECC)を活用し、潜伏表現に冗長性を導入する。 この冗長性は変分後部によって利用され、より正確な推定値が得られる。
  論文  参考訳（メタデータ） (2024-10-10T11:59:58Z)
• Differentiable Information Bottleneck for Deterministic Multi-view Clustering [9.723389925212567]
  我々は、決定論的かつ分析的なMVCソリューションを提供する新しい微分可能情報ボトルネック(DIB)手法を提案する。 具体的には、まず、正規化されたカーネルグラム行列を利用して高次元空間の相互情報を直接適合させることを提案する。 そして、新たな相互情報測定に基づいて、解析勾配を持つ決定論的多視点ニューラルネットワークを明示的にトレーニングし、IBの原理をパラメータ化する。
  論文  参考訳（メタデータ） (2024-03-23T02:13:22Z)
• Dimensionality Reduction as Probabilistic Inference [10.714603218784175]
  次元性低減(DR)アルゴリズムは、高次元データを低次元表現に圧縮し、データの重要な特徴を保存する。 本稿では,多種多様な古典DRアルゴリズムを確率的推論アルゴリズムとして解釈するProbDR変分フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-04-15T23:48:59Z)
• Numerical Optimizations for Weighted Low-rank Estimation on Language Model [73.12941276331316]
  Singular value decomposition (SVD) は、より小さい行列でターゲット行列を近似する最も一般的な圧縮手法の1つである。 標準SVDは行列内のパラメータを同じ重要性で扱うが、これは単純だが非現実的な仮定である。 本手法は,ニューラルベース言語モデルにおいて,現在のSOTA法よりも優れた性能を示す。
  論文  参考訳（メタデータ） (2022-11-02T00:58:02Z)
• Dataset Condensation with Latent Space Knowledge Factorization and Sharing [73.31614936678571]
  与えられたデータセットの規則性を利用してデータセットの凝縮問題を解決する新しい手法を提案する。 データセットを元の入力空間に直接凝縮するのではなく、学習可能な一連のコードでデータセットの生成プロセスを仮定する。 提案手法は,様々なベンチマークデータセットに対して,有意なマージンで新しい最先端記録を達成できることを実験的に示す。
  論文  参考訳（メタデータ） (2022-08-21T18:14:08Z)
• SreaMRAK a Streaming Multi-Resolution Adaptive Kernel Algorithm [60.61943386819384]
  既存のKRRの実装では、すべてのデータがメインメモリに格納される必要がある。 KRRのストリーミング版であるStreaMRAKを提案する。 本稿では,2つの合成問題と2重振り子の軌道予測について紹介する。
  論文  参考訳（メタデータ） (2021-08-23T21:03:09Z)
• Multivariate Data Explanation by Jumping Emerging Patterns Visualization [78.6363825307044]
  多変量データセットにおけるパターンの識別と視覚的解釈を支援するVAX(multiVariate dAta eXplanation)を提案する。 既存の類似のアプローチとは異なり、VAXはJumping Emerging Patternsという概念を使って、複数の多様化したパターンを特定し、集約し、データ変数のロジックの組み合わせを通して説明を生成する。
  論文  参考訳（メタデータ） (2021-06-21T13:49:44Z)
• Information Theoretic Meta Learning with Gaussian Processes [74.54485310507336]
  情報理論の概念,すなわち相互情報と情報のボトルネックを用いてメタ学習を定式化する。 相互情報に対する変分近似を用いることで、メタ学習のための汎用的かつトラクタブルな枠組みを導出する。
  論文  参考訳（メタデータ） (2020-09-07T16:47:30Z)
• Neural Decomposition: Functional ANOVA with Variational Autoencoders [9.51828574518325]
  変分オートエンコーダ (VAEs) は次元減少に対する一般的なアプローチとなっている。 VAEのブラックボックスの性質のため、医療やゲノミクスの応用には限界があった。 本研究では,条件付きVAEの変動源の特徴付けに焦点をあてる。
  論文  参考訳（メタデータ） (2020-06-25T10:29:13Z)
• Discovering Representations for Black-box Optimization [73.59962178534361]
  ブラックボックス最適化符号化は手作業で行うのではなく,自動的に学習可能であることを示す。 学習された表現は、標準的なMAP-Elitesよりも桁違いに少ない評価で高次元の問題を解くことができることを示す。
  論文  参考訳（メタデータ） (2020-03-09T20:06:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。