論文の概要: Deep Variational Multivariate Information Bottleneck -- A Framework for Variational Losses

• arxiv url: http://arxiv.org/abs/2310.03311v2
• Date: Wed, 7 Feb 2024 03:48:51 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-08 19:59:07.011699
• Title: Deep Variational Multivariate Information Bottleneck -- A Framework for Variational Losses
• Title（参考訳）: 変分多変量情報ボトルネック-変分損失のためのフレームワーク
• Authors: Eslam Abdelaleem and Ilya Nemenman and K. Michael Martini
• Abstract要約: 既存の変分法を統合するためのフレームワークを導入し、新しいものを設計する。 データの構造によくマッチするアルゴリズムは、より優れた潜在空間を生成することを示す。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Variational dimensionality reduction methods are known for their high accuracy, generative abilities, and robustness. We introduce a framework to unify many existing variational methods and design new ones. The framework is based on an interpretation of the multivariate information bottleneck, in which an encoder graph, specifying what information to compress, is traded-off against a decoder graph, specifying a generative model. Using this framework, we rederive existing dimensionality reduction methods including the deep variational information bottleneck and variational auto-encoders. The framework naturally introduces a trade-off parameter extending the deep variational CCA (DVCCA) family of algorithms to beta-DVCCA. We derive a new method, the deep variational symmetric informational bottleneck (DVSIB), which simultaneously compresses two variables to preserve information between their compressed representations. We implement these algorithms and evaluate their ability to produce shared low dimensional latent spaces on Noisy MNIST dataset. We show that algorithms that are better matched to the structure of the data (in our case, beta-DVCCA and DVSIB) produce better latent spaces as measured by classification accuracy, dimensionality of the latent variables, and sample efficiency. We believe that this framework can be used to unify other multi-view representation learning algorithms and to derive and implement novel problem-specific loss functions.
• Abstract（参考訳）: 変動次元減少法は高い精度、生成能力、頑健さで知られている。 既存の変分法を統一するフレームワークを導入し、新しいものを設計する。 このフレームワークは、圧縮する情報を指定するエンコーダグラフをデコーダグラフに対してトレードオフし、生成モデルを指定する多変量情報ボトルネックの解釈に基づいている。 このフレームワークを用いて,情報ボトルネックや自動エンコーダなどを含む既存の次元削減手法を改良する。 このフレームワークは、アルゴリズムの深部変分CA(DVCCA)をβ-DVCCAに拡張するトレードオフパラメータを自然に導入する。 本研究では,2つの変数を同時に圧縮し,圧縮表現間の情報を保存する新しい手法であるdvsib(deep variational symmetric informational bottleneck)を導出する。 これらのアルゴリズムを実装し、ノイズMNISTデータセット上で共有低次元潜在空間を生成する能力を評価する。 本研究では,データ構造に適合するアルゴリズム(この場合,β-DVCCAとDVSIB)が,分類精度,潜伏変数の次元性,サンプル効率によって,より優れた潜伏空間を生成することを示す。 このフレームワークは、他の多視点表現学習アルゴリズムを統一し、新しい問題固有損失関数の導出と実装に利用できると信じている。

関連論文リスト

• You are out of context! [0.0]
  新しいデータは、モデルによって学習された幾何学的関係を伸ばしたり、圧縮したり、ねじったりする力として振る舞うことができる。 本稿では,ベクトル空間表現における「変形」の概念に基づく機械学習モデルのための新しいドリフト検出手法を提案する。
  論文  参考訳（メタデータ） (2024-11-04T10:17:43Z)
• Protect Before Generate: Error Correcting Codes within Discrete Deep Generative Models [3.053842954605396]
  本稿では,離散潜在変数モデルにおける変分推論を強化する新しい手法を提案する。 我々は誤り訂正符号(ECC)を活用し、潜伏表現に冗長性を導入する。 この冗長性は変分後部によって利用され、より正確な推定値が得られる。
  論文  参考訳（メタデータ） (2024-10-10T11:59:58Z)
• Differentiable Information Bottleneck for Deterministic Multi-view Clustering [9.723389925212567]
  我々は、決定論的かつ分析的なMVCソリューションを提供する新しい微分可能情報ボトルネック(DIB)手法を提案する。 具体的には、まず、正規化されたカーネルグラム行列を利用して高次元空間の相互情報を直接適合させることを提案する。 そして、新たな相互情報測定に基づいて、解析勾配を持つ決定論的多視点ニューラルネットワークを明示的にトレーニングし、IBの原理をパラメータ化する。
  論文  参考訳（メタデータ） (2024-03-23T02:13:22Z)
• Dimensionality Reduction as Probabilistic Inference [10.714603218784175]
  次元性低減(DR)アルゴリズムは、高次元データを低次元表現に圧縮し、データの重要な特徴を保存する。 本稿では,多種多様な古典DRアルゴリズムを確率的推論アルゴリズムとして解釈するProbDR変分フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-04-15T23:48:59Z)
• Numerical Optimizations for Weighted Low-rank Estimation on Language Model [73.12941276331316]
  Singular value decomposition (SVD) は、より小さい行列でターゲット行列を近似する最も一般的な圧縮手法の1つである。 標準SVDは行列内のパラメータを同じ重要性で扱うが、これは単純だが非現実的な仮定である。 本手法は,ニューラルベース言語モデルにおいて,現在のSOTA法よりも優れた性能を示す。
  論文  参考訳（メタデータ） (2022-11-02T00:58:02Z)
• Dataset Condensation with Latent Space Knowledge Factorization and Sharing [73.31614936678571]
  与えられたデータセットの規則性を利用してデータセットの凝縮問題を解決する新しい手法を提案する。 データセットを元の入力空間に直接凝縮するのではなく、学習可能な一連のコードでデータセットの生成プロセスを仮定する。 提案手法は,様々なベンチマークデータセットに対して,有意なマージンで新しい最先端記録を達成できることを実験的に示す。
  論文  参考訳（メタデータ） (2022-08-21T18:14:08Z)
• SreaMRAK a Streaming Multi-Resolution Adaptive Kernel Algorithm [60.61943386819384]
  既存のKRRの実装では、すべてのデータがメインメモリに格納される必要がある。 KRRのストリーミング版であるStreaMRAKを提案する。 本稿では,2つの合成問題と2重振り子の軌道予測について紹介する。
  論文  参考訳（メタデータ） (2021-08-23T21:03:09Z)
• Multivariate Data Explanation by Jumping Emerging Patterns Visualization [78.6363825307044]
  多変量データセットにおけるパターンの識別と視覚的解釈を支援するVAX(multiVariate dAta eXplanation)を提案する。 既存の類似のアプローチとは異なり、VAXはJumping Emerging Patternsという概念を使って、複数の多様化したパターンを特定し、集約し、データ変数のロジックの組み合わせを通して説明を生成する。
  論文  参考訳（メタデータ） (2021-06-21T13:49:44Z)
• Information Theoretic Meta Learning with Gaussian Processes [74.54485310507336]
  情報理論の概念,すなわち相互情報と情報のボトルネックを用いてメタ学習を定式化する。 相互情報に対する変分近似を用いることで、メタ学習のための汎用的かつトラクタブルな枠組みを導出する。
  論文  参考訳（メタデータ） (2020-09-07T16:47:30Z)
• Neural Decomposition: Functional ANOVA with Variational Autoencoders [9.51828574518325]
  変分オートエンコーダ (VAEs) は次元減少に対する一般的なアプローチとなっている。 VAEのブラックボックスの性質のため、医療やゲノミクスの応用には限界があった。 本研究では,条件付きVAEの変動源の特徴付けに焦点をあてる。
  論文  参考訳（メタデータ） (2020-06-25T10:29:13Z)
• Discovering Representations for Black-box Optimization [73.59962178534361]
  ブラックボックス最適化符号化は手作業で行うのではなく,自動的に学習可能であることを示す。 学習された表現は、標準的なMAP-Elitesよりも桁違いに少ない評価で高次元の問題を解くことができることを示す。
  論文  参考訳（メタデータ） (2020-03-09T20:06:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。