論文の概要: Deep Variational Multivariate Information Bottleneck -- A Framework for
Variational Losses
- arxiv url: http://arxiv.org/abs/2310.03311v2
- Date: Wed, 7 Feb 2024 03:48:51 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-08 19:59:07.011699
- Title: Deep Variational Multivariate Information Bottleneck -- A Framework for
Variational Losses
- Title(参考訳): 変分多変量情報ボトルネック-変分損失のためのフレームワーク
- Authors: Eslam Abdelaleem and Ilya Nemenman and K. Michael Martini
- Abstract要約: 既存の変分法を統合するためのフレームワークを導入し、新しいものを設計する。
データの構造によくマッチするアルゴリズムは、より優れた潜在空間を生成することを示す。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Variational dimensionality reduction methods are known for their high
accuracy, generative abilities, and robustness. We introduce a framework to
unify many existing variational methods and design new ones. The framework is
based on an interpretation of the multivariate information bottleneck, in which
an encoder graph, specifying what information to compress, is traded-off
against a decoder graph, specifying a generative model. Using this framework,
we rederive existing dimensionality reduction methods including the deep
variational information bottleneck and variational auto-encoders. The framework
naturally introduces a trade-off parameter extending the deep variational CCA
(DVCCA) family of algorithms to beta-DVCCA. We derive a new method, the deep
variational symmetric informational bottleneck (DVSIB), which simultaneously
compresses two variables to preserve information between their compressed
representations. We implement these algorithms and evaluate their ability to
produce shared low dimensional latent spaces on Noisy MNIST dataset. We show
that algorithms that are better matched to the structure of the data (in our
case, beta-DVCCA and DVSIB) produce better latent spaces as measured by
classification accuracy, dimensionality of the latent variables, and sample
efficiency. We believe that this framework can be used to unify other
multi-view representation learning algorithms and to derive and implement novel
problem-specific loss functions.
- Abstract(参考訳): 変動次元減少法は高い精度、生成能力、頑健さで知られている。
既存の変分法を統一するフレームワークを導入し、新しいものを設計する。
このフレームワークは、圧縮する情報を指定するエンコーダグラフをデコーダグラフに対してトレードオフし、生成モデルを指定する多変量情報ボトルネックの解釈に基づいている。
このフレームワークを用いて,情報ボトルネックや自動エンコーダなどを含む既存の次元削減手法を改良する。
このフレームワークは、アルゴリズムの深部変分CA(DVCCA)をβ-DVCCAに拡張するトレードオフパラメータを自然に導入する。
本研究では,2つの変数を同時に圧縮し,圧縮表現間の情報を保存する新しい手法であるdvsib(deep variational symmetric informational bottleneck)を導出する。
これらのアルゴリズムを実装し、ノイズMNISTデータセット上で共有低次元潜在空間を生成する能力を評価する。
本研究では,データ構造に適合するアルゴリズム(この場合,β-DVCCAとDVSIB)が,分類精度,潜伏変数の次元性,サンプル効率によって,より優れた潜伏空間を生成することを示す。
このフレームワークは、他の多視点表現学習アルゴリズムを統一し、新しい問題固有損失関数の導出と実装に利用できると信じている。
関連論文リスト
- Dimensionality Reduction as Probabilistic Inference [10.714603218784175]
次元性低減(DR)アルゴリズムは、高次元データを低次元表現に圧縮し、データの重要な特徴を保存する。
本稿では,多種多様な古典DRアルゴリズムを確率的推論アルゴリズムとして解釈するProbDR変分フレームワークを提案する。
論文 参考訳(メタデータ) (2023-04-15T23:48:59Z) - Numerical Optimizations for Weighted Low-rank Estimation on Language
Model [73.12941276331316]
Singular value decomposition (SVD) は、より小さい行列でターゲット行列を近似する最も一般的な圧縮手法の1つである。
標準SVDは行列内のパラメータを同じ重要性で扱うが、これは単純だが非現実的な仮定である。
本手法は,ニューラルベース言語モデルにおいて,現在のSOTA法よりも優れた性能を示す。
論文 参考訳(メタデータ) (2022-11-02T00:58:02Z) - Dataset Condensation with Latent Space Knowledge Factorization and
Sharing [73.31614936678571]
与えられたデータセットの規則性を利用してデータセットの凝縮問題を解決する新しい手法を提案する。
データセットを元の入力空間に直接凝縮するのではなく、学習可能な一連のコードでデータセットの生成プロセスを仮定する。
提案手法は,様々なベンチマークデータセットに対して,有意なマージンで新しい最先端記録を達成できることを実験的に示す。
論文 参考訳(メタデータ) (2022-08-21T18:14:08Z) - RENs: Relevance Encoding Networks [0.0]
本稿では,遅延空間に先行する自動相対性決定(ARD)を用いて,データ固有のボトルネック次元を学習する新しい確率的VOEベースのフレームワークであるrelevance encoding network (RENs)を提案する。
提案モデルは,サンプルの表現や生成品質を損なうことなく,関連性のあるボトルネック次元を学習することを示す。
論文 参考訳(メタデータ) (2022-05-25T21:53:48Z) - SreaMRAK a Streaming Multi-Resolution Adaptive Kernel Algorithm [60.61943386819384]
既存のKRRの実装では、すべてのデータがメインメモリに格納される必要がある。
KRRのストリーミング版であるStreaMRAKを提案する。
本稿では,2つの合成問題と2重振り子の軌道予測について紹介する。
論文 参考訳(メタデータ) (2021-08-23T21:03:09Z) - Multivariate Data Explanation by Jumping Emerging Patterns Visualization [78.6363825307044]
多変量データセットにおけるパターンの識別と視覚的解釈を支援するVAX(multiVariate dAta eXplanation)を提案する。
既存の類似のアプローチとは異なり、VAXはJumping Emerging Patternsという概念を使って、複数の多様化したパターンを特定し、集約し、データ変数のロジックの組み合わせを通して説明を生成する。
論文 参考訳(メタデータ) (2021-06-21T13:49:44Z) - A Variational Information Bottleneck Based Method to Compress Sequential
Networks for Human Action Recognition [9.414818018857316]
本稿では,人間行動認識(HAR)に用いるリカレントニューラルネットワーク(RNN)を効果的に圧縮する手法を提案する。
変分情報ボトルネック(VIB)理論に基づくプルーニング手法を用いて,RNNの逐次セルを流れる情報の流れを小さなサブセットに制限する。
我々は、圧縮を大幅に改善する特定のグループ・ラッソ正規化手法とプルーニング手法を組み合わせる。
提案手法は,UCF11上での動作認識の精度に比較して,最も近い競合に比べて70倍以上の圧縮を実現する。
論文 参考訳(メタデータ) (2020-10-03T12:41:51Z) - Information Theoretic Meta Learning with Gaussian Processes [74.54485310507336]
情報理論の概念,すなわち相互情報と情報のボトルネックを用いてメタ学習を定式化する。
相互情報に対する変分近似を用いることで、メタ学習のための汎用的かつトラクタブルな枠組みを導出する。
論文 参考訳(メタデータ) (2020-09-07T16:47:30Z) - Neural Decomposition: Functional ANOVA with Variational Autoencoders [9.51828574518325]
変分オートエンコーダ (VAEs) は次元減少に対する一般的なアプローチとなっている。
VAEのブラックボックスの性質のため、医療やゲノミクスの応用には限界があった。
本研究では,条件付きVAEの変動源の特徴付けに焦点をあてる。
論文 参考訳(メタデータ) (2020-06-25T10:29:13Z) - Discovering Representations for Black-box Optimization [73.59962178534361]
ブラックボックス最適化符号化は手作業で行うのではなく,自動的に学習可能であることを示す。
学習された表現は、標準的なMAP-Elitesよりも桁違いに少ない評価で高次元の問題を解くことができることを示す。
論文 参考訳(メタデータ) (2020-03-09T20:06:20Z) - Multi-Objective Genetic Programming for Manifold Learning: Balancing
Quality and Dimensionality [4.4181317696554325]
最先端の多様体学習アルゴリズムはこの変換の実行方法において不透明である。
多様体の品質と次元の競合する目的を自動的にバランスさせる多目的アプローチを導入する。
提案手法は,基礎および最先端の多様体学習手法と競合する。
論文 参考訳(メタデータ) (2020-01-05T23:24:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。