論文の概要: Scalable Vector Gaussian Information Bottleneck
- arxiv url: http://arxiv.org/abs/2102.07525v1
- Date: Mon, 15 Feb 2021 12:51:26 GMT
- ステータス: 処理完了
- システム内更新日: 2021-02-16 15:12:45.569708
- Title: Scalable Vector Gaussian Information Bottleneck
- Title（参考訳）: スケーラブルベクトルガウス情報ボトルネック
- Authors: Mohammad Mahdi Mahvari and Mari Kobayashi and Abdellatif Zaidi
- Abstract要約: そこで我々は,エンコーダが観測の複数の記述を出力するスケーラブルな情報ボトルネックと呼ばれる問題の変動について検討する。
分布が不明な一般ソースに対する変分推論型アルゴリズムを導出し,ニューラルネットワークを用いてパラメータ化する方法を示す。
- 参考スコア（独自算出の注目度）: 19.21005180893519
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In the context of statistical learning, the Information Bottleneck method
seeks a right balance between accuracy and generalization capability through a
suitable tradeoff between compression complexity, measured by minimum
description length, and distortion evaluated under logarithmic loss measure. In
this paper, we study a variation of the problem, called scalable information
bottleneck, in which the encoder outputs multiple descriptions of the
observation with increasingly richer features. The model, which is of
successive-refinement type with degraded side information streams at the
decoders, is motivated by some application scenarios that require varying
levels of accuracy depending on the allowed (or targeted) level of complexity.
We establish an analytic characterization of the optimal relevance-complexity
region for vector Gaussian sources. Then, we derive a variational inference
type algorithm for general sources with unknown distribution; and show means of
parametrizing it using neural networks. Finally, we provide experimental
results on the MNIST dataset which illustrate that the proposed method
generalizes better to unseen data during the training phase.
- Abstract（参考訳）: 統計的学習の文脈において、Information Bottleneck法は、最小記述長で測定された圧縮複雑性と対数損失測定で評価された歪みの間の適切なトレードオフを通じて、精度と一般化能力の適切なバランスを求める。
本稿では,エンコーダがよりリッチな特徴を持つ観測の複数の記述を出力する,スケーラブルな情報ボトルネックと呼ばれる問題のバリエーションについて検討する。
モデルはデコーダのサイドインフォメーションストリームが劣化した連続的なリファインメント型であり、許容される(あるいは対象とする)複雑さのレベルに応じて様々なレベルの精度を必要とするアプリケーションシナリオによって動機付けられます。
ベクトルガウス源に対する最適相対性複素領域の解析的特徴づけを確立する。
そこで,未知分布の一般ソースに対する変分推論型アルゴリズムを導出し,ニューラルネットワークを用いてパラメータ化する方法を示す。
最後に,MNISTデータセットに実験結果を提供し,提案手法がトレーニング期間中にデータを見落とさないように一般化することを示す。
関連論文リスト
- Information bottleneck theory of high-dimensional regression: relevancy,
efficiency and optimality [6.700873164609009]
オーバーフィッティングは機械学習における中心的な課題であるが、多くの大きなニューラルネットワークは容易にトレーニング損失をゼロにする。
トレーニングデータのノイズを符号化する適合モデルのビットとして定義される残差情報による過度適合の定量化を行う。
論文 参考訳（メタデータ） (2022-08-08T00:09:12Z) - Data-heterogeneity-aware Mixing for Decentralized Learning [63.83913592085953]
グラフの混合重みとノード間のデータ不均一性の関係に収束の依存性を特徴付ける。
グラフが現在の勾配を混合する能力を定量化する計量法を提案する。
そこで本研究では,パラメータを周期的かつ効率的に最適化する手法を提案する。
論文 参考訳（メタデータ） (2022-04-13T15:54:35Z) - Nonlinear Isometric Manifold Learning for Injective Normalizing Flows [58.720142291102135]
アイソメトリーを用いて、多様体学習と密度推定を分離する。
また、確率分布を歪ませない明示的な逆数を持つ埋め込みを設計するためにオートエンコーダを用いる。
論文 参考訳（メタデータ） (2022-03-08T08:57:43Z) - Adaptive Discrete Communication Bottlenecks with Dynamic Vector
Quantization [76.68866368409216]
入力に条件付けされた離散化の厳密度を動的に選択する学習を提案する。
コミュニケーションボトルネックの動的に変化する厳密さは、視覚的推論や強化学習タスクにおけるモデル性能を向上させることができることを示す。
論文 参考訳（メタデータ） (2022-02-02T23:54:26Z) - Learning Optical Flow from a Few Matches [67.83633948984954]
密な相関体積表現は冗長であり、その中の要素のほんの一部で正確なフロー推定が達成できることを示した。
実験により,高い精度を維持しつつ計算コストとメモリ使用量を大幅に削減できることを示した。
論文 参考訳（メタデータ） (2021-04-05T21:44:00Z) - On the Relevance-Complexity Region of Scalable Information Bottleneck [15.314757778110955]
本稿では,エンコーダが観測の複数の記述を出力する,スケーラブルな情報ボトルネックと呼ばれる問題のバリエーションについて検討する。
問題の動機は、一般化の許容レベルに応じて様々なレベルの精度を必要とする、いくつかのアプリケーションシナリオにある。
論文 参考訳（メタデータ） (2020-11-02T22:25:28Z) - Information Theory Measures via Multidimensional Gaussianization [7.788961560607993]
情報理論は、データやシステムの不確実性、依存、関連性を測定するための優れたフレームワークである。
現実世界の応用にはいくつかの望ましい性質がある。
しかし,多次元データから情報を取得することは,次元性の呪いによる難題である。
論文 参考訳（メタデータ） (2020-10-08T07:22:16Z) - Evaluating representations by the complexity of learning low-loss
predictors [55.94170724668857]
下流タスクの解決に使用されるデータの表現を評価することの問題点を考察する。
本稿では,関心のあるタスクにおける低損失を実現する表現の上に,予測器を学習する複雑性によって表現の質を測定することを提案する。
論文 参考訳（メタデータ） (2020-09-15T22:06:58Z) - Neural Control Variates [71.42768823631918]
ニューラルネットワークの集合が、積分のよい近似を見つけるという課題に直面していることを示す。
理論的に最適な分散最小化損失関数を導出し、実際に安定したオンライントレーニングを行うための代替の複合損失を提案する。
具体的には、学習した光場近似が高次バウンスに十分な品質であることを示し、誤差補正を省略し、無視可能な可視バイアスのコストでノイズを劇的に低減できることを示した。
論文 参考訳（メタデータ） (2020-06-02T11:17:55Z) - Anomaly Detection in Trajectory Data with Normalizing Flows [0.0]
本稿では,ニューラルネットワークを用いたデータから複雑な密度推定を可能にする,正規化フローに基づく手法を提案する。
提案手法は, 軌道の各セグメントに対して, 流れを正規化する重要な特徴である, 正確なモデル確率値を算出する。
実世界の軌道データを用いて, 正規化フローを用いた集約異常検出法(GRADINGS)を評価し, 従来の異常検出法と比較した。
論文 参考訳（メタデータ） (2020-04-13T14:16:40Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。