論文の概要: Scalable Vector Gaussian Information Bottleneck

• arxiv url: http://arxiv.org/abs/2102.07525v1
• Date: Mon, 15 Feb 2021 12:51:26 GMT
• ステータス: 処理完了
• システム内更新日: 2021-02-16 15:12:45.569708
• Title: Scalable Vector Gaussian Information Bottleneck
• Title（参考訳）: スケーラブルベクトルガウス情報ボトルネック
• Authors: Mohammad Mahdi Mahvari and Mari Kobayashi and Abdellatif Zaidi
• Abstract要約: そこで我々は,エンコーダが観測の複数の記述を出力するスケーラブルな情報ボトルネックと呼ばれる問題の変動について検討する。 分布が不明な一般ソースに対する変分推論型アルゴリズムを導出し,ニューラルネットワークを用いてパラメータ化する方法を示す。
• 参考スコア（独自算出の注目度）: 19.21005180893519
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In the context of statistical learning, the Information Bottleneck method seeks a right balance between accuracy and generalization capability through a suitable tradeoff between compression complexity, measured by minimum description length, and distortion evaluated under logarithmic loss measure. In this paper, we study a variation of the problem, called scalable information bottleneck, in which the encoder outputs multiple descriptions of the observation with increasingly richer features. The model, which is of successive-refinement type with degraded side information streams at the decoders, is motivated by some application scenarios that require varying levels of accuracy depending on the allowed (or targeted) level of complexity. We establish an analytic characterization of the optimal relevance-complexity region for vector Gaussian sources. Then, we derive a variational inference type algorithm for general sources with unknown distribution; and show means of parametrizing it using neural networks. Finally, we provide experimental results on the MNIST dataset which illustrate that the proposed method generalizes better to unseen data during the training phase.
• Abstract（参考訳）: 統計的学習の文脈において、Information Bottleneck法は、最小記述長で測定された圧縮複雑性と対数損失測定で評価された歪みの間の適切なトレードオフを通じて、精度と一般化能力の適切なバランスを求める。 本稿では,エンコーダがよりリッチな特徴を持つ観測の複数の記述を出力する,スケーラブルな情報ボトルネックと呼ばれる問題のバリエーションについて検討する。 モデルはデコーダのサイドインフォメーションストリームが劣化した連続的なリファインメント型であり、許容される(あるいは対象とする)複雑さのレベルに応じて様々なレベルの精度を必要とするアプリケーションシナリオによって動機付けられます。 ベクトルガウス源に対する最適相対性複素領域の解析的特徴づけを確立する。 そこで,未知分布の一般ソースに対する変分推論型アルゴリズムを導出し,ニューラルネットワークを用いてパラメータ化する方法を示す。 最後に,MNISTデータセットに実験結果を提供し,提案手法がトレーニング期間中にデータを見落とさないように一般化することを示す。

関連論文リスト

• Localized Gaussians as Self-Attention Weights for Point Clouds Correspondence [92.07601770031236]
  本稿では,エンコーダのみのトランスフォーマーアーキテクチャのアテンションヘッドにおける意味的意味パターンについて検討する。 注意重みの修正はトレーニングプロセスの促進だけでなく,最適化の安定性の向上にも寄与する。
  論文  参考訳（メタデータ） (2024-09-20T07:41:47Z)
• Gradient-Based Feature Learning under Structured Data [57.76552698981579]
  異方性設定では、一般的に使用される球面勾配力学は真の方向を回復できないことがある。 バッチ正規化を連想させる適切な重み正規化は、この問題を軽減することができることを示す。 特に、スパイクモデルの下では、勾配に基づくトレーニングのサンプルの複雑さは情報指数とは独立にできる。
  論文  参考訳（メタデータ） (2023-09-07T16:55:50Z)
• GIT: Detecting Uncertainty, Out-Of-Distribution and Adversarial Samples using Gradients and Invariance Transformations [77.34726150561087]
  本稿では,ディープニューラルネットワークにおける一般化誤差検出のための総合的アプローチを提案する。 GITは勾配情報と不変変換の利用を組み合わせる。 本実験は,各種ネットワークアーキテクチャの最先端技術と比較して,GITの優れた性能を示すものである。
  論文  参考訳（メタデータ） (2023-07-05T22:04:38Z)
• IB-UQ: Information bottleneck based uncertainty quantification for neural function regression and neural operator learning [11.5992081385106]
  本稿では,科学的機械学習タスクのための情報ボトルネック(IB-UQ)による不確実性定量化のための新しいフレームワークを提案する。 我々は,入力データの信頼度に応じて,入力を潜在表現に符号化する信頼認識エンコーダによってボトルネックを埋め込む。 また,外挿不確かさの質を高めるために,データ拡張に基づく情報ボトルネック目標を提案する。
  論文  参考訳（メタデータ） (2023-02-07T05:56:42Z)
• Information bottleneck theory of high-dimensional regression: relevancy, efficiency and optimality [6.700873164609009]
  オーバーフィッティングは機械学習における中心的な課題であるが、多くの大きなニューラルネットワークは容易にトレーニング損失をゼロにする。 トレーニングデータのノイズを符号化する適合モデルのビットとして定義される残差情報による過度適合の定量化を行う。
  論文  参考訳（メタデータ） (2022-08-08T00:09:12Z)
• Nonlinear Isometric Manifold Learning for Injective Normalizing Flows [58.720142291102135]
  アイソメトリーを用いて、多様体学習と密度推定を分離する。 また、確率分布を歪ませない明示的な逆数を持つ埋め込みを設計するためにオートエンコーダを用いる。
  論文  参考訳（メタデータ） (2022-03-08T08:57:43Z)
• Learning Optical Flow from a Few Matches [67.83633948984954]
  密な相関体積表現は冗長であり、その中の要素のほんの一部で正確なフロー推定が達成できることを示した。 実験により,高い精度を維持しつつ計算コストとメモリ使用量を大幅に削減できることを示した。
  論文  参考訳（メタデータ） (2021-04-05T21:44:00Z)
• On the Relevance-Complexity Region of Scalable Information Bottleneck [15.314757778110955]
  本稿では,エンコーダが観測の複数の記述を出力する,スケーラブルな情報ボトルネックと呼ばれる問題のバリエーションについて検討する。 問題の動機は、一般化の許容レベルに応じて様々なレベルの精度を必要とする、いくつかのアプリケーションシナリオにある。
  論文  参考訳（メタデータ） (2020-11-02T22:25:28Z)
• Information Theory Measures via Multidimensional Gaussianization [7.788961560607993]
  情報理論は、データやシステムの不確実性、依存、関連性を測定するための優れたフレームワークである。 現実世界の応用にはいくつかの望ましい性質がある。 しかし,多次元データから情報を取得することは,次元性の呪いによる難題である。
  論文  参考訳（メタデータ） (2020-10-08T07:22:16Z)
• Evaluating representations by the complexity of learning low-loss predictors [55.94170724668857]
  下流タスクの解決に使用されるデータの表現を評価することの問題点を考察する。 本稿では,関心のあるタスクにおける低損失を実現する表現の上に,予測器を学習する複雑性によって表現の質を測定することを提案する。
  論文  参考訳（メタデータ） (2020-09-15T22:06:58Z)
• Anomaly Detection in Trajectory Data with Normalizing Flows [0.0]
  本稿では,ニューラルネットワークを用いたデータから複雑な密度推定を可能にする,正規化フローに基づく手法を提案する。 提案手法は, 軌道の各セグメントに対して, 流れを正規化する重要な特徴である, 正確なモデル確率値を算出する。 実世界の軌道データを用いて, 正規化フローを用いた集約異常検出法(GRADINGS)を評価し, 従来の異常検出法と比較した。
  論文  参考訳（メタデータ） (2020-04-13T14:16:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。