論文の概要: On the Difference Between the Information Bottleneck and the Deep Information Bottleneck

• arxiv url: http://arxiv.org/abs/1912.13480v1
• Date: Tue, 31 Dec 2019 18:31:42 GMT
• ステータス: 処理完了
• システム内更新日: 2023-01-16 20:33:41.252316
• Title: On the Difference Between the Information Bottleneck and the Deep Information Bottleneck
• Title（参考訳）: 情報ボトルネックと深部情報ボトルネックの差異について
• Authors: Aleksander Wieczorek and Volker Roth
• Abstract要約: 本稿では,Deep Variational Information Bottleneckとその導出に必要な仮定について再考する。 後者のマルコフ連鎖のみを満たすべき$I(T;Y)$に対して下界を最適化することで、この制限を回避する方法を示す。
• 参考スコア（独自算出の注目度）: 81.89141311906552
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Combining the Information Bottleneck model with deep learning by replacing mutual information terms with deep neural nets has proved successful in areas ranging from generative modelling to interpreting deep neural networks. In this paper, we revisit the Deep Variational Information Bottleneck and the assumptions needed for its derivation. The two assumed properties of the data $X$, $Y$ and their latent representation $T$ take the form of two Markov chains $T-X-Y$ and $X-T-Y$. Requiring both to hold during the optimisation process can be limiting for the set of potential joint distributions $P(X,Y,T)$. We therefore show how to circumvent this limitation by optimising a lower bound for $I(T;Y)$ for which only the latter Markov chain has to be satisfied. The actual mutual information consists of the lower bound which is optimised in DVIB and cognate models in practice and of two terms measuring how much the former requirement $T-X-Y$ is violated. Finally, we propose to interpret the family of information bottleneck models as directed graphical models and show that in this framework the original and deep information bottlenecks are special cases of a fundamental IB model.
• Abstract（参考訳）: 相互情報項をディープニューラルネットに置き換えることで、インフォメーション・ボトルネックモデルとディープラーニングを組み合わせることで、生成モデルからディープニューラルネットの解釈まで幅広い分野で成功している。 本稿では,Deep Variational Information Bottleneckとその導出に必要な仮定について再検討する。 2つのデータの性質を$X$、$Y$、およびその潜在表現$T$は、2つのマルコフ連鎖である$T-X-Y$と$X-T-Y$の形式を取る。 最適化過程中に両方を保持する必要があることは、潜在的な合同分布の集合に対して$P(X,Y,T)$を制限できる。 したがって、後者のマルコフ鎖のみを満たさなければならない$i(t;y)$の下限を最適化することで、この制限を回避する方法を示す。 実際の相互情報は、実際に DVIB とコグネートモデルで最適化される下限と、以前の要件である$T-X-Y$がどの程度違反されたかを測定する2つの用語からなる。 最後に,情報ボトルネックモデルのファミリを指向的グラフィカルモデルとして解釈し,本フレームワークにおいて,情報ボトルネックの原点と深部を基本ISBモデルの特殊な場合とすることを示す。

関連論文リスト

• $α$-TCVAE: On the relationship between Disentanglement and Diversity [21.811889512977924]
  本稿では,新しい全相関(TC)下界を用いて最適化された変分オートエンコーダである$alpha$-TCVAEを紹介する。 本稿では,不整合表現がより優れた生成能力と多様性をもたらすという考えを支持する定量的分析について述べる。 以上の結果から,$alpha$-TCVAEはベースラインよりも不整合表現を一貫して学習し,より多様な観測結果を生成することが示された。
  論文  参考訳（メタデータ） (2024-11-01T13:50:06Z)
• Towards Faster Non-Asymptotic Convergence for Diffusion-Based Generative Models [49.81937966106691]
  我々は拡散モデルのデータ生成過程を理解するための非漸近理論のスイートを開発する。 従来の研究とは対照的に,本理論は基本的だが多目的な非漸近的アプローチに基づいて開発されている。
  論文  参考訳（メタデータ） (2023-06-15T16:30:08Z)
• Gibbs-Based Information Criteria and the Over-Parameterized Regime [20.22034560278484]
  二重発散は、補間しきい値を超えた学習アルゴリズムのテスト損失の予期せぬ減少を指す。 我々はこれらの分析を,情報リスク最小化フレームワークを用いて更新し,Gibsアルゴリズムが学習したモデルに対して,Akaike Information Criterion(AIC)とBayesian Information Criterion(BIC)を提供する。
  論文  参考訳（メタデータ） (2023-06-08T22:54:48Z)
• Improving Robustness and Uncertainty Modelling in Neural Ordinary Differential Equations [0.2538209532048866]
  本研究では,NODE における不確実性をモデル化するための新しい手法を提案する。 また、各データポイントが終末時間に異なる後続分布を持つことができる適応遅延時間NODE(ALT-NODE)を提案する。 本研究では,合成画像と実世界の画像分類データを用いた実験により,不確実性とロバスト性をモデル化する手法の有効性を実証する。
  論文  参考訳（メタデータ） (2021-12-23T16:56:10Z)
• Besov Function Approximation and Binary Classification on Low-Dimensional Manifolds Using Convolutional Residual Networks [42.43493635899849]
  畳み込み残余ネットワーク(ConvResNet)の理論的保証を関数近似および二項分類の統計的推定の観点から確立する。 その結果,ConvResNetsはデータセットの低次元構造に適応していることがわかった。
  論文  参考訳（メタデータ） (2021-09-07T02:58:11Z)
• Analysis of feature learning in weight-tied autoencoders via the mean field lens [3.553493344868413]
  平均場フレームワークにおける2層重み付き非線形オートエンコーダのクラスを解析する。 勾配降下で訓練されたモデルでは平均場制限ダイナミクスが認められる。 実生活データに関する実験は、この理論と興味深い一致を示した。
  論文  参考訳（メタデータ） (2021-02-16T18:58:37Z)
• Improving Robustness and Generality of NLP Models Using Disentangled Representations [62.08794500431367]
  スーパービジョンニューラルネットワークはまず入力$x$を単一の表現$z$にマップし、次に出力ラベル$y$にマッピングする。 本研究では,非交叉表現学習の観点から,NLPモデルの堅牢性と汎用性を改善する手法を提案する。 提案した基準でトレーニングしたモデルは、広範囲の教師付き学習タスクにおいて、より堅牢性とドメイン適応性を向上することを示す。
  論文  参考訳（メタデータ） (2020-09-21T02:48:46Z)
• Adaptive Context-Aware Multi-Modal Network for Depth Completion [107.15344488719322]
  我々は,観測された空間コンテキストを捉えるために,グラフ伝搬を採用することを提案する。 次に、注意機構を伝搬に適用し、ネットワークが文脈情報を適応的にモデル化することを奨励する。 最後に、抽出したマルチモーダル特徴を効果的に活用するための対称ゲート融合戦略を導入する。 本稿では,Adaptive Context-Aware Multi-Modal Network (ACMNet) を2つのベンチマークで評価した。
  論文  参考訳（メタデータ） (2020-08-25T06:00:06Z)
• The Information Bottleneck Problem and Its Applications in Machine Learning [53.57797720793437]
  近年,機械学習システムの推論能力が急上昇し,社会の様々な側面において重要な役割を担っている。 情報ボトルネック(IB)理論は、ディープラーニング(DL)システムを分析するための大胆な情報理論パラダイムとして登場した。 本チュートリアルでは,この抽象原理の情報理論的起源と最近のDLへの影響について考察する。
  論文  参考訳（メタデータ） (2020-04-30T16:48:51Z)
• Diversity inducing Information Bottleneck in Model Ensembles [73.80615604822435]
  本稿では,予測の多様性を奨励することで,ニューラルネットワークの効果的なアンサンブルを生成する問題をターゲットにする。 そこで本研究では,潜伏変数の学習における逆損失の多様性を明示的に最適化し,マルチモーダルデータのモデリングに必要な出力予測の多様性を得る。 最も競争力のあるベースラインと比較して、データ分布の変化の下で、分類精度が大幅に向上した。
  論文  参考訳（メタデータ） (2020-03-10T03:10:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。