論文の概要: The Dual Information Bottleneck
- arxiv url: http://arxiv.org/abs/2006.04641v1
- Date: Mon, 8 Jun 2020 14:43:11 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-24 02:45:29.317000
- Title: The Dual Information Bottleneck
- Title（参考訳）: デュアル・インフォメーション・ボトルネック
- Authors: Zoe Piran, Ravid Shwartz-Ziv, Naftali Tishby
- Abstract要約: Information Bottleneck (IB) フレームワークは、精度と複雑さのバランスをとるための原則化されたアプローチを用いて得られる最適な表現の一般的な特徴付けである。
IBの欠点を解消する新しいフレームワークであるDual Information Bottleneck(DualIB)を提案する。
- 参考スコア（独自算出の注目度）: 1.6559345531428509
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The Information Bottleneck (IB) framework is a general characterization of
optimal representations obtained using a principled approach for balancing
accuracy and complexity. Here we present a new framework, the Dual Information
Bottleneck (dualIB), which resolves some of the known drawbacks of the IB. We
provide a theoretical analysis of the dualIB framework; (i) solving for the
structure of its solutions (ii) unraveling its superiority in optimizing the
mean prediction error exponent and (iii) demonstrating its ability to preserve
exponential forms of the original distribution. To approach large scale
problems, we present a novel variational formulation of the dualIB for Deep
Neural Networks. In experiments on several data-sets, we compare it to a
variational form of the IB. This exposes superior Information Plane properties
of the dualIB and its potential in improvement of the error.
- Abstract（参考訳）: Information Bottleneck (IB) フレームワークは、精度と複雑さのバランスをとるための原則化されたアプローチを用いて得られる最適な表現の一般的な特徴付けである。
本稿では,ibの既知の欠点を解決する2重情報ボトルネック(dualib)という新しい枠組みを提案する。
我々は、dualibフレームワークの理論的分析を提供する。
(i)その解の構造の解法
(ii)平均予測誤差指数の最適化における優劣の解消と
(iii)原分布の指数形式を保存する能力を示すこと。
大規模問題にアプローチするため,Deep Neural Networks のための新たな2次IBの変分定式化を提案する。
いくつかのデータ集合の実験では、IBの変分形式と比較する。
これにより、デュアルIBの優れたインフォメーションプレーン特性とエラーの改善の可能性を明らかにする。
関連論文リスト
- BiDense: Binarization for Dense Prediction [62.70804353158387]
BiDenseは、効率よく正確な密度予測タスクのために設計された一般化されたバイナリニューラルネットワーク(BNN)である。
BiDenseは2つの重要なテクニックを取り入れている: 分散適応バイナリー (DAB) とチャネル適応完全精度バイパス (CFB) である。
論文 参考訳（メタデータ） (2024-11-15T16:46:04Z) - On Discriminative Probabilistic Modeling for Self-Supervised Representation Learning [85.75164588939185]
複数モーダルな)自己教師付き表現学習のための連続領域における識別確率モデル問題について検討する。
我々は、自己教師付き表現学習における現在のInfoNCEに基づくコントラスト損失の制限を明らかにするために一般化誤差解析を行う。
論文 参考訳（メタデータ） (2024-10-11T18:02:46Z) - Differentiable Information Bottleneck for Deterministic Multi-view Clustering [9.723389925212567]
我々は、決定論的かつ分析的なMVCソリューションを提供する新しい微分可能情報ボトルネック(DIB)手法を提案する。
具体的には、まず、正規化されたカーネルグラム行列を利用して高次元空間の相互情報を直接適合させることを提案する。
そして、新たな相互情報測定に基づいて、解析勾配を持つ決定論的多視点ニューラルネットワークを明示的にトレーニングし、IBの原理をパラメータ化する。
論文 参考訳（メタデータ） (2024-03-23T02:13:22Z) - Tighter Bounds on the Information Bottleneck with Application to Deep
Learning [6.206127662604578]
Deep Neural Nets (DNN)は、下流タスク、目的関数、その他のパラメータによって誘導される潜在表現を学習する。
Information Bottleneck (IB)は、データモデリングのための仮説上最適なフレームワークを提供するが、しばしば難解である。
近年のDNNとIBの連携により,VAEにインスパイアされた変分法を相互情報のバウンダリ近似に適用し,敵攻撃に対するロバスト性の向上を実現している。
論文 参考訳（メタデータ） (2024-02-12T13:24:32Z) - Elastic Information Bottleneck [34.90040361806197]
情報ボトルネックは表現学習における情報理論の原則である。
IB正則化器とDIB正則化器の間を補間する弾性情報ボトルネック(EIB)を提案する。
シミュレーションと実データ実験により、IB は IB や DIB よりも優れたドメイン適応結果が得られることが示された。
論文 参考訳（メタデータ） (2023-11-07T12:53:55Z) - Disentangled Representation Learning with Transmitted Information Bottleneck [57.22757813140418]
textbfDisTIB (textbfTransmitted textbfInformation textbfBottleneck for textbfDisd representation learning) は情報圧縮と保存のバランスを保った新しい目的である。
論文 参考訳（メタデータ） (2023-11-03T03:18:40Z) - Generalized Information Bottleneck for Gaussian Variables [6.700873164609009]
ガウス相関変数の場合の正確な解析的 IB 解を導出する。
元のRenyiとJeffreys IBの問題は一般に異なる表現をもたらすが、構造的遷移は同じ臨界トレードオフパラメータで起こる。
論文 参考訳（メタデータ） (2023-03-31T01:38:26Z) - Efficient Alternating Minimization Solvers for Wyner Multi-View
Unsupervised Learning [0.0]
本稿では,計算効率のよい解法の開発を可能にする2つの新しい定式化法を提案する。
提案した解法は, 計算効率, 理論的収束保証, ビュー数による局所最小値複雑性, 最先端技術と比較して, 例外的な精度を提供する。
論文 参考訳（メタデータ） (2023-03-28T10:17:51Z) - Variational Distillation for Multi-View Learning [104.17551354374821]
我々は,多視点表現学習における2つの重要な特徴を利用するために,様々な情報ボトルネックを設計する。
厳密な理論的保証の下で,本手法は,観察とセマンティックラベルの内在的相関の把握を可能にする。
論文 参考訳（メタデータ） (2022-06-20T03:09:46Z) - Handling Distribution Shifts on Graphs: An Invariance Perspective [78.31180235269035]
我々は、グラフ上のOOD問題を定式化し、新しい不変学習手法である探索・拡張リスク最小化(EERM)を開発する。
EERMは、複数の仮想環境からのリスクの分散を最大化するために、敵対的に訓練された複数のコンテキストエクスプローラーを利用する。
理論的に有効なOOD解の保証を示すことによって,本手法の有効性を実証する。
論文 参考訳（メタデータ） (2022-02-05T02:31:01Z) - BCD Nets: Scalable Variational Approaches for Bayesian Causal Discovery [97.79015388276483]
構造方程式モデル(SEM)は、有向非巡回グラフ(DAG)を介して表される因果関係を推論する効果的な枠組みである。
近年の進歩により、観測データからDAGの有効最大点推定が可能となった。
線形ガウス SEM を特徴付ける DAG 上の分布を推定するための変分フレームワークである BCD Nets を提案する。
論文 参考訳（メタデータ） (2021-12-06T03:35:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。