論文の概要: Disentangled Information Bottleneck

• arxiv url: http://arxiv.org/abs/2012.07372v3
• Date: Tue, 22 Dec 2020 03:06:22 GMT
• ステータス: 処理完了
• システム内更新日: 2021-05-09 04:49:48.730721
• Title: Disentangled Information Bottleneck
• Title（参考訳）: 切り離された情報ボトルネック
• Authors: Ziqi Pan, Li Niu, Jianfu Zhang, Liqing Zhang
• Abstract要約: ターゲット予測性能の損失を伴わずに、最大圧縮源に一貫性のあるDisentangled Information Bottleneck(DisenIB)を紹介します。 提案手法は最大圧縮に一貫性があり, 一般化, 敵攻撃に対する堅牢性, 分布外検出, 教師付きディエンタングリングの点で良好に機能する。
• 参考スコア（独自算出の注目度）: 22.587164077221917
• License: http://creativecommons.org/publicdomain/zero/1.0/
• Abstract: The information bottleneck (IB) method is a technique for extracting information that is relevant for predicting the target random variable from the source random variable, which is typically implemented by optimizing the IB Lagrangian that balances the compression and prediction terms. However, the IB Lagrangian is hard to optimize, and multiple trials for tuning values of Lagrangian multiplier are required. Moreover, we show that the prediction performance strictly decreases as the compression gets stronger during optimizing the IB Lagrangian. In this paper, we implement the IB method from the perspective of supervised disentangling. Specifically, we introduce Disentangled Information Bottleneck (DisenIB) that is consistent on compressing source maximally without target prediction performance loss (maximum compression). Theoretical and experimental results demonstrate that our method is consistent on maximum compression, and performs well in terms of generalization, robustness to adversarial attack, out-of-distribution detection, and supervised disentangling.
• Abstract（参考訳）: 情報ボトルネック(インフォメーションボトルネック、英: information bottleneck、ib)は、ソース確率変数からターゲット確率変数の予測に関連する情報を抽出する手法であり、通常、圧縮と予測条件のバランスをとるibラグランジアンを最適化して実装される。 しかし、IBラグランジアンは最適化が困難であり、ラグランジアン乗算器の値を調整するための複数の試行が必要である。 さらに,IBラグランジアン最適化時に圧縮が強くなるにつれて,予測性能が厳密に低下することを示す。 本稿では,教師付きアンタングリングの観点からIB法を実装した。 具体的には、ターゲット予測性能損失(最大圧縮)を伴わずに、ソースの最大圧縮に一貫した Disentangled Information Bottleneck (DisenIB) を導入する。 理論および実験により,本手法は最大圧縮に一貫性があり,一般化,敵の攻撃に対する頑健性,分散検出,教師付き不一致の点で良好に機能することが示された。

関連論文リスト

• Distributed Markov Chain Monte Carlo Sampling based on the Alternating Direction Method of Multipliers [143.6249073384419]
  本論文では,乗算器の交互方向法に基づく分散サンプリング手法を提案する。 我々は,アルゴリズムの収束に関する理論的保証と,その最先端性に関する実験的証拠の両方を提供する。 シミュレーションでは,線形回帰タスクとロジスティック回帰タスクにアルゴリズムを配置し,その高速収束を既存の勾配法と比較した。
  論文  参考訳（メタデータ） (2024-01-29T02:08:40Z)
• Stochastic Bayesian Optimization with Unknown Continuous Context Distribution via Kernel Density Estimation [28.413085548038932]
  本稿では,カーネル密度推定を用いて連続文脈変数の確率密度関数(PDF)をオンラインで学習する2つのアルゴリズムを提案する。 理論的結果は、両方のアルゴリズムが期待する目的に対して準線形ベイズ累積後悔を持つことを示している。
  論文  参考訳（メタデータ） (2023-12-16T11:32:28Z)
• Robust Stochastic Optimization via Gradient Quantile Clipping [6.2844649973308835]
  グラディエントDescent(SGD)のための量子クリッピング戦略を導入する。 通常のクリッピングチェーンとして、グラデーション・ニュー・アウトリージを使用します。 本稿では,Huberiles を用いたアルゴリズムの実装を提案する。
  論文  参考訳（メタデータ） (2023-09-29T15:24:48Z)
• Towards Efficient and Accurate Approximation: Tensor Decomposition Based on Randomized Block Krylov Iteration [27.85452105378894]
  本研究は, rBKI-TKに基づく階層テンソルリング分解を用いて, rBKI-TKを精度よく近似するタッカー分解(rBKI-TK)を設計し, 大規模データの効率的な圧縮を行う。 データ圧縮と復調の両方において,提案手法の効率性,精度,スケーラビリティを数値的に示す。
  論文  参考訳（メタデータ） (2022-11-27T13:45:28Z)
• Sampling with Mollified Interaction Energy Descent [57.00583139477843]
  モーフィファイド相互作用エネルギー降下(MIED)と呼ばれる新しい最適化に基づくサンプリング手法を提案する。 MIEDは、モル化相互作用エネルギー(MIE)と呼ばれる確率測度に関する新しいクラスのエネルギーを最小化する 我々は,制約のないサンプリング問題に対して,我々のアルゴリズムがSVGDのような既存の粒子ベースアルゴリズムと同等に動作することを示す。
  論文  参考訳（メタデータ） (2022-10-24T16:54:18Z)
• Unified Multivariate Gaussian Mixture for Efficient Neural Image Compression [151.3826781154146]
  先行変数と超優先度を持つ潜伏変数は、変動画像圧縮において重要な問題である。 ベクトル化された視点で潜伏変数を観察する際、相関関係や相関関係は存在する。 当社のモデルでは、速度歪曲性能が向上し、圧縮速度が3.18倍に向上した。
  論文  参考訳（メタデータ） (2022-03-21T11:44:17Z)
• Optimizing Information-theoretical Generalization Bounds via Anisotropic Noise in SGLD [73.55632827932101]
  SGLDにおけるノイズ構造を操作することにより,情報理論の一般化を最適化する。 低経験的リスクを保証するために制約を課すことで、最適なノイズ共分散が期待される勾配共分散の平方根であることを証明する。
  論文  参考訳（メタデータ） (2021-10-26T15:02:27Z)
• Differentiable Annealed Importance Sampling and the Perils of Gradient Noise [68.44523807580438]
  Annealed importance sample (AIS) と関連するアルゴリズムは、限界推定のための非常に効果的なツールである。 差別性は、目的として限界確率を最適化する可能性を認めるため、望ましい性質である。 我々はメトロポリス・ハスティングスのステップを放棄して微分可能アルゴリズムを提案し、ミニバッチ計算をさらに解き放つ。
  論文  参考訳（メタデータ） (2021-07-21T17:10:14Z)
• Adversarial Information Bottleneck [2.66512000865131]
  情報圧縮と予測の面でディープラーニングを説明するために、情報ボトルネック(IB)原則が採用されています。 以前の方法は、表現を学習するためにランダムノイズを導入してIB原理を最適化することを試みた。 本稿では,表現の基盤となる分布について,明示的な仮定を伴わない逆情報ボトルネック(AIB)手法を提案する。
  論文  参考訳（メタデータ） (2021-02-28T03:14:56Z)
• Efficient Semi-Implicit Variational Inference [65.07058307271329]
  効率的でスケーラブルな半単純外挿 (SIVI) を提案する。 本手法はSIVIの証拠を低勾配値の厳密な推測にマッピングする。
  論文  参考訳（メタデータ） (2021-01-15T11:39:09Z)
• On Compression Principle and Bayesian Optimization for Neural Networks [0.0]
  本稿では,全てのデータとモデル定義の合計圧縮メッセージ長を最小化しつつ,デオードビリティを保証しながら,最適な予測モデルを提案する圧縮原理を提案する。 圧縮原理によって要求される最適ネットワーク次元を求めることができる連続的な次元削減にドロップアウトが利用できることを示す。
  論文  参考訳（メタデータ） (2020-06-23T03:23:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。