論文の概要: Training Normalizing Flows with the Information Bottleneck for Competitive Generative Classification

• arxiv url: http://arxiv.org/abs/2001.06448v5
• Date: Tue, 12 Jan 2021 15:01:24 GMT
• ステータス: 処理完了
• システム内更新日: 2023-01-10 09:59:32.564884
• Title: Training Normalizing Flows with the Information Bottleneck for Competitive Generative Classification
• Title（参考訳）: 競争型生成分類のための情報ボトルネックを用いた正規化流れの訓練
• Authors: Lynton Ardizzone, Radek Mackowiak, Carsten Rother, Ullrich K\"othe
• Abstract要約: IB目標を用いてINNを訓練する条件正規化フローのクラスであるIB-INNの理論と方法論を開発する。 本研究では,これらのモデルの特性を実験的に検討し,特に生成型分類器として利用した。
• 参考スコア（独自算出の注目度）: 31.964489116544947
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The Information Bottleneck (IB) objective uses information theory to formulate a task-performance versus robustness trade-off. It has been successfully applied in the standard discriminative classification setting. We pose the question whether the IB can also be used to train generative likelihood models such as normalizing flows. Since normalizing flows use invertible network architectures (INNs), they are information-preserving by construction. This seems contradictory to the idea of a bottleneck. In this work, firstly, we develop the theory and methodology of IB-INNs, a class of conditional normalizing flows where INNs are trained using the IB objective: Introducing a small amount of {\em controlled} information loss allows for an asymptotically exact formulation of the IB, while keeping the INN's generative capabilities intact. Secondly, we investigate the properties of these models experimentally, specifically used as generative classifiers. This model class offers advantages such as improved uncertainty quantification and out-of-distribution detection, but traditional generative classifier solutions suffer considerably in classification accuracy. We find the trade-off parameter in the IB controls a mix of generative capabilities and accuracy close to standard classifiers. Empirically, our uncertainty estimates in this mixed regime compare favourably to conventional generative and discriminative classifiers.
• Abstract（参考訳）: Information Bottleneck (IB) の目的は、情報理論を用いてタスクパフォーマンス対堅牢性トレードオフを定式化することである。 標準判別分類設定においてうまく適用されている。 IBが正規化フローなどの生成可能性モデルのトレーニングにも利用できるかどうかという疑問が提起される。 正規化フローは非可逆ネットワークアーキテクチャ(INN)を使用するため、構築によって情報保存される。 これはボトルネックの概念と矛盾しているようだ。 本稿では,まず,innをトレーニングする条件付き正規化フローのクラスであるib-innsの理論と方法論を開発する。 少数の"em control"情報損失を導入することで,innの生成能力を無傷に保ちながら,ibの漸近的に正確な定式化が可能になる。 次に,これらのモデルの性質を実験的に検討し,特に生成的分類器として用いた。 このモデルクラスは、不確実性定量化の改善や分布外検出などの利点を提供するが、従来の生成型分類法は分類精度がかなり低い。 IBのトレードオフパラメータは、標準分類器に近い生成能力と精度の混合を制御している。 経験的に、この混合状態における我々の不確実性推定は、従来の生成的および識別的分類器と好意的に比較できる。

関連論文リスト

• Obtaining Explainable Classification Models using Distributionally Robust Optimization [12.511155426574563]
  特徴値規則の集合を用いて構築した一般化線形モデルについて検討する。 ルールセットの間隔と予測精度の間には、固有のトレードオフが存在する。 我々はこれらの競合する要因に同時に対処するルールセットの集合を学習するための新しい定式化を提案する。
  論文  参考訳（メタデータ） (2023-11-03T15:45:34Z)
• Variational Classification [51.2541371924591]
  我々は,変分オートエンコーダの訓練に用いるエビデンスローバウンド(ELBO)に類似した,モデルの訓練を目的とした変分目的を導出する。 軟質マックス層への入力を潜伏変数のサンプルとして扱うことで, 抽象化された視点から, 潜在的な矛盾が明らかとなった。 我々は、標準ソフトマックス層に見られる暗黙の仮定の代わりに、選択された潜在分布を誘導する。
  論文  参考訳（メタデータ） (2023-05-17T17:47:19Z)
• Concurrent Misclassification and Out-of-Distribution Detection for Semantic Segmentation via Energy-Based Normalizing Flow [0.0]
  最近のセマンティックセグメンテーションモデルは、トレーニングデータセットの分布に類似したテスト時間例を正確に分類する。 本稿では,正規化フローフレームワークに依存するIDMとOOD検出を同時に行うための生成モデルを提案する。 FlowEneDetは、事前トレーニングされたDeepLabV3+およびSegFormerセマンティックセグメンテーションモデルに適用した場合、IDM/OOD検出におけるCityscapes、Cityscapes-C、FishyScapes、SegmentMeIfYouCanベンチマークの有望な結果を達成する。
  論文  参考訳（メタデータ） (2023-05-16T17:02:57Z)
• Mutual Information Learned Classifiers: an Information-theoretic Viewpoint of Training Deep Learning Classification Systems [9.660129425150926]
  クロスエントロピー損失は、重度のオーバーフィッティング動作を示すモデルを見つけるのに容易である。 本稿では,既存のDNN分類器のクロスエントロピー損失最小化が,基礎となるデータ分布の条件エントロピーを本質的に学習することを証明する。 ラベルと入力の相互情報を学習することで、DNN分類器を訓練する相互情報学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-10-03T15:09:19Z)
• Robust Neural Network Classification via Double Regularization [2.41710192205034]
  本稿では、分類モデルの複雑さに対するペナルティと、学習観察の最適な再重み付けを組み合わせた、ニューラルネットワークトレーニング損失の新しい二重正則化を提案する。 我々は, (i) MNIST と (ii) CIFAR-10 のニューラルネット分類のための DRFit について, 両者の相違点について実証した。
  論文  参考訳（メタデータ） (2021-12-15T13:19:20Z)
• Task-agnostic Continual Learning with Hybrid Probabilistic Models [75.01205414507243]
  分類のための連続学習のためのハイブリッド生成識別手法であるHCLを提案する。 フローは、データの配布を学習し、分類を行い、タスクの変更を特定し、忘れることを避けるために使用される。 本研究では,スプリット-MNIST,スプリット-CIFAR,SVHN-MNISTなどの連続学習ベンチマークにおいて,HCLの強い性能を示す。
  論文  参考訳（メタデータ） (2021-06-24T05:19:26Z)
• Evaluating State-of-the-Art Classification Models Against Bayes Optimality [106.50867011164584]
  正規化フローを用いて学習した生成モデルのベイズ誤差を正確に計算できることを示す。 われわれの手法を用いて、最先端の分類モデルについて徹底的な調査を行う。
  論文  参考訳（メタデータ） (2021-06-07T06:21:20Z)
• Learning Robust Variational Information Bottleneck with Reference [12.743882133781598]
  変動情報ボトルネック(VIB)を訓練する新しいアプローチを提案し、その堅牢性を敵対的な摂動に改善する。 事前に訓練された参照ニューラルネットワークから得られるソフトラベルを用いて、トレーニングフェーズの分類クラス情報を洗練します。
  論文  参考訳（メタデータ） (2021-04-29T14:46:09Z)
• Generalized Zero-Shot Learning via VAE-Conditioned Generative Flow [83.27681781274406]
  一般化されたゼロショット学習は、意味的記述から視覚的表現へ知識を移すことによって、目に見えないクラスと見えないクラスの両方を認識することを目的としている。 近年のGZSLはデータ不足問題として定式化されており、主にGANやVAEを採用して、目に見えないクラスの視覚的特徴を生成する。 GZSLのための条件付き生成フロー,すなわちVAE-Conditioned Generative Flow (VAE-cFlow)を提案する。
  論文  参考訳（メタデータ） (2020-09-01T09:12:31Z)
• Unlabelled Data Improves Bayesian Uncertainty Calibration under Covariate Shift [100.52588638477862]
  後続正則化に基づく近似ベイズ推定法を開発した。 前立腺癌の予後モデルを世界規模で導入する上で,本手法の有用性を実証する。
  論文  参考訳（メタデータ） (2020-06-26T13:50:19Z)
• Semi-Supervised Learning with Normalizing Flows [54.376602201489995]
  FlowGMMは、フローの正規化を伴う生成半教師付き学習におけるエンドツーエンドのアプローチである。 我々は AG-News や Yahoo Answers のテキストデータなど,幅広いアプリケーションに対して有望な結果を示す。
  論文  参考訳（メタデータ） (2019-12-30T17:36:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。