Fugu-MT 論文翻訳(概要): Deep Deterministic Information Bottleneck with Matrix-based Entropy Functional

論文の概要: Deep Deterministic Information Bottleneck with Matrix-based Entropy Functional

arxiv url: http://arxiv.org/abs/2102.00533v1
Date: Sun, 31 Jan 2021 20:54:49 GMT
ステータス: 処理完了
システム内更新日: 2021-02-04 09:56:31.660475
Title: Deep Deterministic Information Bottleneck with Matrix-based Entropy Functional
Title（参考訳）: 行列型エントロピー関数を用いた深部決定論的情報ボトルネック
Authors: Xi Yu, Shujian Yu, Jose C. Principe
Abstract要約: 本手法は,変分推論や分布推定を避けるため,本手法をDIB(Deep Deterministic Information Bottleneck)と呼ぶ。 DIBでトレーニングされたディープニューラルネットワークは、変動目標と他の形式の正規化でトレーニングされたニューラルネットワークよりも優れていることを示す。
参考スコア（独自算出の注目度）: 9.637714330461037
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: We introduce the matrix-based Renyi's $\alpha$-order entropy functional to parameterize Tishby et al. information bottleneck (IB) principle with a neural network. We term our methodology Deep Deterministic Information Bottleneck (DIB), as it avoids variational inference and distribution assumption. We show that deep neural networks trained with DIB outperform the variational objective counterpart and those that are trained with other forms of regularization, in terms of generalization performance and robustness to adversarial attack.Code available at https://github.com/yuxi120407/DIB
Abstract（参考訳）: 行列ベースのRenyiの$\alpha$-order entropy関数を導入し、Tishbyらをパラメータ化する。ニューラルネットワークによる情報ボトルネック(IB)の原則。本稿では,変分推論や分布推定を避けるため,本手法をDIB(Deep Deterministic Information Bottleneck)と呼ぶ。我々は、DIBで訓練されたディープニューラルネットワークが、一般化のパフォーマンスと敵対攻撃に対する堅牢性の観点から、変分客観的なものと他の形式の正規化で訓練されたものよりも優れていることを示しています。

関連論文リスト

Alpha-VI DeepONet: A prior-robust variational Bayesian approach for enhancing DeepONets with uncertainty quantification [0.0]
一般化変分推論(GVI)を組み込んだ新しいディープオペレータネットワーク(DeepONet)を提案する。分岐ネットワークとトランクネットワークのビルディングブロックとしてベイズニューラルネットワークを組み込むことで,不確実な定量化が可能なDeepONetを実現する。変動目的関数の修正は平均二乗誤差を最小化する点で優れた結果をもたらすことを示す。
論文参考訳（メタデータ） (2024-08-01T16:22:03Z)
Assessing Neural Network Representations During Training Using Noise-Resilient Diffusion Spectral Entropy [55.014926694758195]
ニューラルネットワークにおけるエントロピーと相互情報は、学習プロセスに関する豊富な情報を提供する。データ幾何を利用して基礎となる多様体にアクセスし、これらの情報理論測度を確実に計算する。本研究は,高次元シミュレーションデータにおける固有次元と関係強度の耐雑音性の測定結果である。
論文参考訳（メタデータ） (2023-12-04T01:32:42Z)
Spectral-Bias and Kernel-Task Alignment in Physically Informed Neural Networks [4.604003661048267]
物理情報ニューラルネットワーク(PINN)は微分方程式の解法として有望である。この重要な問題に光を当てる包括的な理論的枠組みを提案する。我々は、PINN予測を大容量データセット限界で支配する積分微分方程式を導出する。
論文参考訳（メタデータ） (2023-07-12T18:00:02Z)
Neural networks trained with SGD learn distributions of increasing complexity [78.30235086565388]
勾配降下法を用いてトレーニングされたニューラルネットワークは、まず低次入力統計を用いて入力を分類する。その後、トレーニング中にのみ高次の統計を利用する。本稿では,DSBと他の単純度バイアスとの関係について論じ,学習における普遍性の原理にその意味を考察する。
論文参考訳（メタデータ） (2022-11-21T15:27:22Z)
Look beyond labels: Incorporating functional summary information in Bayesian neural networks [11.874130244353253]
予測確率に関する要約情報を組み込むための簡単な手法を提案する。利用可能な要約情報は、拡張データとして組み込まれ、ディリクレプロセスでモデル化される。本稿では,タスクの難易度やクラス不均衡をモデルに示す方法について述べる。
論文参考訳（メタデータ） (2022-07-04T07:06:45Z)
Scaling Structured Inference with Randomization [64.18063627155128]
本稿では、構造化されたモデルを数万の潜在状態に拡張するためにランダム化された動的プログラミング(RDP)のファミリを提案する。我々の手法は古典的DPベースの推論に広く適用できる。また、自動微分とも互換性があり、ニューラルネットワークとシームレスに統合できる。
論文参考訳（メタデータ） (2021-12-07T11:26:41Z)
End-to-End Learning of Deep Kernel Acquisition Functions for Bayesian Optimization [39.56814839510978]
ニューラルネットワークに基づくカーネルを用いたベイズ最適化のためのメタラーニング手法を提案する。我々のモデルは、複数のタスクから強化学習フレームワークによって訓練されている。 3つのテキスト文書データセットを用いた実験において,提案手法が既存の手法よりも優れたBO性能を実現することを示す。
論文参考訳（メタデータ） (2021-11-01T00:42:31Z)
Gated Information Bottleneck for Generalization in Sequential Environments [13.795129636387623]
深層ニューラルネットワークは、基礎となるデータ分布がトレーニングセットのそれと異なる場合、一般化が悪く、目に見えない環境に苦しむ。ゲート情報ボトルネック(GIB)と呼ばれるニューラルネットワークに基づく新しいISBアプローチを提案する。我々は、敵対的ロバスト性およびアウト・オブ・ディストリビューション検出において、他の一般的なニューラルネットワークベースのIBアプローチよりもGIBの方が優れていることを実証的に示す。
論文参考訳（メタデータ） (2021-10-12T14:58:38Z)
Rectified Linear Postsynaptic Potential Function for Backpropagation in Deep Spiking Neural Networks [55.0627904986664]
スパイキングニューラルネットワーク(SNN)は、時間的スパイクパターンを用いて情報を表現し、伝達する。本稿では,情報符号化,シナプス可塑性,意思決定におけるスパイクタイミングダイナミクスの寄与について検討し,将来のDeepSNNやニューロモルフィックハードウェアシステムの設計への新たな視点を提供する。
論文参考訳（メタデータ） (2020-03-26T11:13:07Z)
Uncertainty Estimation Using a Single Deep Deterministic Neural Network [66.26231423824089]
本稿では,1回のフォワードパスで,テスト時に分布データポイントの発見と拒否が可能な決定論的ディープモデルを訓練する手法を提案する。我々は,新しい損失関数とセントロイド更新方式を用いて,これらをスケールトレーニングし,ソフトマックスモデルの精度に適合させる。
論文参考訳（メタデータ） (2020-03-04T12:27:36Z)
MSE-Optimal Neural Network Initialization via Layer Fusion [68.72356718879428]
ディープニューラルネットワークは、さまざまな分類と推論タスクに対して最先端のパフォーマンスを達成する。グラデーションと非進化性の組み合わせは、学習を新しい問題の影響を受けやすいものにする。確率変数を用いて学習した深層ネットワークの近傍層を融合する手法を提案する。
論文参考訳（メタデータ） (2020-01-28T18:25:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。