Fugu-MT 論文翻訳(概要): A Probabilistic Representation of DNNs: Bridging Mutual Information and Generalization

論文の概要: A Probabilistic Representation of DNNs: Bridging Mutual Information and Generalization

arxiv url: http://arxiv.org/abs/2106.10262v1
Date: Fri, 18 Jun 2021 17:51:48 GMT
ステータス: 処理完了
システム内更新日: 2021-06-21 14:18:02.007497
Title: A Probabilistic Representation of DNNs: Bridging Mutual Information and Generalization
Title（参考訳）: DNNの確率的表現:相互情報のブリッジと一般化
Authors: Xinjie Lan, Kenneth Barner
Abstract要約: ディープニューラルネットワーク(DNN)の一般化誤差のバウンダリングにおいて,相互情報(MI)が注目されている。本稿では,MIを正確に推定するためのDNNの確率的表現を提案する。一般化のための情報理論的説明を検証し、最先端の緩和よりも厳密な一般化を導出する。
参考スコア（独自算出の注目度）: 0.0
License: http://creativecommons.org/licenses/by-nc-sa/4.0/
Abstract: Recently, Mutual Information (MI) has attracted attention in bounding the generalization error of Deep Neural Networks (DNNs). However, it is intractable to accurately estimate the MI in DNNs, thus most previous works have to relax the MI bound, which in turn weakens the information theoretic explanation for generalization. To address the limitation, this paper introduces a probabilistic representation of DNNs for accurately estimating the MI. Leveraging the proposed MI estimator, we validate the information theoretic explanation for generalization, and derive a tighter generalization bound than the state-of-the-art relaxations.
Abstract（参考訳）: 近年,Deep Neural Networks (DNN) の一般化誤差のバウンダリングにおいて,相互情報(MI)が注目されている。しかし、DNNにおけるMIを正確に推定することは困難であり、従って、これまでのほとんどの研究はMI境界を緩和し、一般化のための情報理論的な説明を弱める必要がある。そこで本研究では,MIを正確に推定するためのDNNの確率的表現を提案する。提案するmi推定器を用いて,一般化のための情報理論的な説明を検証し,最先端の緩和よりも厳密な一般化を導出する。

関連論文リスト

Slicing Mutual Information Generalization Bounds for Neural Networks [14.48773730230054]
我々は、ディープラーニングアルゴリズムに適した、より厳密な情報理論の一般化バウンダリを導入する。我々の境界は、標準MI境界よりも有意な計算的および統計的優位性を提供する。パラメータがランダムな部分空間に正確に横たわる必要がないアルゴリズムに解析を拡張します。
論文参考訳（メタデータ） (2024-06-06T13:15:37Z)
On Generalization Bounds for Deep Compound Gaussian Neural Networks [1.4425878137951238]
Unrolled Deep Neural Network(DNN)は、標準的なDNNよりも優れた解釈性と優れた経験的パフォーマンスを提供する。本稿では,複合ガウス事前情報に基づく非学習型DNNのクラスに対する新しい一般化誤差境界を開発する。現実的な条件下では、最悪の場合、一般化誤差は信号次元で$mathcalO(nsqrt(n))$、ネットワークサイズで$mathcalO(($Network Size$)3/2)$である。
論文参考訳（メタデータ） (2024-02-20T16:01:39Z)
Benign Overfitting in Deep Neural Networks under Lazy Training [72.28294823115502]
データ分布が適切に分離された場合、DNNは分類のためのベイズ最適テスト誤差を達成できることを示す。よりスムーズな関数との補間により、より一般化できることを示す。
論文参考訳（メタデータ） (2023-05-30T19:37:44Z)
Mitigating Relational Bias on Knowledge Graphs [51.346018842327865]
マルチホップバイアスを同時に緩和し,知識グラフにおけるエンティティとリレーションの近接情報を保存するフレームワークであるFair-KGNNを提案する。ジェンダー占有とナショナリティ・サリーバイアスを軽減するために,2つの最先端KGNNモデル(RCCNとCompGCN)を組み込んだFair-KGNNの2例を開発した。
論文参考訳（メタデータ） (2022-11-26T05:55:34Z)
On Leave-One-Out Conditional Mutual Information For Generalization [122.2734338600665]
残余条件付き相互情報(loo-CMI)の新しい尺度に基づく教師付き学習アルゴリズムのための情報理論の一般化境界を導出する。他のCMI境界とは対照的に、我々のloo-CMI境界は容易に計算でき、古典的なout-out-out-cross-validationのような他の概念と関連して解釈できる。ディープラーニングのシナリオにおいて予測された一般化ギャップを評価することにより,境界の質を実証的に検証する。
論文参考訳（メタデータ） (2022-07-01T17:58:29Z)
Confidence Dimension for Deep Learning based on Hoeffding Inequality and Relative Evaluation [44.393256948610016]
我々は,新しい信頼度次元(CD)の概念に基づいて,ディープニューラルネットワーク(DNN)の相対的一般化を測定し,ランク付けするために,複数の因子を用いることを提案する。我々のCDは、全タスクにおいて完全精度のDNNとバイナリニューラルネットワーク(BNN)の両方に対して、一貫した信頼性のある測定値とランキングを得る。
論文参考訳（メタデータ） (2022-03-17T04:43:43Z)
Towards the Explanation of Graph Neural Networks in Digital Pathology with Information Flows [67.23405590815602]
グラフニューラルネットワーク(GNN)は、デジタル病理学において広く採用されている。既存の説明者は、予測に関連する説明的部分グラフを発見する。説明文は、予測に必要であるだけでなく、最も予測可能な領域を明らかにするのに十分である。本稿では, IFEXPLAINERを提案する。
論文参考訳（メタデータ） (2021-12-18T10:19:01Z)
Decomposed Mutual Information Estimation for Contrastive Representation Learning [66.52795579973484]
最近のコントラスト的表現学習法は、基礎となるコンテキストの複数のビュー間の相互情報(MI)を推定することに依存している。そこで本研究では,MI推定問題を1つのビューを段階的により情報的なサブビューに分割することにより,より小さな推定問題の和に分解することを提案する。この式は無条件MI項と条件MI項の和を含み、それぞれが全MIのモデストチャンクを測定する。 DEMIは、通常の非分解コントラスト境界よりも多くのMIを合成条件で捕捉できることを示す。
論文参考訳（メタデータ） (2021-06-25T03:19:25Z)
Estimating the Generalization in Deep Neural Networks via Sparsity [15.986873241115651]
本稿では,ネットワークの分散度に基づいて一般化ギャップを推定する新しい手法を提案する。一般的なデータセット上で幅広い一般化ギャップを持つDNNを訓練することにより、DNNの一般化ギャップを推定する上で、我々の重要な量と線形モデルが効率的なツールであることを示す。
論文参考訳（メタデータ） (2021-04-02T02:10:32Z)
Advantage of Deep Neural Networks for Estimating Functions with Singularity on Hypersurfaces [23.21591478556582]
我々は、ディープニューラルネットワーク(DNN)が他の標準手法よりも優れている理由を説明するために、ミニマックスレート分析を開発する。本研究では,超曲面上の特異点を持つ非滑らか関数のクラスを推定することにより,このギャップを埋めようとしている。
論文参考訳（メタデータ） (2020-11-04T12:51:14Z)
A Survey on Assessing the Generalization Envelope of Deep Neural Networks: Predictive Uncertainty, Out-of-distribution and Adversarial Samples [77.99182201815763]
ディープニューラルネットワーク(DNN)は多くのアプリケーションで最先端のパフォーマンスを達成する。入力を受けたDNNが、通常、その決定基準が不透明であるため、正しい出力を提供するかどうかを事前に判断することは困難である。本調査は,機械学習手法,特にDNNの一般化性能について,大規模フレームワーク内の3つの分野を関連づけるものである。
論文参考訳（メタデータ） (2020-08-21T09:12:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。