論文の概要: Bounding generalization error with input compression: An empirical study
with infinite-width networks
- arxiv url: http://arxiv.org/abs/2207.09408v1
- Date: Tue, 19 Jul 2022 17:05:02 GMT
- ステータス: 処理完了
- システム内更新日: 2022-07-20 13:13:02.052305
- Title: Bounding generalization error with input compression: An empirical study
with infinite-width networks
- Title（参考訳）: 入力圧縮によるバウンディング一般化誤差:無限幅ネットワークを用いた実験的検討
- Authors: Angus Galloway, Anna Golubeva, Mahmoud Salem, Mihai Nica, Yani
Ioannou, Graham W. Taylor
- Abstract要約: Deep Neural Networks(DNN)のGE(Generalization Error)を推定することは、しばしばホールドアウトデータの可用性に依存する重要なタスクである。
GEに関連する量の探索において,入力層と最終層との相互情報(MI)について検討する。
MIとGEをリンクするために、既存の入力圧縮ベースのGEバウンドが使用される。
- 参考スコア（独自算出の注目度）: 16.17600110257266
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Estimating the Generalization Error (GE) of Deep Neural Networks (DNNs) is an
important task that often relies on availability of held-out data. The ability
to better predict GE based on a single training set may yield overarching DNN
design principles to reduce a reliance on trial-and-error, along with other
performance assessment advantages. In search of a quantity relevant to GE, we
investigate the Mutual Information (MI) between the input and final layer
representations, using the infinite-width DNN limit to bound MI. An existing
input compression-based GE bound is used to link MI and GE. To the best of our
knowledge, this represents the first empirical study of this bound. In our
attempt to empirically falsify the theoretical bound, we find that it is often
tight for best-performing models. Furthermore, it detects randomization of
training labels in many cases, reflects test-time perturbation robustness, and
works well given only few training samples. These results are promising given
that input compression is broadly applicable where MI can be estimated with
confidence.
- Abstract（参考訳）: Deep Neural Networks(DNN)のGE(Generalization Error)を推定することは、しばしばホールドアウトデータの可用性に依存する重要なタスクである。
単一のトレーニングセットに基づいてGEをより正確に予測する能力は、他のパフォーマンス評価の利点とともに、試行錯誤への依存を減らすために、DNN設計原則を階層化する可能性がある。
GEに関連する量を探索するために,入力層と最終層の間の相互情報(MI)を無限幅DNN制限を用いて検討する。
MIとGEをリンクするために、既存の入力圧縮ベースのGEバウンドが使用される。
私たちの知る限りでは、これはこの境界に関する最初の実証的研究である。
理論的境界を実証的にファルシフィケートしようとする試みでは、最良の性能モデルに対してしばしば厳密であることが分かる。
さらに、多くのケースでトレーニングラベルのランダム化を検出し、テスト時の摂動ロバスト性を反映し、わずかなトレーニングサンプルしか与えていない。
これらの結果は、MIを信頼して推定できるような入力圧縮が広く適用可能であることを前提としている。
関連論文リスト
- Slicing Mutual Information Generalization Bounds for Neural Networks [14.48773730230054]
我々は、ディープラーニングアルゴリズムに適した、より厳密な情報理論の一般化バウンダリを導入する。
我々の境界は、標準MI境界よりも有意な計算的および統計的優位性を提供する。
パラメータがランダムな部分空間に正確に横たわる必要がないアルゴリズムに解析を拡張します。
論文 参考訳（メタデータ） (2024-06-06T13:15:37Z) - MAPPING: Debiasing Graph Neural Networks for Fair Node Classification
with Limited Sensitive Information Leakage [1.8238848494579714]
公正ノード分類のためのモデルに依存しない新しい脱バイアスフレームワーク MAPPing を提案する。
以上の結果から,MAPPingは実用性と公正性,および機密情報漏洩のプライバシーリスクとのトレードオフを良好に達成できることが示された。
論文 参考訳（メタデータ） (2024-01-23T14:59:46Z) - Deep Neural Networks Tend To Extrapolate Predictably [51.303814412294514]
ニューラルネットワークの予測は、アウト・オブ・ディストリビューション(OOD)入力に直面した場合、予測不可能で過信される傾向がある。
我々は、入力データがOODになるにつれて、ニューラルネットワークの予測が一定値に向かう傾向があることを観察する。
我々は、OOD入力の存在下でリスクに敏感な意思決定を可能にするために、私たちの洞察を実際に活用する方法を示します。
論文 参考訳（メタデータ） (2023-10-02T03:25:32Z) - Joint Edge-Model Sparse Learning is Provably Efficient for Graph Neural
Networks [89.28881869440433]
本稿では,グラフニューラルネットワーク(GNN)における結合エッジモデルスパース学習の理論的特徴について述べる。
解析学的には、重要なノードをサンプリングし、最小のマグニチュードでプルーニングニューロンをサンプリングすることで、サンプルの複雑さを減らし、テスト精度を損なうことなく収束を改善することができる。
論文 参考訳（メタデータ） (2023-02-06T16:54:20Z) - Energy-based Out-of-Distribution Detection for Graph Neural Networks [76.0242218180483]
我々は,GNNSafeと呼ばれるグラフ上での学習のための,シンプルで強力で効率的なOOD検出モデルを提案する。
GNNSafeは、最先端技術に対するAUROCの改善を最大17.0%で達成しており、そのような未開発領域では単純だが強力なベースラインとして機能する可能性がある。
論文 参考訳（メタデータ） (2023-02-06T16:38:43Z) - A Simple Approach to Improve Single-Model Deep Uncertainty via
Distance-Awareness [33.09831377640498]
本研究では,1つの決定論的表現に基づく1つのネットワークの不確実性向上手法について検討する。
本稿では,現代のDNNにおける距離認識能力を向上させる簡易な手法として,スペクトル正規化ニューラルガウス過程(SNGP)を提案する。
ビジョンと言語理解のベンチマークスイートでは、SNGPは予測、キャリブレーション、ドメイン外検出において、他の単一モデルアプローチよりも優れている。
論文 参考訳（メタデータ） (2022-05-01T05:46:13Z) - On Predicting Generalization using GANs [34.13321525940004]
ディープネットワークの一般化境界の研究は、トレーニングデータセットとネットワークパラメータだけでテストエラーを予測する方法を提供する。
本稿では,GAN(Generative Adversarial Network)を用いて生成した'synthetic data'を用いて,テストエラーを予測できるという考えを考察する。
GANにはよく知られた制限(例えばモード崩壊)があり、データの分布を正確に学ばないことが知られている。
論文 参考訳（メタデータ） (2021-11-28T19:03:21Z) - A Biased Graph Neural Network Sampler with Near-Optimal Regret [57.70126763759996]
グラフニューラルネットワーク(GNN)は、グラフおよびリレーショナルデータにディープネットワークアーキテクチャを適用する手段として登場した。
本論文では,既存の作業に基づいて,GNN近傍サンプリングをマルチアームバンディット問題として扱う。
そこで本研究では,分散を低減し,不安定かつ非限定的な支払いを回避すべく設計されたバイアスをある程度導入した報酬関数を提案する。
論文 参考訳（メタデータ） (2021-03-01T15:55:58Z) - Cauchy-Schwarz Regularized Autoencoder [68.80569889599434]
変分オートエンコーダ(VAE)は、強力で広く使われている生成モデルのクラスである。
GMMに対して解析的に計算できるCauchy-Schwarz分散に基づく新しい制約対象を導入する。
本研究の目的は,密度推定,教師なしクラスタリング,半教師なし学習,顔分析における変分自動エンコーディングモデルの改善である。
論文 参考訳（メタデータ） (2021-01-06T17:36:26Z) - A Survey on Assessing the Generalization Envelope of Deep Neural
Networks: Predictive Uncertainty, Out-of-distribution and Adversarial Samples [77.99182201815763]
ディープニューラルネットワーク(DNN)は多くのアプリケーションで最先端のパフォーマンスを達成する。
入力を受けたDNNが、通常、その決定基準が不透明であるため、正しい出力を提供するかどうかを事前に判断することは困難である。
本調査は,機械学習手法,特にDNNの一般化性能について,大規模フレームワーク内の3つの分野を関連づけるものである。
論文 参考訳（メタデータ） (2020-08-21T09:12:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。