論文の概要: Error Bounds of Supervised Classification from Information-Theoretic Perspective
- arxiv url: http://arxiv.org/abs/2406.04567v3
- Date: Mon, 07 Oct 2024 05:07:07 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-10-08 13:09:35.223441
- Title: Error Bounds of Supervised Classification from Information-Theoretic Perspective
- Title(参考訳): 情報理論からみた教師付き分類の誤り境界
- Authors: Binchuan Qi,
- Abstract要約: 我々は、情報理論の観点から、教師付き分類にディープニューラルネットワークを使用する場合の予測リスクのバウンダリについて検討する。
経験的リスクをさらに分解したモデルリスクとフィッティングエラーを導入する。
- 参考スコア(独自算出の注目度): 0.0
- License:
- Abstract: In this paper, we explore bounds on the expected risk when using deep neural networks for supervised classification from an information theoretic perspective. Firstly, we introduce model risk and fitting error, which are derived from further decomposing the empirical risk. Model risk represents the expected value of the loss under the model's predicted probabilities and is exclusively dependent on the model. Fitting error measures the disparity between the empirical risk and model risk. Then, we derive the upper bound on fitting error, which links the back-propagated gradient and the model's parameter count with the fitting error. Furthermore, we demonstrate that the generalization errors are bounded by the classification uncertainty, which is characterized by both the smoothness of the distribution and the sample size. Based on the bounds on fitting error and generalization, by utilizing the triangle inequality, we establish an upper bound on the expected risk. This bound is applied to provide theoretical explanations for overparameterization, non-convex optimization and flat minima in deep learning. Finally, empirical verification confirms a significant positive correlation between the derived theoretical bounds and the practical expected risk, thereby affirming the practical relevance of the theoretical findings.
- Abstract(参考訳): 本稿では,情報理論の観点から,深層ニューラルネットワークを用いた教師付き分類における予測リスクの限界について検討する。
まず、モデルリスクとフィッティングエラーを紹介し、これは経験的リスクをさらに分解することに由来する。
モデルリスクは、モデルが予測する確率の下での損失の期待値を表し、モデルにのみ依存する。
フィッティングエラーは、経験的リスクとモデルリスクの相違を測定する。
そこで, 後続勾配とモデルのパラメータ数と, 嵌合誤差を関連づけるアッパーバウンダリを導出する。
さらに, 一般化誤差は, 分布の滑らかさとサンプルサイズの両方を特徴とする分類の不確実性によって境界づけられていることを示す。
適合誤差と一般化のバウンダリに基づいて、三角形の不等式を利用して、期待されるリスクの上限を確立する。
この境界は、オーバーパラメータ化、非凸最適化、およびディープラーニングにおけるフラットミニマの理論的説明を提供するために適用される。
最後に、実験による検証により、導出した理論的境界と実用的予測リスクとの間に有意な正の相関が確認され、理論的結果の実用的関連性が確認される。
関連論文リスト
- General Distribution Learning: A theoretical framework for Deep Learning [0.0]
本稿では,機械学習の統計的タスクに対処する新しい理論学習フレームワークである一般分布学習(GD Learning)を評価する。
GDラーニングは、推定の真の基礎となる確率を推定し、カテゴリに適合するモデルを使用することに焦点を当てる。
本稿では,GD学習フレームワークにおける推定誤差,適合誤差,学習誤差の上限について検討する。
論文 参考訳(メタデータ) (2024-06-09T06:49:22Z) - Neural Network Approximation for Pessimistic Offline Reinforcement
Learning [17.756108291816908]
一般ニューラルネットワーク近似を用いた悲観的オフラインRLの非漸近的推定誤差を提案する。
その結果, 推定誤差は2つの部分から構成されることがわかった。第1は, 部分的に制御可能な集束率でサンプルサイズに所望の速度で0に収束し, 第2は残留制約が厳密であれば無視可能である。
論文 参考訳(メタデータ) (2023-12-19T05:17:27Z) - A PAC-Bayesian Perspective on the Interpolating Information Criterion [54.548058449535155]
補間系の性能に影響を及ぼす要因を特徴付ける一般モデルのクラスに対して,PAC-Bayes境界がいかに得られるかを示す。
オーバーパラメータ化モデルに対するテスト誤差が、モデルとパラメータの初期化スキームの組み合わせによって課される暗黙の正規化の品質に依存するかの定量化を行う。
論文 参考訳(メタデータ) (2023-11-13T01:48:08Z) - Benign Overfitting in Deep Neural Networks under Lazy Training [72.28294823115502]
データ分布が適切に分離された場合、DNNは分類のためのベイズ最適テスト誤差を達成できることを示す。
よりスムーズな関数との補間により、より一般化できることを示す。
論文 参考訳(メタデータ) (2023-05-30T19:37:44Z) - Stability and Generalization Analysis of Gradient Methods for Shallow
Neural Networks [59.142826407441106]
本稿では,アルゴリズム安定性の概念を活用して,浅層ニューラルネットワーク(SNN)の一般化挙動について検討する。
我々は、SNNを訓練するために勾配降下(GD)と勾配降下(SGD)を考慮する。
論文 参考訳(メタデータ) (2022-09-19T18:48:00Z) - The Interplay Between Implicit Bias and Benign Overfitting in Two-Layer
Linear Networks [51.1848572349154]
ノイズの多いデータに完全に適合するニューラルネットワークモデルは、見当たらないテストデータにうまく一般化できる。
我々は,2層線形ニューラルネットワークを2乗損失の勾配流で補間し,余剰リスクを導出する。
論文 参考訳(メタデータ) (2021-08-25T22:01:01Z) - Understanding Overparameterization in Generative Adversarial Networks [56.57403335510056]
generative adversarial network (gans) は、非凹型ミニマックス最適化問題を訓練するために用いられる。
ある理論は、グローバル最適解に対する勾配降下 (gd) の重要性を示している。
ニューラルネットワークジェネレータと線形判別器を併用した多層GANにおいて、GDAは、基礎となる非凹面min-max問題の大域的なサドル点に収束することを示す。
論文 参考訳(メタデータ) (2021-04-12T16:23:37Z) - CASTLE: Regularization via Auxiliary Causal Graph Discovery [89.74800176981842]
因果構造学習(CASTLE)の正規化を導入し,変数間の因果関係を共同学習することでニューラルネットワークの正規化を提案する。
CASTLEは因果的隣り合いを持つ因果的DAGの特徴のみを効率的に再構成する一方、再構成ベース正規化器は全ての入力特徴を過度に再構成する。
論文 参考訳(メタデータ) (2020-09-28T09:49:38Z) - An Optimal Statistical and Computational Framework for Generalized
Tensor Estimation [10.899518267165666]
本稿では,低ランクテンソル推定問題に対するフレキシブルなフレームワークについて述べる。
計算画像、ゲノミクス、ネットワーク解析の応用から多くの重要な例を含む。
論文 参考訳(メタデータ) (2020-02-26T01:54:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。