論文の概要: General Distribution Learning: A theoretical framework for Deep Learning
- arxiv url: http://arxiv.org/abs/2406.05666v5
- Date: Thu, 18 Jul 2024 08:11:28 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-19 20:22:33.591842
- Title: General Distribution Learning: A theoretical framework for Deep Learning
- Title(参考訳): 一般配電学習 : ディープラーニングの理論的枠組み
- Authors: Binchuan Qi,
- Abstract要約: 本稿では,機械学習の統計的タスクに対処する新しい理論学習フレームワークである一般分布学習(GD Learning)を評価する。
GDラーニングは、推定の真の基礎となる確率を推定し、カテゴリに適合するモデルを使用することに焦点を当てる。
本稿では,GD学習フレームワークにおける推定誤差,適合誤差,学習誤差の上限について検討する。
- 参考スコア(独自算出の注目度): 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: This paper introduces General Distribution Learning (GD learning), a novel theoretical learning framework designed to address a comprehensive range of machine learning and statistical tasks, including classification, regression, and parameter estimation. GD learning focuses on estimating the true underlying probability distribution of dataset and using models to fit the estimated parameters of the distribution. The learning error in GD learning is thus decomposed into two distinct categories: estimation error and fitting error. The estimation error, which stems from the constraints of finite sampling, limited prior knowledge, and the estimation algorithm's inherent limitations, quantifies the discrepancy between the true distribution and its estimate. The fitting error can be attributed to model's capacity limitation and the performance limitation of the optimization algorithm, which evaluates the deviation of the model output from the fitted objective. To address the challenge of non-convexity in the optimization of learning error, we introduce the standard loss function and demonstrate that, when employing this function, global optimal solutions in non-convex optimization can be approached by minimizing the gradient norm and the structural error. Moreover, we demonstrate that the estimation error is determined by the uncertainty of the estimate $q$, and propose the minimum uncertainty principle to obtain an optimal estimate of the true distribution. We further provide upper bounds for the estimation error, fitting error, and learning error within the GD learning framework. Ultimately, our findings are applied to offer theoretical explanations for several unanswered questions on deep learning, including overparameterization, non-convex optimization, flat minima, dynamic isometry condition and other techniques in deep learning.
- Abstract(参考訳): 本稿では、分類、回帰、パラメータ推定を含む、機械学習と統計タスクの包括的範囲に対処するために設計された、新しい理論学習フレームワークであるGeneral Distribution Learning(GD Learning)を紹介する。
GDラーニングは、データセットの真の基礎となる確率分布を推定し、推定された分布パラメータに適合するモデルを使用することに重点を置いている。
したがって、GD学習における学習誤差は、推定誤差と適合誤差の2つの異なるカテゴリに分解される。
推定誤差は、有限サンプリングの制約、限定された事前知識、および推定アルゴリズム固有の制約に起因し、真の分布と推定との相違を定量化する。
フィッティング誤差は、モデルのキャパシティ制限と最適化アルゴリズムの性能制限に起因し、フィッティング対象からのモデル出力の偏差を評価することができる。
学習誤差の最適化における非凸性の問題に対処するために、標準損失関数を導入し、この関数を用いることで、非凸最適化における大域的最適解が、勾配ノルムと構造誤差を最小化することで、アプローチできることを実証する。
さらに,推定誤差が$q$の不確実性によって決定されることを示し,真分布の最適推定値を得るための最小不確実性原理を提案する。
さらに,GD学習フレームワークにおける推定誤差,適合誤差,学習誤差の上限も提供する。
本研究は, オーバーパラメータ化, 非凸最適化, フラットミニマ, 動的等尺条件など, ディープラーニングに関するいくつかの未解決問題に対する理論的説明を行うために応用された。
関連論文リスト
- Error Bounds of Supervised Classification from Information-Theoretic Perspective [5.281849820329249]
誤差は, 分布の滑らかさとサンプルサイズの影響を受け, 予測されるリスクの上限となる。
実験による検証により, 導出理論境界と実用的予測リスクとの間に有意な正の相関が認められた。
論文 参考訳(メタデータ) (2024-06-07T01:07:35Z) - Learning Latent Graph Structures and their Uncertainty [63.95971478893842]
グラフニューラルネットワーク(GNN)は、モデル精度を高めるために帰納バイアスとしてリレーショナル情報を使用する。
課題関連関係が不明なため,下流予測タスクを解きながら学習するためのグラフ構造学習手法が提案されている。
論文 参考訳(メタデータ) (2024-05-30T10:49:22Z) - C-Learner: Constrained Learning for Causal Inference and Semiparametric Statistics [5.395560682099634]
本稿では, 最適プラグイン推定器に対して, ニュアンスパラメータ推定に対する推定器の1次誤差がゼロであるという制約の下で, 最適プラグイン推定器の補正手法を提案する。
C-Learner”と呼ばれる私たちの半推論アプローチは、ニューラルネットワークやツリーアンサンブルといった現代的な機械学習手法で実装できます。
論文 参考訳(メタデータ) (2024-05-15T16:38:28Z) - A PAC-Bayesian Perspective on the Interpolating Information Criterion [54.548058449535155]
補間系の性能に影響を及ぼす要因を特徴付ける一般モデルのクラスに対して,PAC-Bayes境界がいかに得られるかを示す。
オーバーパラメータ化モデルに対するテスト誤差が、モデルとパラメータの初期化スキームの組み合わせによって課される暗黙の正規化の品質に依存するかの定量化を行う。
論文 参考訳(メタデータ) (2023-11-13T01:48:08Z) - DF2: Distribution-Free Decision-Focused Learning [53.2476224456902]
決定中心学習(DFL)は近年,予測最適化問題に対する強力なアプローチとして出現している。
既存のエンドツーエンドDFL法は、モデル誤差、サンプル平均近似誤差、予測対象の分布に基づくパラメータ化の3つの重大なボトルネックによって妨げられている。
DF2は,これら3つのボトルネックに明示的に対処するために設計された,初となるテキストフリーな意思決定型学習手法である。
論文 参考訳(メタデータ) (2023-08-11T00:44:46Z) - Leveraging Variational Autoencoders for Parameterized MMSE Estimation [10.141454378473972]
条件付き線形最小二乗誤差推定器のパラメータ化のための変分オートエンコーダに基づくフレームワークを提案する。
導出した推定器は、推定問題の生成前として変分オートエンコーダを用いて最小平均2乗誤差推定器を近似する。
提案手法と最小平均二乗誤差推定器の差分を限定して厳密な解析を行う。
論文 参考訳(メタデータ) (2023-07-11T15:41:34Z) - Tight Guarantees for Interactive Decision Making with the
Decision-Estimation Coefficient [51.37720227675476]
我々は、決定推定係数の新たな変種を導入し、それを用いて、3つの面における事前の作業を改善する新しい下界を導出する。
我々は同じ量でスケールした後悔について上界を与え、フォスター等における上界と下界の間のギャップの1つを除いて全てを閉じる。
この結果は、後悔のフレームワークとPACフレームワークの両方に適用され、我々が期待するいくつかの新しい分析とアルゴリズム設計技術を利用して、より広範な利用が期待できる。
論文 参考訳(メタデータ) (2023-01-19T18:24:08Z) - Learning to Estimate Without Bias [57.82628598276623]
ガウスの定理は、重み付き最小二乗推定器は線形モデルにおける線形最小分散アンバイアスド推定(MVUE)であると述べている。
本稿では、バイアス制約のあるディープラーニングを用いて、この結果を非線形設定に拡張する第一歩を踏み出す。
BCEの第二の動機は、同じ未知の複数の推定値が平均化されてパフォーマンスが向上するアプリケーションにおいてである。
論文 参考訳(メタデータ) (2021-10-24T10:23:51Z) - Robust Unsupervised Learning via L-Statistic Minimization [38.49191945141759]
教師なし学習に焦点をあて、この問題に対する一般的なアプローチを提示する。
重要な仮定は、摂動分布は、許容モデルの特定のクラスに対するより大きな損失によって特徴付けられることである。
教師なし学習におけるいくつかのポピュラーモデルに対する提案基準に関して,一様収束境界を証明した。
論文 参考訳(メタデータ) (2020-12-14T10:36:06Z) - Amortized Conditional Normalized Maximum Likelihood: Reliable Out of
Distribution Uncertainty Estimation [99.92568326314667]
本研究では,不確実性推定のための拡張性のある汎用的アプローチとして,償却条件正規化最大値(ACNML)法を提案する。
提案アルゴリズムは条件付き正規化最大度(CNML)符号化方式に基づいており、最小記述長の原理に従って最小値の最適特性を持つ。
我々は、ACNMLが、分布外入力のキャリブレーションの観点から、不確実性推定のための多くの手法と好意的に比較することを示した。
論文 参考訳(メタデータ) (2020-11-05T08:04:34Z) - Nonconvex sparse regularization for deep neural networks and its
optimality [1.9798034349981162]
ディープニューラルネットワーク(DNN)推定器は、回帰と分類問題に対して最適な収束率を得ることができる。
スパースDNNに対する新たなペナル化推定法を提案する。
スパースペンタライズされた推定器は、様々な非パラメトリック回帰問題に対する最小収束率を適応的に達成できることを示す。
論文 参考訳(メタデータ) (2020-03-26T07:15:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。