論文の概要: Probability Distribution Learning: A theoretical framework for Deep Learning

• arxiv url: http://arxiv.org/abs/2406.05666v6
• Date: Mon, 30 Sep 2024 12:20:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-01 22:00:52.927197
• Title: Probability Distribution Learning: A theoretical framework for Deep Learning
• Title（参考訳）: 確率分布学習 : 深層学習のための理論的枠組み
• Authors: Binchuan Qi,
• Abstract要約: 本稿では,機械学習と統計的タスクを包括的に扱うことを目的とした,新しい理論学習フレームワークである学習分布(PD Learning)を紹介する。 PDラーニングは、分類、回帰、パラメータ推定を含む、機械学習と統計的なタスクに対処する。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: This paper introduces Probability Distribution Learning (PD learning), a novel theoretical learning framework designed to address a comprehensive range of machine learning and statistical tasks, including classification, regression, and parameter estimation. Departing from the traditional statistical learning framework, PD learning focuses on learning the underlying probability distribution of a dataset, which is modeled as a random variable within the probability simplex. In this framework, the learning error is decomposed into uncertainty and the model's fitting error to the optimal estimate. Uncertainty, which is non-optimizable and independent of both the model and optimization algorithm, depends solely on prior knowledge and sampling data, constituting the optimal bound of the learning error. Minimizing the fitting error represents a typical non-convex optimization problem. To address this, we initially demonstrate that under the conditions of unique optimum and sampling stability, the loss function exhibits a unified mathematical form, which we refer to as the standard loss function. Moreover, we prove that by employing the standard loss function, the optima of fitting error minimization can be approached by reducing the gradient norm and structural error. Subsequently, we demonstrate that with random parameter initialization, increasing network depth and the parameter count can reduce structural error. Consequently, from the perspective of structural error, techniques such as over-parameterization, non-convex optimization, and the flat minima in deep learning are beneficial in reducing structural error, thereby ensuring that gradient-based iterative algorithms can attain an approximate global optimum for fitting error minimization. Ultimately, the experimental results on various models have validated the effectiveness of the framework proposed in this paper.
• Abstract（参考訳）: 本稿では,確率分布学習(PD Learning, Probability Distribution Learning)について紹介する。 従来の統計学習フレームワークとは別に、PD学習では、確率単純度内のランダム変数としてモデル化されたデータセットの基盤となる確率分布の学習に重点を置いている。 この枠組みでは、学習誤差は不確実性に分解され、モデルが最適推定値に適合する。 不確実性は、モデルと最適化アルゴリズムの両方とは独立であり、学習誤差の最適境界を構成する事前知識とサンプリングデータにのみ依存する。 嵌合誤差の最小化は典型的な非凸最適化問題である。 この問題に対処するために、まず、一意の最適化とサンプリング安定性の条件下では、損失関数は統一的な数学的形式を示し、これは標準損失関数と呼ばれる。 さらに、標準損失関数を用いることで、勾配ノルムと構造誤差を小さくすることで、適合誤差最小化の最適化が可能であることを証明した。 その後、ランダムパラメータの初期化、ネットワーク深度の増加、パラメータカウントが構造誤差を低減できることを示した。 したがって, 構造誤差の観点からは, オーバーパラメータ化や非凸最適化, ディープラーニングにおけるフラット最小化といった手法は, 構造誤差の低減に有効である。 最終的に、様々なモデルに関する実験結果により、本論文で提案したフレームワークの有効性が検証された。

関連論文リスト

• Model-free Methods for Event History Analysis and Efficient Adjustment (PhD Thesis) [55.2480439325792]
  この論文は、モデルフリーの観点から統一された統計学への独立した貢献のシリーズである。 第1章では、機械学習から予測技術を活用する柔軟なメソッドを定式化するために、モデルフリーの視点をどのように利用できるか、詳しく説明している。 第2章では、あるプロセスの進化が他のプロセスに直接影響されるかどうかを記述した地域独立の概念を研究している。
  論文  参考訳（メタデータ） (2025-02-11T19:24:09Z)
• On uniqueness in structured model learning [0.542249320079018]
  偏微分方程式系(PDE)の物理法則学習における一意性の問題に対処する。 構造化されたモデル学習のフレームワークとして、データから学習されるコンポーネントによって、既存のほぼ正しい物理モデルが強化される。 この一意性の結果は、完全なノイズレス測定の理想的な設定において、未知のモデル成分のユニークな識別が可能であることを示している。
  論文  参考訳（メタデータ） (2024-10-29T12:56:39Z)
• A Probabilistic Perspective on Unlearning and Alignment for Large Language Models [48.96686419141881]
  大規模言語モデル(LLM)のための最初の形式的確率的評価フレームワークを紹介する。 すなわち,モデルの出力分布に関する確率保証の高い新しい指標を提案する。 私たちのメトリクスはアプリケーションに依存しないので、デプロイ前にモデル機能についてより信頼性の高い見積を行うことができます。
  論文  参考訳（メタデータ） (2024-10-04T15:44:23Z)
• A PAC-Bayesian Perspective on the Interpolating Information Criterion [54.548058449535155]
  補間系の性能に影響を及ぼす要因を特徴付ける一般モデルのクラスに対して,PAC-Bayes境界がいかに得られるかを示す。 オーバーパラメータ化モデルに対するテスト誤差が、モデルとパラメータの初期化スキームの組み合わせによって課される暗黙の正規化の品質に依存するかの定量化を行う。
  論文  参考訳（メタデータ） (2023-11-13T01:48:08Z)
• A Mathematical Framework for Learning Probability Distributions [0.0]
  生成的モデリングと密度推定は 近年 非常にポピュラーな話題になっています 本論文は、すべての有名なモデルを単純な原理に基づいて導出できる数学的枠組みを提供する。 特に,これらのモデルが訓練中に暗黙的な正規化を楽しむことを証明し,早期停止時の一般化誤差が次元性の呪いを避ける。
  論文  参考訳（メタデータ） (2022-12-22T04:41:45Z)
• Correcting Model Bias with Sparse Implicit Processes [0.9187159782788579]
  SIP(Sparse Implicit Processes)は,データ生成機構がモデルによって入力されるものと強く異なる場合,モデルバイアスを補正できることを示す。 合成データセットを用いて、SIPは、初期推定モデルの正確な予測よりもデータをよりよく反映する予測分布を提供することができることを示す。
  論文  参考訳（メタデータ） (2022-07-21T18:00:01Z)
• MINIMALIST: Mutual INformatIon Maximization for Amortized Likelihood Inference from Sampled Trajectories [61.3299263929289]
  シミュレーションベースの推論は、その可能性が実際に計算できない場合でもモデルのパラメータを学習することができる。 あるクラスのメソッドは、異なるパラメータでシミュレートされたデータを使用して、確率とエビデンス比の償却推定器を推定する。 モデルパラメータとシミュレーションデータ間の相互情報の観点から,本手法が定式化可能であることを示す。
  論文  参考訳（メタデータ） (2021-06-03T12:59:16Z)
• Trust but Verify: Assigning Prediction Credibility by Counterfactual Constrained Learning [123.3472310767721]
  予測信頼性尺度は統計学と機械学習において基本的なものである。 これらの措置は、実際に使用される多種多様なモデルを考慮に入れるべきである。 この研究で開発されたフレームワークは、リスクフィットのトレードオフとして信頼性を表現している。
  論文  参考訳（メタデータ） (2020-11-24T19:52:38Z)
• Control as Hybrid Inference [62.997667081978825]
  本稿では、反復推論と償却推論のバランスを自然に仲介するCHIの実装について述べる。 連続的な制御ベンチマークでアルゴリズムのスケーラビリティを検証し、強力なモデルフリーおよびモデルベースラインを上回る性能を示す。
  論文  参考訳（メタデータ） (2020-07-11T19:44:09Z)
• Bootstrapped model learning and error correction for planning with uncertainty in model-based RL [1.370633147306388]
  自然の目的は、環境のダイナミクスを正確に反映したモデルを学ぶことである。 本稿では,不確実性を考慮した強化学習エージェントによるモデルミス特定の問題について検討する。 本稿では,将来の状態と報酬の分布を学習するブートストラップ型マルチヘッドニューラルネットワークを提案する。
  論文  参考訳（メタデータ） (2020-04-15T15:41:21Z)
• A comprehensive study on the prediction reliability of graph neural networks for virtual screening [0.0]
  本稿では,モデルアーキテクチャ,正規化手法,損失関数が分類結果の予測性能および信頼性に与える影響について検討する。 その結果,高い成功率を達成するためには,正則化と推論手法の正しい選択が重要であることが明らかとなった。
  論文  参考訳（メタデータ） (2020-03-17T10:13:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。