論文の概要: Probability Distribution Learning: A theoretical framework for Deep Learning

• arxiv url: http://arxiv.org/abs/2406.05666v7
• Date: Thu, 17 Oct 2024 03:23:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-18 13:16:55.198181
• Title: Probability Distribution Learning: A theoretical framework for Deep Learning
• Title（参考訳）: 確率分布学習 : 深層学習のための理論的枠組み
• Authors: Binchuan Qi, Wei Gong, Li Li,
• Abstract要約: 本稿では,新しい理論学習フレームワークである確率分布(PD)学習を紹介する。 PD学習は、単純なx内で分解された変数としてモデル化される、基礎となる分布確率に焦点を当てる。 本稿では、標準損失関数と勾配構造制御(GSC)アルゴリズムを導入し、この関数を用いることで、標準誤差と構造誤差の最適化が可能であることを示す。
• 参考スコア（独自算出の注目度）: 5.281849820329249
• License:
• Abstract: This paper introduces probability distribution learning (PD learning), a novel theoretical learning framework. Departing from the traditional statistical learning framework, PD learning focuses on learning the underlying probability distribution, which is modeled as a random variable within the probability simplex. Within this framework, the learning error is decomposed into uncertainty, estimation error, and the model's fitting error. Subsequently, we present the methodology for calculating uncertainty, along with optimization strategies for both estimation error and fitting error. Given that minimizing the fitting error typically constitutes a non-convex optimization problem, we introduce a standard loss function and the gradient structural control (GSC) algorithm, and demonstrate that by employing this function, the optima of fitting error minimization can be approached by reducing the gradient norm and structural error. Furthermore, we apply the PD learning framework to deep learning, elucidating the mechanisms by which techniques such as random parameter initialization, over-parameterization, bias-variance trade-off, and dropout influence deep model training. Finally, experimental results on various models validate the effectiveness of the proposed framework.
• Abstract（参考訳）: 本稿では,新しい理論学習フレームワークである確率分布学習(PD Learning)を紹介する。 従来の統計学習フレームワークとは別に、PD学習は確率分布の学習に重点を置いている。 このフレームワーク内では、学習エラーは不確実性、推定エラー、モデルの適合エラーに分解される。 次に,不確かさを推定する手法と,推定誤差と適合誤差の両面での最適化手法を提案する。 固定誤差の最小化が一般に非凸最適化問題を構成することを前提として、標準損失関数と勾配構造制御(GSC)アルゴリズムを導入し、この関数を用いることで、勾配ノルムと構造誤差を減らすことで、嵌合誤差の最小化の最適化が可能であることを示す。 さらに、PD学習フレームワークをディープラーニングに適用し、ランダムパラメータの初期化、過パラメータ化、バイアス分散トレードオフ、ドロップアウトが深層モデルトレーニングに影響を及ぼすメカニズムを解明する。 最後に,様々なモデルを用いた実験結果から,提案手法の有効性を検証した。

関連論文リスト

• Generalized Gaussian Temporal Difference Error for Uncertainty-aware Reinforcement Learning [0.19418036471925312]
  深部強化学習における一般化されたガウス誤差モデリングのための新しい枠組みを提案する。 我々のフレームワークは、高次モーメント、特にカルトーシスを付加することにより、エラー分散モデリングの柔軟性を向上させる。
  論文  参考訳（メタデータ） (2024-08-05T08:12:25Z)
• Learning Latent Graph Structures and their Uncertainty [63.95971478893842]
  グラフニューラルネットワーク(GNN)は、モデル精度を高めるために帰納バイアスとしてリレーショナル情報を使用する。 課題関連関係が不明なため,下流予測タスクを解きながら学習するためのグラフ構造学習手法が提案されている。
  論文  参考訳（メタデータ） (2024-05-30T10:49:22Z)
• A PAC-Bayesian Perspective on the Interpolating Information Criterion [54.548058449535155]
  補間系の性能に影響を及ぼす要因を特徴付ける一般モデルのクラスに対して,PAC-Bayes境界がいかに得られるかを示す。 オーバーパラメータ化モデルに対するテスト誤差が、モデルとパラメータの初期化スキームの組み合わせによって課される暗黙の正規化の品質に依存するかの定量化を行う。
  論文  参考訳（メタデータ） (2023-11-13T01:48:08Z)
• Distribution-free risk assessment of regression-based machine learning algorithms [6.507711025292814]
  我々は回帰アルゴリズムとモデル予測の周囲に定義された区間内に存在する真のラベルの確率を計算するリスク評価タスクに焦点をあてる。 そこで,本研究では,正のラベルを所定の確率で含むことが保証される予測区間を提供する共形予測手法を用いてリスク評価問題を解決する。
  論文  参考訳（メタデータ） (2023-10-05T13:57:24Z)
• DF2: Distribution-Free Decision-Focused Learning [53.2476224456902]
  決定中心学習(DFL)は近年,予測最適化問題に対する強力なアプローチとして出現している。 既存のエンドツーエンドDFL法は、モデル誤差、サンプル平均近似誤差、予測対象の分布に基づくパラメータ化の3つの重大なボトルネックによって妨げられている。 DF2は,これら3つのボトルネックに明示的に対処するために設計された,初となるテキストフリーな意思決定型学習手法である。
  論文  参考訳（メタデータ） (2023-08-11T00:44:46Z)
• Taylor Learning [0.0]
  経験的リスク最小化は、教師付き機械学習におけるほとんどの最適化の背後にある。 本稿では,勾配降下や経験的リスク最小化を用いない実解析関数モデルを構築するための学習アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-05-24T01:10:58Z)
• Supervised learning with probabilistic morphisms and kernel mean embeddings [0.0]
  本稿では,教師あり学習における2つのアプローチを統一した教師あり学習モデルを提案する。 統計的学習理論において無視されてきた2つの測定可能性問題に対処する。 不正な問題を解くために,Vapnik-Stefanuykの正規化手法の変種を提案する。
  論文  参考訳（メタデータ） (2023-05-10T17:54:21Z)
• Error-based Knockoffs Inference for Controlled Feature Selection [49.99321384855201]
  本手法では, ノックオフ特徴量, エラーベース特徴重要度統計量, ステップダウン手順を一体化して, エラーベースのノックオフ推定手法を提案する。 提案手法では回帰モデルを指定する必要はなく,理論的保証で特徴選択を処理できる。
  論文  参考訳（メタデータ） (2022-03-09T01:55:59Z)
• Trust but Verify: Assigning Prediction Credibility by Counterfactual Constrained Learning [123.3472310767721]
  予測信頼性尺度は統計学と機械学習において基本的なものである。 これらの措置は、実際に使用される多種多様なモデルを考慮に入れるべきである。 この研究で開発されたフレームワークは、リスクフィットのトレードオフとして信頼性を表現している。
  論文  参考訳（メタデータ） (2020-11-24T19:52:38Z)
• Control as Hybrid Inference [62.997667081978825]
  本稿では、反復推論と償却推論のバランスを自然に仲介するCHIの実装について述べる。 連続的な制御ベンチマークでアルゴリズムのスケーラビリティを検証し、強力なモデルフリーおよびモデルベースラインを上回る性能を示す。
  論文  参考訳（メタデータ） (2020-07-11T19:44:09Z)
• Bootstrapped model learning and error correction for planning with uncertainty in model-based RL [1.370633147306388]
  自然の目的は、環境のダイナミクスを正確に反映したモデルを学ぶことである。 本稿では,不確実性を考慮した強化学習エージェントによるモデルミス特定の問題について検討する。 本稿では,将来の状態と報酬の分布を学習するブートストラップ型マルチヘッドニューラルネットワークを提案する。
  論文  参考訳（メタデータ） (2020-04-15T15:41:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。