論文の概要: General Distribution Learning: A theoretical framework for Deep Learning
- arxiv url: http://arxiv.org/abs/2406.05666v1
- Date: Sun, 9 Jun 2024 06:49:22 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-11 18:36:48.529855
- Title: General Distribution Learning: A theoretical framework for Deep Learning
- Title（参考訳）: 一般配電学習 : ディープラーニングの理論的枠組み
- Authors: Binchuan Qi, Li Li, Wei Gong,
- Abstract要約: 本稿では,ジェネラルラーニング・ディストリビューション(General Learning Distribution)と呼ばれる新しい理論フレームワークを紹介する。
GD Learningは、真の基礎となる分布に焦点を当てている。
GDラーニングエラーでは、期待される古典的統計的学習フレームワークに対応して、モデルとデータによって生じる適合誤差に分割する。
この知識はデータセット全体の最適なエラーを最小限にし、パフォーマンスを向上させるのに役立つ。
- 参考スコア（独自算出の注目度）: 5.281849820329249
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: There remain numerous unanswered research questions on deep learning (DL) within the classical learning theory framework. These include the remarkable generalization capabilities of overparametrized neural networks (NNs), the efficient optimization performance despite non-convexity of objectives, the mechanism of flat minima in generalization, and the exceptional performance of deep architectures, among others. This paper introduces a novel theoretical learning framework known as General Distribution Learning (GD Learning), which is designed to address a comprehensive range of machine learning and statistical tasks, including classification, regression and parameter estimation. Departing from statistical machine learning, GD Learning focuses on the true underlying distribution. In GD Learning, learning error, corresponding to the expected error in classical statistical learning framework, is divided into fitting errors caused by models and fitting algorithms, as well as sampling errors introduced by limited sampling data. The framework significantly incorporates prior knowledge, especially in scenarios characterized by data scarcity. This integration of external knowledge helps to minimize learning errors across the entire dataset, thereby enhancing performance. Within the GD Learning framework, we demonstrate that the global optimal solution to non-convex optimization problems, such as minimizing fitting error, can be approached by minimizing the gradient norm and the non-uniformity of the eigenvalues of the model's Jacobian matrix. This insight has led to the development of the gradient structure control algorithm. GD Learning also offers a fresh perspective on the questions on deep learning, including overparameterization and non-convex optimizations, bias-variance trade-off, and the mechanism of flat minima.
- Abstract（参考訳）: 古典的学習理論フレームワークには、深層学習(DL)に関する未解決の研究質問が数多く残されている。
これには、過度にパラメータ化されたニューラルネットワーク(NN)の顕著な一般化機能、目的の非凸性にもかかわらず効率的な最適化性能、一般化におけるフラットミニマのメカニズム、ディープアーキテクチャの例外的なパフォーマンスなどが含まれる。
本稿では,一般分布学習(General Distribution Learning, GD Learning)と呼ばれる新しい理論学習フレームワークを提案する。
統計的機械学習とは別に、GD Learningは真の基礎となる分布に焦点を当てている。
GDラーニングでは、古典的な統計学習フレームワークにおける予測誤差に対応する学習誤差を、モデルと適合アルゴリズムによる適合誤差と、限られたサンプリングデータによって導入されたサンプリング誤差に分割する。
このフレームワークは、特にデータ不足を特徴とするシナリオにおいて、事前の知識を著しく取り入れている。
この外部知識の統合は、データセット全体の学習エラーを最小限にし、パフォーマンスを向上させるのに役立つ。
GD Learning フレームワークでは,モデルのヤコビ行列の固有値の勾配ノルムと不均一性を最小化することにより,非凸最適化問題に対する大域的最適解,例えば嵌合誤差の最小化が可能であることを示す。
この知見は勾配構造制御アルゴリズムの開発につながった。
GD Learningはまた、オーバーパラメータ化や非凸最適化、バイアス分散トレードオフ、フラットミニマのメカニズムなど、ディープラーニングに関する質問に対して、新たな視点を提供する。
関連論文リスト
- On uniqueness in structured model learning [0.542249320079018]
偏微分方程式系(PDE)の物理法則学習における一意性の問題に対処する。
構造化されたモデル学習のフレームワークとして、データから学習されるコンポーネントによって、既存のほぼ正しい物理モデルが強化される。
この一意性の結果は、完全なノイズレス測定の理想的な設定において、未知のモデル成分のユニークな識別が可能であることを示している。
論文 参考訳（メタデータ） (2024-10-29T12:56:39Z) - A Probabilistic Perspective on Unlearning and Alignment for Large Language Models [48.96686419141881]
大規模言語モデル(LLM)における最初の形式的確率的評価フレームワークを紹介する。
モデルの出力分布に関する高い確率保証を持つ新しい指標を導出する。
私たちのメトリクスはアプリケーションに依存しないので、デプロイ前にモデル機能についてより信頼性の高い見積を行うことができます。
論文 参考訳（メタデータ） (2024-10-04T15:44:23Z) - Source-Free Unsupervised Domain Adaptation with Hypothesis Consolidation
of Prediction Rationale [53.152460508207184]
Source-Free Unsupervised Domain Adaptation (SFUDA)は、モデルがターゲットのドメインラベルやソースドメインデータにアクセスせずに新しいドメインに適応する必要がある、という課題である。
本稿では,各サンプルについて複数の予測仮説を考察し,各仮説の背景にある理論的根拠について考察する。
最適性能を達成するために,モデル事前適応,仮説統合,半教師付き学習という3段階の適応プロセスを提案する。
論文 参考訳（メタデータ） (2024-02-02T05:53:22Z) - Federated Learning with Projected Trajectory Regularization [65.6266768678291]
フェデレーション学習は、ローカルデータを共有せずに、分散クライアントから機械学習モデルの共同トレーニングを可能にする。
連合学習における重要な課題の1つは、クライアントにまたがる識別できない分散データを扱うことである。
本稿では,データ問題に対処するための予測軌道正則化(FedPTR)を備えた新しいフェデレーション学習フレームワークを提案する。
論文 参考訳（メタデータ） (2023-12-22T02:12:08Z) - A PAC-Bayesian Perspective on the Interpolating Information Criterion [54.548058449535155]
補間系の性能に影響を及ぼす要因を特徴付ける一般モデルのクラスに対して,PAC-Bayes境界がいかに得られるかを示す。
オーバーパラメータ化モデルに対するテスト誤差が、モデルとパラメータの初期化スキームの組み合わせによって課される暗黙の正規化の品質に依存するかの定量化を行う。
論文 参考訳（メタデータ） (2023-11-13T01:48:08Z) - Learning Neural Models for Natural Language Processing in the Face of
Distributional Shift [10.990447273771592]
特定のデータセットでひとつのタスクを実行するための強力な神経予測器をトレーニングするNLPのパラダイムが、さまざまなアプリケーションで最先端のパフォーマンスを実現している。
データ分布が定常である、すなわち、トレーニングとテストの時間の両方で、データは固定された分布からサンプリングされる、という仮定に基づいて構築される。
この方法でのトレーニングは、人間が絶えず変化する情報の流れの中で学習し、操作できる方法と矛盾する。
データ分散がモデル寿命の経過とともにシフトすることが期待される実世界のユースケースに不適応である。
論文 参考訳（メタデータ） (2021-09-03T14:29:20Z) - Transferring model structure in Bayesian transfer learning for Gaussian
process regression [1.370633147306388]
本稿では、転送源分布上の目標確率分布を条件付けるタスクを定義する。
この最適意思決定問題を解決するために、完全な確率的設計が採用されている。
ソースのより高いモーメントを転送することで、ターゲットは信頼できないソース知識を拒否することができる。
論文 参考訳（メタデータ） (2021-01-18T05:28:02Z) - Trust but Verify: Assigning Prediction Credibility by Counterfactual
Constrained Learning [123.3472310767721]
予測信頼性尺度は統計学と機械学習において基本的なものである。
これらの措置は、実際に使用される多種多様なモデルを考慮に入れるべきである。
この研究で開発されたフレームワークは、リスクフィットのトレードオフとして信頼性を表現している。
論文 参考訳（メタデータ） (2020-11-24T19:52:38Z) - Control as Hybrid Inference [62.997667081978825]
本稿では、反復推論と償却推論のバランスを自然に仲介するCHIの実装について述べる。
連続的な制御ベンチマークでアルゴリズムのスケーラビリティを検証し、強力なモデルフリーおよびモデルベースラインを上回る性能を示す。
論文 参考訳（メタデータ） (2020-07-11T19:44:09Z) - Bootstrapped model learning and error correction for planning with
uncertainty in model-based RL [1.370633147306388]
自然の目的は、環境のダイナミクスを正確に反映したモデルを学ぶことである。
本稿では,不確実性を考慮した強化学習エージェントによるモデルミス特定の問題について検討する。
本稿では,将来の状態と報酬の分布を学習するブートストラップ型マルチヘッドニューラルネットワークを提案する。
論文 参考訳（メタデータ） (2020-04-15T15:41:21Z) - A comprehensive study on the prediction reliability of graph neural
networks for virtual screening [0.0]
本稿では,モデルアーキテクチャ,正規化手法,損失関数が分類結果の予測性能および信頼性に与える影響について検討する。
その結果,高い成功率を達成するためには,正則化と推論手法の正しい選択が重要であることが明らかとなった。
論文 参考訳（メタデータ） (2020-03-17T10:13:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。