論文の概要: Uncertainty Estimation in Machine Learning
- arxiv url: http://arxiv.org/abs/2206.01749v1
- Date: Fri, 3 Jun 2022 16:11:11 GMT
- ステータス: 処理完了
- システム内更新日: 2022-06-07 14:02:10.463943
- Title: Uncertainty Estimation in Machine Learning
- Title（参考訳）: 機械学習における不確実性推定
- Authors: Valentin Arkov
- Abstract要約: 機械学習において、モデルの複雑さと厳密な非線形性は、不確実性評価に深刻な障害となる。
事前トレーニングモデルの最新の例は、数十億のパラメータと半テラバイトのトレーニングデータセットを備えたGenerative Pre-trained Transformer 3である。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Most machine learning techniques are based upon statistical learning theory,
often simplified for the sake of computing speed. This paper is focused on the
uncertainty aspect of mathematical modeling in machine learning. Regression
analysis is chosen to further investigate the evaluation aspect of uncertainty
in model coefficients and, more importantly, in the output feature value
predictions. A survey demonstrates major stages in the conventional least
squares approach to the creation of the regression model, along with its
uncertainty estimation. On the other hand, it is shown that in machine learning
the model complexity and severe nonlinearity become serious obstacles to
uncertainty evaluation. Furthermore, the process of machine model training
demands high computing power, not available at the level of personal computers.
This is why so-called pre-trained models are widely used in such areas of
machine learning as natural language processing. The latest example of a
pre-trained model is the Generative Pre-trained Transformer 3 with hundreds of
billions of parameters and a half-terabyte training dataset. Similarly,
mathematical models built from real data are growing in complexity which is
accompanied by the growing amount of training data. However, when machine
models and their predictions are used in decision-making, one needs to estimate
uncertainty and evaluate accompanying risks. This problem could be resolved
with non-parametric techniques at the expense of greater demand for computing
power, which can be offered by modern supercomputers available, including those
utilizing graphical and tensor processing units along with the conventional
central processors.
- Abstract（参考訳）: ほとんどの機械学習技術は統計学習理論に基づいており、計算速度のために単純化されることが多い。
本稿では,機械学習における数学的モデリングの不確実性に着目した。
回帰分析は、モデル係数の不確かさの評価側面と、さらに重要なことに、出力特徴値予測についてさらに検討するために選択される。
回帰モデルの作成に対する従来の最小二乗法の主要な段階とその不確実性の推定を示す。
一方,機械学習においては,モデルの複雑さと厳密な非線形性は不確実性評価の重大な障害となる。
さらに、マシンモデルトレーニングのプロセスは、パーソナルコンピュータのレベルでは利用できない高い計算能力を必要とする。
そのため、自然言語処理のような機械学習の分野で、いわゆる事前学習モデルが広く使われている。
事前トレーニングモデルの最新の例は、数十億のパラメータと半テラバイトのトレーニングデータセットを備えたGenerative Pre-trained Transformer 3である。
同様に、実データから構築された数学モデルは、トレーニングデータの量の増加に伴う複雑さが増大しています。
しかし、マシンモデルとその予測が意思決定に使用される場合、不確実性を推定し、関連するリスクを評価する必要がある。
この問題は、従来の中央プロセッサとともにグラフィカルおよびテンソル処理ユニットを利用するものを含む、現代のスーパーコンピュータが提供できる計算パワーの需要を犠牲にして、非パラメトリック技術で解決することができる。
関連論文リスト
- Scalable Higher-Order Tensor Product Spline Models [0.0]
本稿では,高階テンソル積スプラインモデルから高階テンソル積を導出する因子分解法を提案する。
本手法では,非線形特徴効果のすべての(高次)相互作用を,相互作用のないモデルに比例した計算コストで組み込むことが可能である。
論文 参考訳（メタデータ） (2024-02-02T01:18:48Z) - Zero-knowledge Proof Meets Machine Learning in Verifiability: A Survey [19.70499936572449]
高品質なモデルは、効率的な最適化アルゴリズムだけでなく、膨大なデータと計算能力に基づいて構築されたトレーニングと学習プロセスにも依存する。
計算リソースの制限やデータプライバシの懸念など,さまざまな課題があるため,モデルを必要とするユーザは,マシンラーニングモデルをローカルにトレーニングすることはできないことが多い。
本稿では,ゼロ知識証明に基づく検証可能な機械学習(ZKP-VML)技術について包括的に調査する。
論文 参考訳（メタデータ） (2023-10-23T12:15:23Z) - Stabilizing Machine Learning Prediction of Dynamics: Noise and
Noise-inspired Regularization [58.720142291102135]
近年、機械学習(ML)モデルはカオス力学系の力学を正確に予測するために訓練可能であることが示されている。
緩和技術がなければ、この技術は人工的に迅速にエラーを発生させ、不正確な予測と/または気候不安定をもたらす可能性がある。
トレーニング中にモデル入力に付加される多数の独立雑音実効化の効果を決定論的に近似する正規化手法であるLinearized Multi-Noise Training (LMNT)を導入する。
論文 参考訳（メタデータ） (2022-11-09T23:40:52Z) - Synthetic Model Combination: An Instance-wise Approach to Unsupervised
Ensemble Learning [92.89846887298852]
ラベル付きデータのトレーニングセットから学ぶ機会のない、新しいテストデータに対する予測を検討する。
専門家モデルのセットと予測へのアクセスと、トレーニングに使用するデータセットに関する制限された情報を提供すること。
論文 参考訳（メタデータ） (2022-10-11T10:20:31Z) - A review of predictive uncertainty estimation with machine learning [0.0]
機械学習アルゴリズムを用いて予測不確実性推定の話題を概観する。
我々は確率的予測を評価するための関連する指標(一貫性スコアリング関数と適切なスコアリングルール)について論じる。
このレビューでは、ユーザーのニーズに合わせて新しいアルゴリズムを開発する方法についての理解を深める。
論文 参考訳（メタデータ） (2022-09-17T10:36:30Z) - Advancing Reacting Flow Simulations with Data-Driven Models [50.9598607067535]
マルチ物理問題における機械学習ツールの効果的な利用の鍵は、それらを物理モデルとコンピュータモデルに結合することである。
本章では, 燃焼システムにおけるデータ駆動型低次モデリングの適用可能性について概説する。
論文 参考訳（メタデータ） (2022-09-05T16:48:34Z) - Additive Higher-Order Factorization Machines [0.0]
因子化手法を用いて,スケーラブルな高次テンソル積スプラインモデルを導出する。
本手法では,非線形特徴効果のすべての(高次)相互作用を含めることができる。
我々は理論上も経験的にも,我々の手法が既存の手法よりも顕著に優れていることを証明している。
論文 参考訳（メタデータ） (2022-05-28T19:50:52Z) - Hessian-based toolbox for reliable and interpretable machine learning in
physics [58.720142291102135]
本稿では,モデルアーキテクチャの解釈可能性と信頼性,外挿を行うためのツールボックスを提案する。
与えられたテストポイントでの予測に対する入力データの影響、モデル予測の不確実性の推定、およびモデル予測の不可知スコアを提供する。
我々の研究は、物理学やより一般的には科学に適用されたMLにおける解釈可能性と信頼性の方法の体系的利用への道を開く。
論文 参考訳（メタデータ） (2021-08-04T16:32:59Z) - Using Data Assimilation to Train a Hybrid Forecast System that Combines
Machine-Learning and Knowledge-Based Components [52.77024349608834]
利用可能なデータがノイズの多い部分測定の場合,カオスダイナミクスシステムのデータ支援予測の問題を検討する。
動的システムの状態の部分的測定を用いることで、不完全な知識ベースモデルによる予測を改善するために機械学習モデルを訓練できることを示す。
論文 参考訳（メタデータ） (2021-02-15T19:56:48Z) - Model-Based Deep Learning [155.063817656602]
信号処理、通信、制御は伝統的に古典的な統計モデリング技術に依存している。
ディープニューラルネットワーク(DNN)は、データから操作を学ぶ汎用アーキテクチャを使用し、優れたパフォーマンスを示す。
私たちは、原理数学モデルとデータ駆動システムを組み合わせて両方のアプローチの利点を享受するハイブリッド技術に興味があります。
論文 参考訳（メタデータ） (2020-12-15T16:29:49Z) - Introduction to Rare-Event Predictive Modeling for Inferential
Statisticians -- A Hands-On Application in the Prediction of Breakthrough
Patents [0.0]
本稿では,予測性能の最適化を目的とした定量的分析のための機械学習(ML)手法を提案する。
両フィールド間の潜在的な相乗効果について考察する。
我々は,コンピュータサイエンスの用語のデミスティフィケーションを目指して,定量的な社会科学の聴衆に手持ちの予測モデルの導入を行っている。
論文 参考訳（メタデータ） (2020-03-30T13:06:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。