論文の概要: Merging Two Cultures: Deep and Statistical Learning
- arxiv url: http://arxiv.org/abs/2110.11561v1
- Date: Fri, 22 Oct 2021 02:57:21 GMT
- ステータス: 処理完了
- システム内更新日: 2021-10-26 01:53:57.581565
- Title: Merging Two Cultures: Deep and Statistical Learning
- Title（参考訳）: 2つの文化を融合する - 深層学習と統計的学習
- Authors: Anindya Bhadra, Jyotishka Datta, Nick Polson, Vadim Sokolov, Jianeng
Xu
- Abstract要約: 深層学習と統計的学習の2つの文化を組み合わせることで、構造化された高次元データに対する洞察が得られる。
モデルの出力層における確率的手法を用いて予測,最適化,不確実性を実現できることを示す。
- 参考スコア（独自算出の注目度）: 3.15863303008255
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Merging the two cultures of deep and statistical learning provides insights
into structured high-dimensional data. Traditional statistical modeling is
still a dominant strategy for structured tabular data. Deep learning can be
viewed through the lens of generalized linear models (GLMs) with composite link
functions. Sufficient dimensionality reduction (SDR) and sparsity performs
nonlinear feature engineering. We show that prediction, interpolation and
uncertainty quantification can be achieved using probabilistic methods at the
output layer of the model. Thus a general framework for machine learning arises
that first generates nonlinear features (a.k.a factors) via sparse
regularization and stochastic gradient optimisation and second uses a
stochastic output layer for predictive uncertainty. Rather than using shallow
additive architectures as in many statistical models, deep learning uses layers
of semi affine input transformations to provide a predictive rule. Applying
these layers of transformations leads to a set of attributes (a.k.a features)
to which predictive statistical methods can be applied. Thus we achieve the
best of both worlds: scalability and fast predictive rule construction together
with uncertainty quantification. Sparse regularisation with un-supervised or
supervised learning finds the features. We clarify the duality between shallow
and wide models such as PCA, PPR, RRR and deep but skinny architectures such as
autoencoders, MLPs, CNN, and LSTM. The connection with data transformations is
of practical importance for finding good network architectures. By
incorporating probabilistic components at the output level we allow for
predictive uncertainty. For interpolation we use deep Gaussian process and ReLU
trees for classification. We provide applications to regression, classification
and interpolation. Finally, we conclude with directions for future research.
- Abstract（参考訳）: 深層学習と統計的学習の2つの文化を組み合わせることで、構造化された高次元データに対する洞察が得られる。
従来の統計モデリングは依然として構造化表データの主要な戦略である。
ディープラーニングは、複合リンク関数を持つ一般化線形モデル(GLM)のレンズを通して見ることができる。
十分次元還元(SDR)と疎性は非線形特徴工学を実行する。
モデルの出力層における確率的手法を用いて予測,補間,不確かさの定量化が可能であることを示す。
したがって、機械学習の一般的なフレームワークは、まずスパース正規化と確率的勾配最適化を通じて非線形特徴(すなわち因子)を生成し、次に予測の不確実性のために確率的出力層を使用する。
多くの統計モデルのように浅い付加的アーキテクチャを使うのではなく、ディープラーニングは半アフィン入力変換の層を使って予測ルールを提供する。
これらの変換層を適用すれば、予測統計手法が適用可能な属性(つまり特徴)の集合が得られる。
したがって、スケーラビリティと高速予測ルール構築と不確実性定量化という両世界のベストを達成できる。
教師なしまたは教師なし学習によるスパース正規化はその特徴を見つける。
我々は,PCA,PPR,RRRなどの浅層モデルと,オートエンコーダ,MPP,CNN,LSTMなどの深層アーキテクチャの両立性を明らかにする。
データ変換との接続は、優れたネットワークアーキテクチャを見つける上で実用上重要である。
出力レベルで確率的成分を組み込むことにより、予測の不確かさを許容する。
補間には深いガウス過程とReLU木を用いて分類する。
我々は回帰、分類、補間に応用する。
最後に,今後の研究の方向性について述べる。
関連論文リスト
- Deep Learning: A Tutorial [0.8158530638728498]
構造化された高次元データに対する洞察を提供する深層学習手法のレビューを行う。
ディープラーニングは、予測ルールを提供するために、セミファイン入力変換のレイヤを使用する。
これらの変換層を適用すると、確率論的統計手法が適用可能な属性(または特徴)の集合が生成される。
論文 参考訳（メタデータ） (2023-10-10T01:55:22Z) - What learning algorithm is in-context learning? Investigations with
linear models [87.91612418166464]
本稿では,トランスフォーマーに基づくインコンテキスト学習者が標準学習アルゴリズムを暗黙的に実装する仮説について検討する。
訓練された文脈内学習者は、勾配降下、隆起回帰、および正確な最小二乗回帰によって計算された予測値と密に一致していることを示す。
文脈内学習者がこれらの予測器とアルゴリズム的特徴を共有するという予備的証拠。
論文 参考訳（メタデータ） (2022-11-28T18:59:51Z) - Few-Shot Non-Parametric Learning with Deep Latent Variable Model [50.746273235463754]
遅延変数を用いた圧縮による非パラメトリック学習(NPC-LV)を提案する。
NPC-LVは、ラベルなしデータが多いがラベル付きデータはほとんどないデータセットの学習フレームワークである。
我々は,NPC-LVが低データ構造における画像分類における3つのデータセットの教師あり手法よりも優れていることを示す。
論文 参考訳（メタデータ） (2022-06-23T09:35:03Z) - A Hybrid Framework for Sequential Data Prediction with End-to-End
Optimization [0.0]
オンライン環境での非線形予測について検討し,手作業による特徴や手作業によるモデル選択の問題を効果的に緩和するハイブリッドモデルを提案する。
逐次データからの適応的特徴抽出にはLSTM(Recurrent Neural Network)、効果的な教師付き回帰には勾配強化機構(soft GBDT)を用いる。
本稿では, 合成データに対するアルゴリズムの学習挙動と, 各種実生活データセットに対する従来の手法による性能改善について述べる。
論文 参考訳（メタデータ） (2022-03-25T17:13:08Z) - Scaling Structured Inference with Randomization [64.18063627155128]
本稿では、構造化されたモデルを数万の潜在状態に拡張するためにランダム化された動的プログラミング(RDP)のファミリを提案する。
我々の手法は古典的DPベースの推論に広く適用できる。
また、自動微分とも互換性があり、ニューラルネットワークとシームレスに統合できる。
論文 参考訳（メタデータ） (2021-12-07T11:26:41Z) - Emulating Spatio-Temporal Realizations of Three-Dimensional Isotropic
Turbulence via Deep Sequence Learning Models [24.025975236316842]
最先端のディープラーニング技術を用いて3次元乱流をモデル化するために,データ駆動方式を用いる。
モデルの精度は、統計および物理に基づくメトリクスを用いて評価される。
論文 参考訳（メタデータ） (2021-12-07T03:33:39Z) - Rank-R FNN: A Tensor-Based Learning Model for High-Order Data
Classification [69.26747803963907]
Rank-R Feedforward Neural Network (FNN)は、そのパラメータにCanonical/Polyadic分解を課すテンソルベースの非線形学習モデルである。
まず、入力をマルチリニアアレイとして扱い、ベクトル化の必要性を回避し、すべてのデータ次元に沿って構造情報を十分に活用することができる。
Rank-R FNNの普遍的な近似と学習性の特性を確立し、実世界のハイパースペクトルデータセットのパフォーマンスを検証する。
論文 参考訳（メタデータ） (2021-04-11T16:37:32Z) - Learning Reasoning Strategies in End-to-End Differentiable Proving [50.9791149533921]
条件付き定理プローバーは勾配に基づく最適化により最適規則選択戦略を学習する。
条件付き定理プローサは拡張性があり、CLUTRRデータセット上で最先端の結果が得られることを示す。
論文 参考訳（メタデータ） (2020-07-13T16:22:14Z) - Predictive Coding Approximates Backprop along Arbitrary Computation
Graphs [68.8204255655161]
我々は、コア機械学習アーキテクチャを予測的符号化に翻訳する戦略を開発する。
私たちのモデルは、挑戦的な機械学習ベンチマークのバックプロップと同等に機能します。
本手法は,ニューラルネットワークに標準機械学習アルゴリズムを直接実装できる可能性を高める。
論文 参考訳（メタデータ） (2020-06-07T15:35:47Z) - Deep transformation models: Tackling complex regression problems with
neural network based transformation models [0.0]
確率回帰のための深層変換モデルを提案する。
これは、結果の不確実性を捉える最も徹底的な方法である条件付き確率分布全体を推定する。
本手法は複雑な入力データに対して有効であり,画像データにCNNアーキテクチャを適用して実演する。
論文 参考訳（メタデータ） (2020-04-01T14:23:12Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。