論文の概要: Machine Learning vs Deep Learning: The Generalization Problem
- arxiv url: http://arxiv.org/abs/2403.01621v1
- Date: Sun, 3 Mar 2024 21:42:55 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-06 20:37:11.151929
- Title: Machine Learning vs Deep Learning: The Generalization Problem
- Title(参考訳): 機械学習とディープラーニング: 一般化問題
- Authors: Yong Yi Bay and Kathleen A. Yearick
- Abstract要約: 本研究では,従来の機械学習(ML)モデルとディープラーニング(DL)アルゴリズムの比較能力について,外挿の観点から検討した。
本稿では,MLモデルとDLモデルの両方が指数関数で学習され,学習領域外の値でテストされる経験的分析を提案する。
その結果,ディープラーニングモデルには,学習範囲を超えて一般化する固有の能力があることが示唆された。
- 参考スコア(独自算出の注目度): 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The capacity to generalize beyond the range of training data is a pivotal
challenge, often synonymous with a model's utility and robustness. This study
investigates the comparative abilities of traditional machine learning (ML)
models and deep learning (DL) algorithms in terms of extrapolation -- a more
challenging aspect of generalization because it requires the model to make
inferences about data points that lie outside the domain it has been trained
on. We present an empirical analysis where both ML and DL models are trained on
an exponentially growing function and then tested on values outside the
training domain. The choice of this function allows us to distinctly showcase
the divergence in performance when models are required to predict beyond the
scope of their training data. Our findings suggest that deep learning models
possess inherent capabilities to generalize beyond the training scope, an
essential feature for real-world applications where data is often incomplete or
extends beyond the observed range. This paper argues for a nuanced
understanding of the structural differences between ML and DL models, with an
emphasis on the implications for both theoretical research and practical
deployment.
- Abstract(参考訳): トレーニングデータの範囲を超えて一般化する能力は重要な課題であり、しばしばモデルの実用性と堅牢性と同義である。
本研究では、従来の機械学習(ML)モデルとディープラーニング(DL)アルゴリズムの比較能力について、外挿(extrapolation)の観点から検討する。
本稿では,MLモデルとDLモデルの両方が指数関数で学習され,学習領域外の値でテストされる経験的分析を提案する。
この関数の選択により、トレーニングデータの範囲を超えてモデルを予測する必要がある場合、パフォーマンスのばらつきを明確に示すことができます。
この結果から,ディープラーニングモデルには,学習範囲を超えて一般化する固有の能力があることが示唆された。
本稿では、mlモデルとdlモデルの構造的差異を微妙に理解し、理論的研究と実用的な展開の両方に影響を及ぼすことを強調する。
関連論文リスト
- A PAC-Bayesian Perspective on the Interpolating Information Criterion [54.548058449535155]
補間系の性能に影響を及ぼす要因を特徴付ける一般モデルのクラスに対して,PAC-Bayes境界がいかに得られるかを示す。
オーバーパラメータ化モデルに対するテスト誤差が、モデルとパラメータの初期化スキームの組み合わせによって課される暗黙の正規化の品質に依存するかの定量化を行う。
論文 参考訳(メタデータ) (2023-11-13T01:48:08Z) - Fantastic Gains and Where to Find Them: On the Existence and Prospect of
General Knowledge Transfer between Any Pretrained Model [74.62272538148245]
事前訓練されたモデルの任意のペアリングに対して、一方のモデルは他方では利用できない重要なデータコンテキストを抽出する。
このような「補的」な知識を,性能劣化を伴わずに,あるモデルから別のモデルへ伝達できるかどうかを検討する。
論文 参考訳(メタデータ) (2023-10-26T17:59:46Z) - Interpreting and generalizing deep learning in physics-based problems
with functional linear models [1.5763154617625352]
解釈可能性は非常に重要であり、物理システムのモデリングにしばしば望まれる。
固体力学,流体力学,輸送の試験例を報告する。
本研究は,科学的機械学習における解釈可能性の重要性を裏付けるものである。
論文 参考訳(メタデータ) (2023-07-10T14:01:29Z) - Scaling Vision-Language Models with Sparse Mixture of Experts [128.0882767889029]
提案手法は, 等価計算コストの高密度モデルに対して, 様々なベンチマークにおいて, 最先端性能を実現することができることを示す。
我々の研究は、MoEモデルのトレーニングの安定化、モデル解釈可能性に対するMoEの影響の理解、ビジョン言語モデルをスケールする際の計算性能間のトレードオフのバランスに関する貴重な洞察を提供する。
論文 参考訳(メタデータ) (2023-03-13T16:00:31Z) - Large Language Models with Controllable Working Memory [64.71038763708161]
大規模言語モデル(LLM)は、自然言語処理(NLP)の一連のブレークスルーをもたらした。
これらのモデルをさらに切り離すのは、事前訓練中に内在する膨大な量の世界的知識だ。
モデルの世界知識が、文脈で提示された事実情報とどのように相互作用するかは、まだ解明されていない。
論文 参考訳(メタデータ) (2022-11-09T18:58:29Z) - How robust are pre-trained models to distribution shift? [82.08946007821184]
自己教師付き学習(SSL)と自己エンコーダベースモデル(AE)の相互関係が相互関係に与える影響を示す。
本研究では, 線形ヘッドの潜在バイアスから事前学習したモデルの性能を分離するために, アウト・オブ・ディストリビューション(OOD)データに基づいて訓練された線形ヘッドを用いた新しい評価手法を開発した。
論文 参考訳(メタデータ) (2022-06-17T16:18:28Z) - Bayesian Active Learning for Discrete Latent Variable Models [19.852463786440122]
アクティブラーニングは、モデルのパラメータに適合するために必要なデータ量を削減しようとする。
潜在変数モデルは神経科学、心理学、その他の様々な工学、科学分野において重要な役割を果たす。
論文 参考訳(メタデータ) (2022-02-27T19:07:12Z) - Effective dimension of machine learning models [4.721845865189576]
新しいデータを含むタスクにおけるトレーニング済みモデルのパフォーマンスに関する声明を作ることが、機械学習の主要な目標のひとつだ。
様々な能力測定は、この能力を捉えようとするが、通常、我々が実際に観察するモデルの重要な特性を説明するのに不足する。
本稿では,標準データセットの一般化誤差と相関するキャパシティ尺度として,局所有効次元を提案する。
論文 参考訳(メタデータ) (2021-12-09T10:00:18Z) - Evaluating deep transfer learning for whole-brain cognitive decoding [11.898286908882561]
転送学習(TL)は、少数のサンプルを持つデータセットにおける深層学習(DL)モデルの性能向上に適している。
本稿では,全脳機能型磁気共鳴画像(fMRI)データから認識状態の復号化にDLモデルを適用するためのTLを評価した。
論文 参考訳(メタデータ) (2021-11-01T15:44:49Z) - Modeling Generalization in Machine Learning: A Methodological and
Computational Study [0.8057006406834467]
我々は、機械学習の一般化を評価する際に、トレーニングデータの凸殻の概念を用いる。
機械学習モデルの一般化能力と次元に関するすべての指標との予期せぬ弱い関係を観察する。
論文 参考訳(メタデータ) (2020-06-28T19:06:16Z) - On the Benefits of Invariance in Neural Networks [56.362579457990094]
データ拡張によるトレーニングは、リスクとその勾配をよりよく見積もることを示し、データ拡張でトレーニングされたモデルに対して、PAC-Bayes一般化を提供する。
また,データ拡張と比べ,平均化は凸損失を伴う場合の一般化誤差を低減し,PAC-Bayes境界を狭めることを示した。
論文 参考訳(メタデータ) (2020-05-01T02:08:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。