論文の概要: Deep Learning is Singular, and That's Good

• arxiv url: http://arxiv.org/abs/2010.11560v1
• Date: Thu, 22 Oct 2020 09:33:59 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-04 07:16:31.371293
• Title: Deep Learning is Singular, and That's Good
• Title（参考訳）: ディープラーニングは特異であり、それは良いことだ
• Authors: Daniel Murfet, Susan Wei, Mingming Gong, Hui Li, Jesse Gell-Redman, Thomas Quella
• Abstract要約: 特異モデルにおいて、パラメータの最適集合は特異点を持つ解析集合を形成し、古典的な統計的推論は適用できない。 これは、ニューラルネットワークが特異であり、ヘッセンの行列式やラプラス近似を用いた場合の「分割」が適切でないため、ディープラーニングにとって重要である。 深層学習の根本的な問題に対処する可能性にもかかわらず、特異学習理論は深層学習理論の発達過程にほとんど浸透しなかったようである。
• 参考スコア（独自算出の注目度）: 31.985399645173022
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In singular models, the optimal set of parameters forms an analytic set with singularities and classical statistical inference cannot be applied to such models. This is significant for deep learning as neural networks are singular and thus "dividing" by the determinant of the Hessian or employing the Laplace approximation are not appropriate. Despite its potential for addressing fundamental issues in deep learning, singular learning theory appears to have made little inroads into the developing canon of deep learning theory. Via a mix of theory and experiment, we present an invitation to singular learning theory as a vehicle for understanding deep learning and suggest important future work to make singular learning theory directly applicable to how deep learning is performed in practice.
• Abstract（参考訳）: 特異モデルにおいて、パラメータの最適集合は特異点を持つ解析集合を形成し、古典的な統計推論はそのようなモデルには適用できない。 これはニューラルネットワークが特異であり、ヘッセン行列式やラプラス近似を用いた"分割"は適切ではないため、ディープラーニングにとって重要である。 深層学習の基本問題への対処の可能性にもかかわらず、特異学習理論は深層学習理論の発展にほとんど貢献しなかったようである。 理論と実験の混合により,ディープラーニングを理解する手段としての特異学習理論への招待と,ディープラーニングの実践方法に直接適用するための重要な今後の課題を提案する。

関連論文リスト

• Lecture Notes on Linear Neural Networks: A Tale of Optimization and Generalization in Deep Learning [14.909298522361306]
  ノートは、深層学習の数学的理解に関するプリンストン大学の上級講座の一部として、2021年3月にNCが行った講義に基づいている。 彼らは線形ニューラルネットワークの理論(NC、NR、共同研究者によって開発された)を提示し、ディープラーニングの最適化と一般化の研究における基礎モデルである。
  論文  参考訳（メタデータ） (2024-08-25T08:24:48Z)
• Applying statistical learning theory to deep learning [21.24637996678039]
  これらの講義の目的は、深層学習を理解しようとするときに生じる主な疑問の概要を提供することである。 良心過剰の文脈における暗黙の偏見について論じる。 本稿では, 線形対角線ネットワーク上での勾配降下の暗黙的バイアスを, 様々な回帰タスクに対して詳細に検討する。
  論文  参考訳（メタデータ） (2023-11-26T20:00:53Z)
• A Theory of Human-Like Few-Shot Learning [14.271690184738205]
  我々は、フォン・ノイマン=ランダウアーの原理から人間のような小ショット学習の理論を導いた。 変分オートエンコーダ(VAE)のような深部生成モデルを用いて,この理論を近似することができる。
  論文  参考訳（メタデータ） (2023-01-03T11:22:37Z)
• Envisioning Future Deep Learning Theories: Some Basic Concepts and Characteristics [30.365274034429508]
  将来的な深層学習理論は,3つの特徴を継承すべきである,と我々は主張する。 階層構造型ネットワークアーキテクチャ, 勾配法を用いてテキストに最適化されたパラメータ, テキスト圧縮的に進化するデータからの情報。 我々はこれらの特徴をTextitneurashedと呼ばれるグラフィカルモデルに統合し、ディープラーニングにおける一般的な経験的パターンを効果的に説明する。
  論文  参考訳（メタデータ） (2021-12-17T19:51:26Z)
• An Empirical Investigation into Deep and Shallow Rule Learning [0.0]
  本稿では,深層ルール学習と浅層ルール学習を一様一般アルゴリズムで実証的に比較する。 人工および実世界のベンチマークデータを用いた実験は、深いルールネットワークが浅いネットワークより優れていることを示している。
  論文  参考訳（メタデータ） (2021-06-18T17:43:17Z)
• Ten Quick Tips for Deep Learning in Biology [116.78436313026478]
  機械学習は、データのパターンを認識し、予測モデリングに使用するアルゴリズムの開発と応用に関係している。 ディープラーニングは、独自の機械学習のサブフィールドになっている。 生物学的研究の文脈において、ディープラーニングは高次元の生物学的データから新しい洞察を導き出すためにますます使われてきた。
  論文  参考訳（メタデータ） (2021-05-29T21:02:44Z)
• Exploring Bayesian Deep Learning for Urgent Instructor Intervention Need in MOOC Forums [58.221459787471254]
  大規模なオープンオンラインコース(MOOC)は、その柔軟性のおかげで、eラーニングの一般的な選択肢となっている。 多くの学習者とその多様な背景から、リアルタイムサポートの提供は課税されている。 MOOCインストラクターの大量の投稿と高い作業負荷により、インストラクターが介入を必要とするすべての学習者を識別できる可能性は低いです。 本稿では,モンテカルロドロップアウトと変分推論という2つの手法を用いて,学習者によるテキスト投稿のベイジアン深層学習を初めて検討する。
  論文  参考訳（メタデータ） (2021-04-26T15:12:13Z)
• Demystification of Few-shot and One-shot Learning [63.58514532659252]
  近年,単発学習や単発学習が活発かつ集中的な研究の対象となっている。 学習機械の環境的あるいは潜在的な決定空間が、この空間にある大きな種類の物体よりも十分に高次元であれば、いくつかの例から容易に学習できることを示す。
  論文  参考訳（メタデータ） (2021-04-25T14:47:05Z)
• Nonparametric Estimation of Heterogeneous Treatment Effects: From Theory to Learning Algorithms [91.3755431537592]
  プラグイン推定と擬似出力回帰に依存する4つの幅広いメタ学習戦略を解析する。 この理論的推論を用いて、アルゴリズム設計の原則を導出し、分析を実践に翻訳する方法について強調する。
  論文  参考訳（メタデータ） (2021-01-26T17:11:40Z)
• Plausible Counterfactuals: Auditing Deep Learning Classifiers with Realistic Adversarial Examples [84.8370546614042]
  ディープラーニングモデルのブラックボックスの性質は、彼らがデータから何を学ぶかについて、未回答の疑問を提起している。 GAN(Generative Adversarial Network)とマルチオブジェクトは、監査されたモデルに妥当な攻撃を与えるために使用される。 その実用性は人間の顔の分類タスクの中で示され、提案されたフレームワークの潜在的可能性を明らかにしている。
  論文  参考訳（メタデータ） (2020-03-25T11:08:56Z)
• The large learning rate phase of deep learning: the catapult mechanism [50.23041928811575]
  問題解決可能なトレーニングダイナミクスを備えたニューラルネットワークのクラスを提示する。 現実的なディープラーニング環境において,モデルの予測とトレーニングのダイナミクスとの間には,よい一致がある。 我々の結果は、異なる学習率でトレーニングされたモデルの特性に光を当てたと信じています。
  論文  参考訳（メタデータ） (2020-03-04T17:52:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。