Fugu-MT 論文翻訳(概要): Singular leaning coefficients and efficiency in learning theory

論文の概要: Singular leaning coefficients and efficiency in learning theory

arxiv url: http://arxiv.org/abs/2501.12747v1
Date: Wed, 22 Jan 2025 09:31:02 GMT
ステータス: 翻訳完了
システム内更新日: 2025-01-23 16:53:06.372378
Title: Singular leaning coefficients and efficiency in learning theory
Title（参考訳）: 学習理論における特異傾き係数と効率
Authors: Miki Aoyagi,
Abstract要約: 非正のフィッシャー情報行列を持つ特異学習モデルには、ニューラルネットワーク、低ランク回帰、ボルツマンマシン、通常の混合モデルなどが含まれる。本稿では,ReLU単位を用いた深層線形学習モデルと3層ニューラルネットワークモデルの一般学習効率を示す学習係数について検討する。
参考スコア（独自算出の注目度）: 0.0
License:
Abstract: Singular learning models with non-positive Fisher information matrices include neural networks, reduced-rank regression, Boltzmann machines, normal mixture models, and others. These models have been widely used in the development of learning machines. However, theoretical analysis is still in its early stages. In this paper, we examine learning coefficients, which indicate the general learning efficiency of deep linear learning models and three-layer neural network models with ReLU units. Finally, we extend the results to include the case of the Softmax function.
Abstract（参考訳）: 非正のフィッシャー情報行列を持つ特異学習モデルには、ニューラルネットワーク、低ランク回帰、ボルツマンマシン、通常の混合モデルなどが含まれる。これらのモデルは学習機械の開発に広く利用されている。しかし、理論分析はまだ初期段階にある。本稿では,ReLU単位を用いた深層線形学習モデルと3層ニューラルネットワークモデルの一般学習効率を示す学習係数について検討する。最後に、結果をSoftmax関数のケースを含むように拡張する。

関連論文リスト

Pseudo-Hamiltonian neural networks for learning partial differential equations [0.0]
Pseudo-Hamiltonian Neural Network (PHNN)は、最近、通常の微分方程式でモデル化できる力学系を学ぶために導入された。本稿では,この手法を偏微分方程式に拡張する。得られたモデルは、保存、散逸、外部力を表す用語をモデル化する最大3つのニューラルネットワークと、学習または入力として与えられる個別の畳み込み演算子から構成される。
論文参考訳（メタデータ） (2023-04-27T17:46:00Z)
Deep learning applied to computational mechanics: A comprehensive review, state of the art, and the classics [77.34726150561087]
人工知能,特に深層学習(DL)の最近の進歩を概観する。ハイブリッドおよび純粋機械学習(ML)の手法について論じる。 AIの歴史と限界は、特に古典の誤解や誤解を指摘し、議論され、議論される。
論文参考訳（メタデータ） (2022-12-18T02:03:00Z)
On the Generalization and Adaption Performance of Causal Models [99.64022680811281]
異なる因果発見は、データ生成プロセスを一連のモジュールに分解するために提案されている。このようなモジュラニューラル因果モデルの一般化と適応性能について検討する。我々の分析では、モジュラーニューラル因果モデルが、低データレギュレーションにおけるゼロおよび少数ショットの適応において、他のモデルよりも優れていることを示している。
論文参考訳（メタデータ） (2022-06-09T17:12:32Z)
EINNs: Epidemiologically-Informed Neural Networks [75.34199997857341]
本稿では,疫病予測のための新しい物理インフォームドニューラルネットワークEINNを紹介する。メカニスティックモデルによって提供される理論的柔軟性と、AIモデルによって提供されるデータ駆動表現性の両方を活用する方法について検討する。
論文参考訳（メタデータ） (2022-02-21T18:59:03Z)
Tensor networks for unsupervised machine learning [9.897828174118974]
本稿では,量子多体物理学の行列状態と機械学習の自己回帰モデルを組み合わせたテンソルネットワークモデルであるAutoregressive Matrix Product States(AMPS)を提案する。提案手法は,既存のテンソルネットワークモデルや制限されたボルツマンマシンよりも優れていることを示す。
論文参考訳（メタデータ） (2021-06-24T12:51:00Z)
Sparse Flows: Pruning Continuous-depth Models [107.98191032466544]
生成モデルにおいて,プルーニングによりニューラルネットワークの一般化が向上することを示す。また、プルーニングは、元のネットワークに比べて最大98%少ないパラメータで、精度を損なうことなく、最小かつ効率的なニューラルODE表現を見出すことを示した。
論文参考訳（メタデータ） (2021-06-24T01:40:17Z)
Gone Fishing: Neural Active Learning with Fisher Embeddings [55.08537975896764]
ディープニューラルネットワークと互換性のあるアクティブな学習アルゴリズムの必要性が高まっている。本稿では,ニューラルネットワークのための抽出可能かつ高性能な能動学習アルゴリズムBAITを紹介する。
論文参考訳（メタデータ） (2021-06-17T17:26:31Z)
From Boltzmann Machines to Neural Networks and Back Again [31.613544605376624]
制限ボルツマンマシン(Restricted Boltzmann Machines)は、おそらく最もよく研究されている潜在変数モデルのクラスである。我々の結果は、$ell_infty$bounded inputの下で二層ニューラルネットワークを学習するための新しい接続に基づいている。次に,分散仮定を使わずに,関連するネットワークのクラスに対して可能なものよりも,より優れたランタイムで教師付きRAMの自然なクラスを学習するアルゴリズムを提案する。
論文参考訳（メタデータ） (2020-07-25T00:42:50Z)
The large learning rate phase of deep learning: the catapult mechanism [50.23041928811575]
問題解決可能なトレーニングダイナミクスを備えたニューラルネットワークのクラスを提示する。現実的なディープラーニング環境において,モデルの予測とトレーニングのダイナミクスとの間には,よい一致がある。我々の結果は、異なる学習率でトレーニングされたモデルの特性に光を当てたと信じています。
論文参考訳（メタデータ） (2020-03-04T17:52:48Z)
Learning Queuing Networks by Recurrent Neural Networks [0.0]
データから性能モデルを導出する機械学習手法を提案する。我々は、通常の微分方程式のコンパクトな系の観点から、それらの平均力学の決定論的近似を利用する。これにより、ニューラルネットワークの解釈可能な構造が可能になり、システム測定からトレーニングしてホワイトボックスパラメータ化モデルを生成することができる。
論文参考訳（メタデータ） (2020-02-25T10:56:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。