論文の概要: Learning without gradient descent encoded by the dynamics of a
neurobiological model
- arxiv url: http://arxiv.org/abs/2103.08878v1
- Date: Tue, 16 Mar 2021 07:03:04 GMT
- ステータス: 処理完了
- システム内更新日: 2021-03-17 20:05:16.194401
- Title: Learning without gradient descent encoded by the dynamics of a
neurobiological model
- Title(参考訳): 神経生物学モデルのダイナミックスによって符号化された勾配降下のない学習
- Authors: Vivek Kurien George, Vikash Morar, Weiwei Yang, Jonathan Larson, Bryan
Tower, Shweti Mahajan, Arkin Gupta, Christopher White, Gabriel A. Silva
- Abstract要約: 本稿では,動的シグナリングの神経生物学的モデルを利用した機械学習の概念的アプローチを提案する。
MNIST画像は、教師なしの方法で、ほぼ最先端の精度で幾何学的ネットワークのダイナミクスによって一意に符号化され分類できることを示す。
- 参考スコア(独自算出の注目度): 7.952666139462592
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The success of state-of-the-art machine learning is essentially all based on
different variations of gradient descent algorithms that minimize some version
of a cost or loss function. A fundamental limitation, however, is the need to
train these systems in either supervised or unsupervised ways by exposing them
to typically large numbers of training examples. Here, we introduce a
fundamentally novel conceptual approach to machine learning that takes
advantage of a neurobiologically derived model of dynamic signaling,
constrained by the geometric structure of a network. We show that MNIST images
can be uniquely encoded and classified by the dynamics of geometric networks
with nearly state-of-the-art accuracy in an unsupervised way, and without the
need for any training.
- Abstract(参考訳): 最先端の機械学習の成功は、基本的に、コストや損失関数のいくつかのバージョンを最小限に抑える勾配降下アルゴリズムの様々なバリエーションに基づいている。
しかし、基本的な制限は、これらのシステムを通常多くのトレーニング例に公開することにより、教師なしまたは教師なしの方法でトレーニングする必要があることである。
本稿では,ネットワークの幾何学的構造によって制約される動的シグナル伝達の神経生物学的モデルを利用した機械学習の基本的な概念的アプローチを提案する。
mnist画像は,教師なしの方法で,何の訓練も必要とせず,ほぼ最先端の精度を持つ幾何学的ネットワークのダイナミクスによって一意に符号化され,分類できることを示す。
関連論文リスト
- Mechanistic Neural Networks for Scientific Machine Learning [58.99592521721158]
我々は、科学における機械学習応用のためのニューラルネットワーク設計であるメカニスティックニューラルネットワークを提案する。
新しいメカニスティックブロックを標準アーキテクチャに組み込んで、微分方程式を表現として明示的に学習する。
我々のアプローチの中心は、線形プログラムを解くために線形ODEを解く技術に着想を得た、新しい線形計画解法(NeuRLP)である。
論文 参考訳(メタデータ) (2024-02-20T15:23:24Z) - Backpropagation-free Training of Deep Physical Neural Networks [0.0]
我々は「モデルフリーフォワードトレーニング」と呼ばれる生物学的に妥当な学習アルゴリズムによって強化された単純なディープニューラルネットワークアーキテクチャを提案する。
本手法は,トレーニング速度の向上,デジタル計算の削減,物理システムにおける消費電力の削減などにより,最先端のハードウェア・アウェアトレーニング手法よりも優れていることを示す。
論文 参考訳(メタデータ) (2023-04-20T14:02:49Z) - ConCerNet: A Contrastive Learning Based Framework for Automated
Conservation Law Discovery and Trustworthy Dynamical System Prediction [82.81767856234956]
本稿では,DNNに基づく動的モデリングの信頼性を向上させるために,ConCerNetという新しい学習フレームワークを提案する。
本手法は, 座標誤差と保存量の両方において, ベースラインニューラルネットワークよりも一貫して優れていることを示す。
論文 参考訳(メタデータ) (2023-02-11T21:07:30Z) - Towards Cross Domain Generalization of Hamiltonian Representation via
Meta Learning [2.7195102129095003]
本研究では、ハミルトン力学の分野におけるクロス領域の一般化を目標とすることで、大きな前進を試みている。
我々は,このシステムをグラフニューラルネットワークでモデル化し,メタ学習アルゴリズムを用いてタスクの分布に対して経験を得られるようにした。
この結果は,メタ訓練モデルが新しいシステムに効果的に適応するだけでなく,異なる物理領域間で一貫した一般化されたハミルトン表現も捉えることを示した。
論文 参考訳(メタデータ) (2022-12-02T13:47:21Z) - The least-control principle for learning at equilibrium [65.2998274413952]
我々は、平衡反復ニューラルネットワーク、深層平衡モデル、メタラーニングを学ぶための新しい原理を提案する。
私たちの結果は、脳がどのように学習するかを明らかにし、幅広い機械学習問題にアプローチする新しい方法を提供します。
論文 参考訳(メタデータ) (2022-07-04T11:27:08Z) - Revisit Geophysical Imaging in A New View of Physics-informed Generative
Adversarial Learning [2.12121796606941]
完全な波形反転は高分解能地下モデルを生成する。
最小二乗関数を持つFWIは、局所ミニマ問題のような多くの欠点に悩まされる。
偏微分方程式とニューラルネットワークを用いた最近の研究は、2次元FWIに対して有望な性能を示している。
本稿では,波動方程式を識別ネットワークに統合し,物理的に一貫したモデルを正確に推定する,教師なし学習パラダイムを提案する。
論文 参考訳(メタデータ) (2021-09-23T15:54:40Z) - Artificial neural network as a universal model of nonlinear dynamical
systems [0.0]
このマップは、重みがモデル化されたシステムをエンコードする人工知能ニューラルネットワークとして構築されている。
ローレンツ系、ロースラー系およびヒンドマール・ロースニューロンを考察する。
誘引子、パワースペクトル、分岐図、リャプノフ指数の視覚像に高い類似性が観察される。
論文 参考訳(メタデータ) (2021-03-06T16:02:41Z) - Gradient Starvation: A Learning Proclivity in Neural Networks [97.02382916372594]
グラディエント・スターベーションは、タスクに関連する機能のサブセットのみをキャプチャすることで、クロスエントロピー損失を最小化するときに発生する。
この研究は、ニューラルネットワークにおけるそのような特徴不均衡の出現に関する理論的説明を提供する。
論文 参考訳(メタデータ) (2020-11-18T18:52:08Z) - Limited-angle tomographic reconstruction of dense layered objects by
dynamical machine learning [68.9515120904028]
強い散乱準透明物体の有限角トモグラフィーは困難で、非常に不適切な問題である。
このような問題の状況を改善することにより、アーティファクトの削減には、事前の定期化が必要である。
我々は,新しい分割畳み込みゲート再帰ユニット(SC-GRU)をビルディングブロックとして,リカレントニューラルネットワーク(RNN)アーキテクチャを考案した。
論文 参考訳(メタデータ) (2020-07-21T11:48:22Z) - Physics-based polynomial neural networks for one-shot learning of
dynamical systems from one or a few samples [0.0]
本論文は, 単純な振り子と世界最大規模のX線源の双方について, 実測結果について述べる。
提案手法により, ノイズ, 制限, 部分的な観測から複雑な物理を復元することができることが実証された。
論文 参考訳(メタデータ) (2020-05-24T09:27:10Z) - Compressive sensing with un-trained neural networks: Gradient descent
finds the smoothest approximation [60.80172153614544]
訓練されていない畳み込みニューラルネットワークは、画像の回復と復元に非常に成功したツールとして登場した。
トレーニングされていない畳み込みニューラルネットワークは、ほぼ最小限のランダムな測定値から、十分に構造化された信号や画像を概ね再構成可能であることを示す。
論文 参考訳(メタデータ) (2020-05-07T15:57:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。