論文の概要: Training of Physical Neural Networks

• arxiv url: http://arxiv.org/abs/2406.03372v1
• Date: Wed, 5 Jun 2024 15:28:04 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-06 17:31:45.610330
• Title: Training of Physical Neural Networks
• Title（参考訳）: 物理ニューラルネットワークの学習
• Authors: Ali Momeni, Babak Rahmani, Benjamin Scellier, Logan G. Wright, Peter L. McMahon, Clara C. Wanjura, Yuhang Li, Anas Skalli, Natalia G. Berloff, Tatsuhiro Onodera, Ilker Oguz, Francesco Morichetti, Philipp del Hougne, Manuel Le Gallo, Abu Sebastian, Azalia Mirhoseini, Cheng Zhang, Danijela Marković, Daniel Brunner, Christophe Moser, Sylvain Gigan, Florian Marquardt, Aydogan Ozcan, Julie Grollier, Andrea J. Liu, Demetri Psaltis, Andrea Alù, Romain Fleury,
• Abstract要約: 物理ニューラルネットワーク(PNN)は、物理系の特性を利用して計算を行うニューラルネットワークである。 PNNはいつか、AIシステムで何が可能で実用的なのかを根本的に変えるかもしれない。 大規模にPNNを訓練するために、バックプロパゲーションベースやバックプロパゲーションフリーアプローチを含む多くの手法が検討されている。
• 参考スコア（独自算出の注目度）: 16.832505972118646
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Physical neural networks (PNNs) are a class of neural-like networks that leverage the properties of physical systems to perform computation. While PNNs are so far a niche research area with small-scale laboratory demonstrations, they are arguably one of the most underappreciated important opportunities in modern AI. Could we train AI models 1000x larger than current ones? Could we do this and also have them perform inference locally and privately on edge devices, such as smartphones or sensors? Research over the past few years has shown that the answer to all these questions is likely "yes, with enough research": PNNs could one day radically change what is possible and practical for AI systems. To do this will however require rethinking both how AI models work, and how they are trained - primarily by considering the problems through the constraints of the underlying hardware physics. To train PNNs at large scale, many methods including backpropagation-based and backpropagation-free approaches are now being explored. These methods have various trade-offs, and so far no method has been shown to scale to the same scale and performance as the backpropagation algorithm widely used in deep learning today. However, this is rapidly changing, and a diverse ecosystem of training techniques provides clues for how PNNs may one day be utilized to create both more efficient realizations of current-scale AI models, and to enable unprecedented-scale models.
• Abstract（参考訳）: 物理ニューラルネットワーク(PNN)は、物理系の性質を利用して計算を行うニューラルネットワークの一種である。 PNNは今のところ、小さな実験室のデモのあるニッチな研究分野だが、現代のAIにおいて、もっとも未熟な重要な機会の1つであることは間違いない。 AIモデルを現在のモデルより1000倍大きくトレーニングできるだろうか? スマートフォンやセンサーなどのエッジデバイス上で、ローカルでプライベートに推論を実行させることもできますか? 過去数年間の研究によると、これらの質問に対する答えは、おそらく"十分に調査"されている。PNNはいつか、AIシステムで何が可能で実用的なのかを根本的に変える可能性がある。 しかしそのためには、AIモデルの動作方法とトレーニング方法の両方を再考する必要がある。 大規模にPNNを訓練するために、バックプロパゲーションベースやバックプロパゲーションフリーアプローチを含む多くの手法が検討されている。 これらの手法には様々なトレードオフがあり、今日ではディープラーニングで広く使われているバックプロパゲーションアルゴリズムと同じスケールと性能にスケールすることが示されていない。 しかし、これは急速に変化しており、多様なトレーニングテクニックのエコシステムは、現在の大規模AIモデルのより効率的な実現と前例のない規模のモデルの実現にPNNをどのように活用するかの手がかりを提供する。

関連論文リスト

• Brain-Inspired Computational Intelligence via Predictive Coding [89.6335791546526]
  予測符号化(PC)は、マシンインテリジェンスタスクにおいて有望なパフォーマンスを示している。 PCは様々な脳領域で情報処理をモデル化することができ、認知制御やロボティクスで使用することができる。
  論文  参考訳（メタデータ） (2023-08-15T16:37:16Z)
• Transferability of Convolutional Neural Networks in Stationary Learning Tasks [96.00428692404354]
  本稿では,大規模な空間問題に対する畳み込みニューラルネットワーク(CNN)の効率的なトレーニングのための新しいフレームワークを提案する。 このような信号の小さなウィンドウで訓練されたCNNは、再学習することなく、はるかに大きなウィンドウでほぼ性能を発揮することを示す。 以上の結果から,CNNは10人未満の訓練を受けた後,数百人のエージェントによる問題に対処できることが示唆された。
  論文  参考訳（メタデータ） (2023-07-21T13:51:45Z)
• SPIDE: A Purely Spike-based Method for Training Feedback Spiking Neural Networks [56.35403810762512]
  イベントベースの計算を伴うスパイキングニューラルネットワーク(SNN)は、ニューロモルフィックハードウェアにおけるエネルギー効率の高い応用のために、脳にインスパイアされたモデルを約束している。 本研究では,最近提案されたトレーニング手法を拡張した平衡状態(SPIDE)に対するスパイクに基づく暗黙差分法について検討した。
  論文  参考訳（メタデータ） (2023-02-01T04:22:59Z)
• Tricking AI chips into Simulating the Human Brain: A Detailed Performance Analysis [0.5354801701968198]
  脳シミュレーションでは、複数の最先端AIチップ(Graphcore IPU、GroqChip、劣悪なCoreを持つNvidia GPU、Google TPU)を評価した。 性能解析の結果,シミュレーション問題はGPUとTPUアーキテクチャに極めてよく対応していることがわかった。 GroqChipは、小さなネットワークにおいて両方のプラットフォームより優れているが、精度の低い浮動小数点演算を実装しているため、脳シミュレーションではまだ利用できない。
  論文  参考訳（メタデータ） (2023-01-31T13:51:37Z)
• Models Developed for Spiking Neural Networks [0.5801044612920815]
  スパイキングニューラルネットワーク(SNN)は長い間存在しており、脳のダイナミクスを理解するために研究されてきた。 本研究では,画像分類タスクにおけるSNNの構造と性能について検討した。 比較は、これらのネットワークがより複雑な問題に対して優れた能力を示すことを示している。
  論文  参考訳（メタデータ） (2022-12-08T16:18:53Z)
• Making a Spiking Net Work: Robust brain-like unsupervised machine learning [0.0]
  Spiking Neural Networks (SNN)は、Artificial Neural Networks (ANN)の代替品である SNNは動的安定性に悩まされており、ANNの精度と一致しない。 本稿では,SNNが文献で確認された多くの欠点を克服する方法について述べる。
  論文  参考訳（メタデータ） (2022-08-02T02:10:00Z)
• Characterizing possible failure modes in physics-informed neural networks [55.83255669840384]
  科学機械学習における最近の研究は、いわゆる物理情報ニューラルネットワーク(PINN)モデルを開発した。 既存のPINN方法論は比較的自明な問題に対して優れたモデルを学ぶことができるが、単純なPDEであっても、関連する物理現象を学習するのに失敗する可能性があることを実証する。 これらの障害モードは,NNアーキテクチャの表現力の欠如によるものではなく,PINNのセットアップによって損失状況の最適化が極めて困難であることを示す。
  論文  参考訳（メタデータ） (2021-09-02T16:06:45Z)
• Gone Fishing: Neural Active Learning with Fisher Embeddings [55.08537975896764]
  ディープニューラルネットワークと互換性のあるアクティブな学習アルゴリズムの必要性が高まっている。 本稿では,ニューラルネットワークのための抽出可能かつ高性能な能動学習アルゴリズムBAITを紹介する。
  論文  参考訳（メタデータ） (2021-06-17T17:26:31Z)
• CLAN: Continuous Learning using Asynchronous Neuroevolution on Commodity Edge Devices [3.812706195714961]
  我々は、NeuroEvolutionary(NE)学習と推論を実行するWiFiを介して通信するRaspberry Piのプロトタイプシステムを構築した。 本研究では,このような協調システムの性能を評価し,システムの異なる配置の計算/通信特性について詳述する。
  論文  参考訳（メタデータ） (2020-08-27T01:49:21Z)
• Boosting Deep Neural Networks with Geometrical Prior Knowledge: A Survey [77.99182201815763]
  ディープニューラルネットワーク(DNN)は多くの異なる問題設定において最先端の結果を達成する。 DNNはしばしばブラックボックスシステムとして扱われ、評価と検証が複雑になる。 コンピュータビジョンタスクにおける畳み込みニューラルネットワーク(CNN)の成功に触発された、有望な分野のひとつは、対称幾何学的変換に関する知識を取り入れることである。
  論文  参考訳（メタデータ） (2020-06-30T14:56:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。