論文の概要: Perfecting Imperfect Physical Neural Networks with Transferable Robustness using Sharpness-Aware Training

• arxiv url: http://arxiv.org/abs/2411.12352v1
• Date: Tue, 19 Nov 2024 09:15:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-20 13:35:17.932364
• Title: Perfecting Imperfect Physical Neural Networks with Transferable Robustness using Sharpness-Aware Training
• Title（参考訳）: シャープネス・アウェアトレーニングを用いた伝達性ロバスト性を有する不完全な物理ニューラルネットワーク
• Authors: Tengji Xu, Zeyu Luo, Shaojie Liu, Li Fan, Qiarong Xiao, Benshan Wang, Dongliang Wang, Chaoran Huang,
• Abstract要約: 現在のアプローチは、オフラインとオンラインのトレーニングに関わらず、かなりの精度の損失を被っている。 シャープネス・アウェアトレーニング(SAT)は、不正確なモデルであっても、効率的なバックプロパゲーションアルゴリズムを用いた正確なトレーニングを可能にする。 SATはまた、デバイス間でモデルの信頼できる転送を可能にすることで、オンライントレーニングの制限を克服する。
• 参考スコア（独自算出の注目度）: 3.513425842940683
• License:
• Abstract: AI models are essential in science and engineering, but recent advances are pushing the limits of traditional digital hardware. To address these limitations, physical neural networks (PNNs), which use physical substrates for computation, have gained increasing attention. However, developing effective training methods for PNNs remains a significant challenge. Current approaches, regardless of offline and online training, suffer from significant accuracy loss. Offline training is hindered by imprecise modeling, while online training yields device-specific models that can't be transferred to other devices due to manufacturing variances. Both methods face challenges from perturbations after deployment, such as thermal drift or alignment errors, which make trained models invalid and require retraining. Here, we address the challenges with both offline and online training through a novel technique called Sharpness-Aware Training (SAT), where we innovatively leverage the geometry of the loss landscape to tackle the problems in training physical systems. SAT enables accurate training using efficient backpropagation algorithms, even with imprecise models. PNNs trained by SAT offline even outperform those trained online, despite modeling and fabrication errors. SAT also overcomes online training limitations by enabling reliable transfer of models between devices. Finally, SAT is highly resilient to perturbations after deployment, allowing PNNs to continuously operate accurately under perturbations without retraining. We demonstrate SAT across three types of PNNs, showing it is universally applicable, regardless of whether the models are explicitly known. This work offers a transformative, efficient approach to training PNNs, addressing critical challenges in analog computing and enabling real-world deployment.
• Abstract（参考訳）: AIモデルは科学とエンジニアリングにおいて不可欠だが、最近の進歩は従来のデジタルハードウェアの限界を押し進めている。 これらの制限に対処するため、計算に物理基板を使用する物理ニューラルネットワーク(PNN)が注目されている。 しかし、PNNの効果的な訓練方法の開発は依然として大きな課題である。 現在のアプローチは、オフラインとオンラインのトレーニングに関わらず、かなりの精度の損失を被っている。 オフライントレーニングは、不正確なモデリングによって妨げられ、オンライントレーニングは、製造のばらつきのために他のデバイスに転送できないデバイス固有のモデルをもたらす。 どちらの手法も、熱ドリフトやアライメントエラーなど、展開後の摂動による課題に直面しており、トレーニングされたモデルが無効になり、再訓練が必要になる。 ここでは、損失景観の幾何学を革新的に活用し、物理的システムのトレーニングにおける課題に対処するシャープネス・アウェア・トレーニング(SAT)と呼ばれる新しい手法により、オフラインおよびオンライン両方のトレーニングの課題に対処する。 SATは、不正確なモデルであっても、効率的なバックプロパゲーションアルゴリズムを使用して正確なトレーニングを可能にする。 SATでトレーニングされたPNNは、モデリングや製造エラーにもかかわらず、オンラインでトレーニングされたPNNよりも優れています。 SATはまた、デバイス間でモデルの信頼できる転送を可能にすることで、オンライントレーニングの制限を克服する。 最後に、SATは展開後の摂動に対して非常に耐性があり、PNNは再訓練せずに摂動下で連続的に動作することができる。 SATは3種類のPNNにまたがって適用可能であることを示す。 この作業は、アナログコンピューティングにおける重要な課題に対処し、現実世界のデプロイメントを可能にする、変革的で効率的なPNNのトレーニングアプローチを提供する。

関連論文リスト

• Control-Theoretic Techniques for Online Adaptation of Deep Neural Networks in Dynamical Systems [0.0]
  ディープニューラルネットワーク(DNN)は現在、現代の人工知能、機械学習、データサイエンスの主要なツールである。 多くのアプリケーションでは、DNNは教師付き学習や強化学習を通じてオフラインでトレーニングされ、推論のためにオンラインにデプロイされる。 制御理論からDNNパラメータをオンラインで更新する手法を提案する。
  論文  参考訳（メタデータ） (2024-02-01T16:51:11Z)
• SPIDE: A Purely Spike-based Method for Training Feedback Spiking Neural Networks [56.35403810762512]
  イベントベースの計算を伴うスパイキングニューラルネットワーク(SNN)は、ニューロモルフィックハードウェアにおけるエネルギー効率の高い応用のために、脳にインスパイアされたモデルを約束している。 本研究では,最近提案されたトレーニング手法を拡張した平衡状態(SPIDE)に対するスパイクに基づく暗黙差分法について検討した。
  論文  参考訳（メタデータ） (2023-02-01T04:22:59Z)
• Adversarial training with informed data selection [53.19381941131439]
  アドリアリトレーニングは、これらの悪意のある攻撃からネットワークを守るための最も効率的なソリューションである。 本研究では,ミニバッチ学習に適用すべきデータ選択戦略を提案する。 シミュレーションの結果,ロバスト性および標準精度に関して良好な妥協が得られることがわかった。
  論文  参考訳（メタデータ） (2023-01-07T12:09:50Z)
• Intelligence Processing Units Accelerate Neuromorphic Learning [52.952192990802345]
  スパイキングニューラルネットワーク(SNN)は、エネルギー消費と遅延の観点から、桁違いに改善されている。 我々は、カスタムSNN PythonパッケージsnnTorchのIPU最適化リリースを提示する。
  論文  参考訳（メタデータ） (2022-11-19T15:44:08Z)
• Testing Feedforward Neural Networks Training Programs [13.249453757295083]
  ディープニューラルネットワークの動作の不整合を露呈するテストケースを生成するために、複数のテスト技術が提案されている。 これらのテクニックは、トレーニングプログラムがバグフリーで適切に設定されていることを暗黙的に仮定する。 本稿では,DNNトレーニングプログラムのエンドツーエンドなプロパティベースのデバッグ手法であるTheDeepCheckerを提案する。
  論文  参考訳（メタデータ） (2022-04-01T20:49:14Z)
• Recursive Least-Squares Estimator-Aided Online Learning for Visual Tracking [58.14267480293575]
  オフライン学習を必要とせず、簡単な効果的なオンライン学習手法を提案する。 これは、モデルが以前見たオブジェクトに関する知識を記憶するための、内蔵されたメモリ保持メカニズムを可能にする。 我々は、RT-MDNetにおける多層パーセプトロンと、DiMPにおける畳み込みニューラルネットワークの追跡のためのオンライン学習ファミリーにおける2つのネットワークに基づくアプローチを評価する。
  論文  参考訳（メタデータ） (2021-12-28T06:51:18Z)
• slimTrain -- A Stochastic Approximation Method for Training Separable Deep Neural Networks [2.4373900721120285]
  DeepTrain Network (DNN)は、多くのアプリケーションで高次元神経機能近似器としての成功を示している。 選択した超次元データセットに対する感度を低減したDNNのモデスト最適化手法であるslimTrainを提案する。
  論文  参考訳（メタデータ） (2021-09-28T19:31:57Z)
• Inverse-Dirichlet Weighting Enables Reliable Training of Physics Informed Neural Networks [2.580765958706854]
  我々は、深層ニューラルネットワークのトレーニング中に、スケール不均衡を伴うマルチスケールダイナミクスから生じる障害モードを記述し、治療する。 PINNは、物理方程式モデルとデータとのシームレスな統合を可能にする、一般的な機械学習テンプレートである。 逐次トレーニングを用いた逆モデリングでは,逆ディリクレ重み付けがPINNを破滅的忘れから保護することがわかった。
  論文  参考訳（メタデータ） (2021-07-02T10:01:37Z)
• Low-Precision Training in Logarithmic Number System using Multiplicative Weight Update [49.948082497688404]
  大規模ディープニューラルネットワーク(DNN)のトレーニングは、現在かなりの量のエネルギーを必要としており、深刻な環境影響をもたらす。 エネルギーコストを削減するための有望なアプローチの1つは、DNNを低精度で表現することである。 対数数システム(LNS)と乗算重み更新訓練法(LNS-Madam)を併用した低精度トレーニングフレームワークを共同で設計する。
  論文  参考訳（メタデータ） (2021-06-26T00:32:17Z)
• FracTrain: Fractionally Squeezing Bit Savings Both Temporally and Spatially for Efficient DNN Training [81.85361544720885]
  アクティベーション、ウェイト、グラデーションの精度を徐々に高めるプログレッシブ分数量子化を統合したFracTrainを提案します。 FracTrainはDNNトレーニングの計算コストとハードウェア量子化エネルギー/レイテンシを削減し、同等以上の精度(-0.12%+1.87%)を達成する。
  論文  参考訳（メタデータ） (2020-12-24T05:24:10Z)
• TxSim:Modeling Training of Deep Neural Networks on Resistive Crossbar Systems [3.1887081453726136]
  クロスバーベースの計算は、様々なデバイスと回路レベルの非理想性のために大きな課題に直面している。 我々は、クロスバーベースハードウェア上でDNNトレーニングを機能的に評価する高速でカスタマイズ可能なモデリングフレームワークであるTxSimを提案する。
  論文  参考訳（メタデータ） (2020-02-25T19:29:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。