論文の概要: Feedback Favors the Generalization of Neural ODEs

• arxiv url: http://arxiv.org/abs/2410.10253v1
• Date: Mon, 14 Oct 2024 08:09:45 GMT
• ステータス: 処理完了
• システム内更新日: 2024-10-30 02:05:09.612630
• Title: Feedback Favors the Generalization of Neural ODEs
• Title（参考訳）: フィードバックはニューラルネットワークの一般化を好む
• Authors: Jindou Jia, Zihan Yang, Meng Wang, Kexin Guo, Jianfei Yang, Xiang Yu, Lei Guo,
• Abstract要約: 本稿では、フィードバックループがニューラル常微分方程式(ニューラルODE)の学習潜時ダイナミクスを柔軟に補正可能であることを示す。 フィードバックニューラルネットワークは、新しい2自由度ニューラルネットワークであり、前のタスクで精度が失われることなく、目に見えないシナリオで堅牢なパフォーマンスを持つ。
• 参考スコア（独自算出の注目度）: 24.342023073252395
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The well-known generalization problem hinders the application of artificial neural networks in continuous-time prediction tasks with varying latent dynamics. In sharp contrast, biological systems can neatly adapt to evolving environments benefiting from real-time feedback mechanisms. Inspired by the feedback philosophy, we present feedback neural networks, showing that a feedback loop can flexibly correct the learned latent dynamics of neural ordinary differential equations (neural ODEs), leading to a prominent generalization improvement. The feedback neural network is a novel two-DOF neural network, which possesses robust performance in unseen scenarios with no loss of accuracy performance on previous tasks. A linear feedback form is presented to correct the learned latent dynamics firstly, with a convergence guarantee. Then, domain randomization is utilized to learn a nonlinear neural feedback form. Finally, extensive tests including trajectory prediction of a real irregular object and model predictive control of a quadrotor with various uncertainties, are implemented, indicating significant improvements over state-of-the-art model-based and learning-based methods.
• Abstract（参考訳）: よく知られた一般化問題は、様々な潜伏ダイナミクスを持つ連続時間予測タスクにおける人工知能ニューラルネットワークの適用を妨げる。 対照的に、生物学的システムはリアルタイムフィードバックメカニズムの恩恵を受けながら、進化する環境にきちんと適応することができる。 フィードバックの哲学に触発されて、フィードバックループがニューラル常微分方程式(ニューラルODE)の学習潜在力学を柔軟に補正できることを示す。 フィードバックニューラルネットワークは、新しい2自由度ニューラルネットワークであり、前のタスクで精度が失われることなく、目に見えないシナリオで堅牢なパフォーマンスを持つ。 線形フィードバック形式は、まず学習された潜在力学を収束保証とともに補正するために提示される。 次に、ドメインランダム化を用いて非線形神経フィードバック形式を学習する。 最後に, 実不規則物体の軌道予測や, 様々な不確実性をもつ四元体のモデル予測制御を含む広範囲な試験を実施し, 最先端のモデルベースおよび学習ベース手法に対する大幅な改善を示す。

関連論文リスト

• Neural filtering for Neural Network-based Models of Dynamic Systems [0.7373617024876725]
  本稿では,ニューラルネットワークを用いた動的システムの長期予測精度を高めるニューラルネットワークフィルタを提案する。 拡張カルマンフィルタによって動機付けられたニューラルネットワークフィルタは、ニューラルネットワークの状態予測と物理系からの計測とを組み合わせて、推定状態の精度を向上させる。
  論文  参考訳（メタデータ） (2024-09-20T17:03:04Z)
• Expressivity of Neural Networks with Random Weights and Learned Biases [44.02417750529102]
  最近の研究は、任意の関数がパラメータの小さな部分集合をチューニングすることによって同様に学習できることを示し、普遍近似の境界を推し進めている。 ランダムな重みを固定したフィードフォワードニューラルネットワークが、バイアスのみを学習することによって複数のタスクを実行することができることを示す理論的および数値的なエビデンスを提供する。 我々の結果は神経科学に関係しており、シナプスの重みを変えることなく動的に行動に関連のある変化が起こる可能性を実証している。
  論文  参考訳（メタデータ） (2024-07-01T04:25:49Z)
• Graph Neural Networks for Learning Equivariant Representations of Neural Networks [55.04145324152541]
  本稿では,ニューラルネットワークをパラメータの計算グラフとして表現することを提案する。 我々のアプローチは、ニューラルネットワークグラフを多種多様なアーキテクチャでエンコードする単一モデルを可能にする。 本稿では,暗黙的ニューラル表現の分類や編集など,幅広いタスクにおける本手法の有効性を示す。
  論文  参考訳（メタデータ） (2024-03-18T18:01:01Z)
• ConCerNet: A Contrastive Learning Based Framework for Automated Conservation Law Discovery and Trustworthy Dynamical System Prediction [82.81767856234956]
  本稿では,DNNに基づく動的モデリングの信頼性を向上させるために,ConCerNetという新しい学習フレームワークを提案する。 本手法は, 座標誤差と保存量の両方において, ベースラインニューラルネットワークよりも一貫して優れていることを示す。
  論文  参考訳（メタデータ） (2023-02-11T21:07:30Z)
• Spiking neural network for nonlinear regression [68.8204255655161]
  スパイクニューラルネットワークは、メモリとエネルギー消費を大幅に削減する可能性を持っている。 彼らは、次世代のニューロモルフィックハードウェアによって活用できる時間的および神経的疎結合を導入する。 スパイキングニューラルネットワークを用いた回帰フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-10-06T13:04:45Z)
• Standalone Neural ODEs with Sensitivity Analysis [5.565364597145569]
  本稿では,完全深部ニューラルネットワークを記述可能な連続深部ニューラルネットワークモデルを提案する。 神経感受性問題の一般的な定式化を行い,NCGトレーニングでどのように使用されるかを示す。 我々の新しい定式化がResNetモデルと比較してロバスト性や性能の向上につながることを示す。
  論文  参考訳（メタデータ） (2022-05-27T12:16:53Z)
• EINNs: Epidemiologically-Informed Neural Networks [75.34199997857341]
  本稿では,疫病予測のための新しい物理インフォームドニューラルネットワークEINNを紹介する。 メカニスティックモデルによって提供される理論的柔軟性と、AIモデルによって提供されるデータ駆動表現性の両方を活用する方法について検討する。
  論文  参考訳（メタデータ） (2022-02-21T18:59:03Z)
• Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
  識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。 データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
  論文  参考訳（メタデータ） (2022-02-01T17:11:13Z)
• Imbedding Deep Neural Networks [0.0]
  ニューラルODEのような連続深度ニューラルネットワークは、非線形ベクトル値の最適制御問題の観点から、残留ニューラルネットワークの理解を再燃させた。 本稿では,ネットワークの深さを基本変数とする新しい手法を提案する。
  論文  参考訳（メタデータ） (2022-01-31T22:00:41Z)
• Predify: Augmenting deep neural networks with brain-inspired predictive coding dynamics [0.5284812806199193]
  我々は神経科学の一般的な枠組みからインスピレーションを得た:「予測コーディング」 本稿では、この戦略をVGG16とEfficientNetB0という2つの人気ネットワークに実装することで、様々な汚職に対する堅牢性を向上させることを示す。
  論文  参考訳（メタデータ） (2021-06-04T22:48:13Z)
• Neural Networks with Recurrent Generative Feedback [61.90658210112138]
  畳み込みニューラルネットワーク(CNN)でこの設計をインスタンス化する 実験では、標準ベンチマーク上の従来のフィードフォワードCNNに対して、CNN-Fは敵のロバスト性を大幅に改善した。
  論文  参考訳（メタデータ） (2020-07-17T19:32:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。