論文の概要: On the Forward Invariance of Neural ODEs

• arxiv url: http://arxiv.org/abs/2210.04763v1
• Date: Mon, 10 Oct 2022 15:18:28 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-11 16:18:04.838664
• Title: On the Forward Invariance of Neural ODEs
• Title（参考訳）: 神経odeの前方不変性について
• Authors: Wei Xiao and Tsun-Hsuan Wang and Ramin Hasani and Mathias Lechner and Daniela Rus
• Abstract要約: ニューラル正規微分方程式(ODE)の仕様保証のクラスを実現するための新しい手法を提案する。 制御バリア関数を用いて、出力層上のニューラルODEの不変性を指定し、入力層に伝播する。 これにより、モデルの性能を最大に保ちながら、入力またはパラメータを変更して出力仕様の保証を達成することができる。
• 参考スコア（独自算出の注目度）: 58.4120035640935
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: To ensure robust and trustworthy decision-making, it is highly desirable to enforce constraints over a neural network's parameters and its inputs automatically by back-propagating output specifications. This way, we can guarantee that the network makes reliable decisions under perturbations. Here, we propose a new method for achieving a class of specification guarantees for neural Ordinary Differentiable Equations (ODEs) by using invariance set propagation. An invariance of a neural ODE is defined as an output specification, such as to satisfy mathematical formulae, physical laws, and system safety. We use control barrier functions to specify the invariance of a neural ODE on the output layer and propagate it back to the input layer. Through the invariance backpropagation, we map output specifications onto constraints on the neural ODE parameters or its input. The satisfaction of the corresponding constraints implies the satisfaction of output specifications. This allows us to achieve output specification guarantees by changing the input or parameters while maximally preserving the model performance. We demonstrate the invariance propagation on a comprehensive series of representation learning tasks, including spiral curve regression, autoregressive modeling of joint physical dynamics, convexity portrait of a function, and safe neural control of collision avoidance for autonomous vehicles.
• Abstract（参考訳）: 堅牢で信頼性の高い意思決定を保証するため、出力仕様をバックプロパゲートすることで、ニューラルネットワークのパラメータとその入力に対する制約を強制することが非常に望ましい。 このようにして、ネットワークが摂動下で信頼できる決定を下すことを保証することができる。 本稿では,不変集合伝播を用いて,神経常微分型方程式 (odes) の仕様保証のクラスを実現する新しい手法を提案する。 ニューラルODEの不変性は、数学的公式、物理法則、システムの安全性を満たすための出力仕様として定義される。 制御バリア関数を使用して、出力層上の神経odeの不変性を特定し、それを入力層に伝播する。 不変バックプロパゲーションを通じて、出力仕様をニューラルODEパラメータまたはその入力上の制約にマップする。 対応する制約の満足度は、出力仕様の満足度を意味する。 これにより、モデルの性能を最大に保ちながら、入力またはパラメータを変更して出力仕様の保証を達成することができる。 本稿では, 渦巻き曲線の回帰, 関節運動の自己回帰モデリング, 関数の凸像, 自律走行車における衝突回避の安全な神経制御など, 一連の表現学習課題における不変性を示す。

関連論文リスト

• Non-Stationary Learning of Neural Networks with Automatic Soft Parameter Reset [98.52916361979503]
  非定常性を自動的にモデル化し適応する新しい学習手法を導入する。 非定常的・非政治的強化学習環境において,本手法が有効であることを示す。
  論文  参考訳（メタデータ） (2024-11-06T16:32:40Z)
• Statistical learning for constrained functional parameters in infinite-dimensional models with applications in fair machine learning [4.974815773537217]
  統計的機能レンズによる制約付き統計機械学習の一般的な問題について検討する。 ラグランジュ乗算器の定式化によるペナル化リスク基準の最小化として,制約付き関数パラメータを特徴付ける。 この結果から,制約パラメータの自然推定を非制約パラメータの推定と組み合わせて構築できることが示唆された。
  論文  参考訳（メタデータ） (2024-04-15T14:59:21Z)
• Boosting Inference Efficiency: Unleashing the Power of Parameter-Shared Pre-trained Language Models [109.06052781040916]
  本稿ではパラメータ共有言語モデルの推論効率を向上させる手法を提案する。 また、完全あるいは部分的に共有されたモデルにつながる単純な事前学習手法を提案する。 その結果,本手法が自己回帰的および自己符号化的PLMに与える影響が示された。
  論文  参考訳（メタデータ） (2023-10-19T15:13:58Z)
• Variational Autoencoding Neural Operators [17.812064311297117]
  関数型データによる教師なし学習は、コンピュータビジョン、気候モデリング、物理システムへの応用を含む機械学習研究の新たなパラダイムである。 本稿では,大規模な演算子学習アーキテクチャを変分オートエンコーダとして機能させる汎用戦略として,変分オートエンコードニューラル演算子(VANO)を提案する。
  論文  参考訳（メタデータ） (2023-02-20T22:34:43Z)
• InteL-VAEs: Adding Inductive Biases to Variational Auto-Encoders via Intermediary Latents [60.785317191131284]
  本稿では,潜伏変数の中間集合を用いて,制御可能なバイアスでVAEを学習するための簡易かつ効果的な手法を提案する。 特に、学習した表現に対して、スパーシリティやクラスタリングといった望ましいプロパティを課すことができます。 これにより、InteL-VAEはより優れた生成モデルと表現の両方を学ぶことができる。
  論文  参考訳（メタデータ） (2021-06-25T16:34:05Z)
• Variational Inference MPC using Tsallis Divergence [10.013572514839082]
  非拡張型Tsallis発散を用いた可変推論確率最適制御の枠組みを提供する。 新規な Tsallis Variational Inference-Model Predictive Control アルゴリズムが導出される。
  論文  参考訳（メタデータ） (2021-04-01T04:00:49Z)
• Meta-Solver for Neural Ordinary Differential Equations [77.8918415523446]
  本研究では,ソルバ空間の変動がニューラルODEの性能を向上する方法について検討する。 解法パラメータ化の正しい選択は, 敵の攻撃に対するロバスト性の観点から, 神経odesモデルに大きな影響を与える可能性がある。
  論文  参考訳（メタデータ） (2021-03-15T17:26:34Z)
• Neural Control Variates [71.42768823631918]
  ニューラルネットワークの集合が、積分のよい近似を見つけるという課題に直面していることを示す。 理論的に最適な分散最小化損失関数を導出し、実際に安定したオンライントレーニングを行うための代替の複合損失を提案する。 具体的には、学習した光場近似が高次バウンスに十分な品質であることを示し、誤差補正を省略し、無視可能な可視バイアスのコストでノイズを劇的に低減できることを示した。
  論文  参考訳（メタデータ） (2020-06-02T11:17:55Z)
• Constrained Neural Ordinary Differential Equations with Stability Guarantees [1.1086440815804224]
  代数的非線形性を持つ離散常微分方程式をディープニューラルネットワークとしてモデル化する方法を示す。 我々は、重みの固有値に課される暗黙の制約に基づいて、ネットワーク層の安定性を保証する。 オープンループシミュレーションを用いて,学習したニューラルネットワークの予測精度を検証した。
  論文  参考訳（メタデータ） (2020-04-22T22:07:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。