論文の概要: Efficient Certified Training and Robustness Verification of Neural ODEs

• arxiv url: http://arxiv.org/abs/2303.05246v1
• Date: Thu, 9 Mar 2023 13:33:36 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-10 14:51:29.392818
• Title: Efficient Certified Training and Robustness Verification of Neural ODEs
• Title（参考訳）: 神経odeの効率的な訓練とロバスト性検証
• Authors: Mustafa Zeqiri, Mark Niklas M\"uller, Marc Fischer, Martin Vechev
• Abstract要約: 我々は3つの重要なアイデアを組み合わせたNODEの分析フレームワークを開発した。 ランタイムを難解な$O(exp(d)+exp(T))$から$O(d+T2 log2T)$に減らします。
• 参考スコア（独自算出の注目度）: 5.161531917413708
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Neural Ordinary Differential Equations (NODEs) are a novel neural architecture, built around initial value problems with learned dynamics which are solved during inference. Thought to be inherently more robust against adversarial perturbations, they were recently shown to be vulnerable to strong adversarial attacks, highlighting the need for formal guarantees. However, despite significant progress in robustness verification for standard feed-forward architectures, the verification of high dimensional NODEs remains an open problem. In this work, we address this challenge and propose GAINS, an analysis framework for NODEs combining three key ideas: (i) a novel class of ODE solvers, based on variable but discrete time steps, (ii) an efficient graph representation of solver trajectories, and (iii) a novel abstraction algorithm operating on this graph representation. Together, these advances enable the efficient analysis and certified training of high-dimensional NODEs, by reducing the runtime from an intractable $O(\exp(d)+\exp(T))$ to ${O}(d+T^2 \log^2T)$ in the dimensionality $d$ and integration time $T$. In an extensive evaluation on computer vision (MNIST and FMNIST) and time-series forecasting (PHYSIO-NET) problems, we demonstrate the effectiveness of both our certified training and verification methods.
• Abstract（参考訳）: ニューラル常微分方程式(Neural Ordinary Differential Equations, NODE)は、推論時に解決される学習力学による初期値問題を中心に構築された、新しいニューラルアーキテクチャである。 本質的には敵の摂動に対して堅牢であるにもかかわらず、彼らは最近、強い敵の攻撃に弱いことが示され、公式な保証の必要性が強調された。 しかし、標準フィードフォワードアーキテクチャのロバスト性検証の著しい進歩にもかかわらず、高次元NODEの検証は未解決の問題である。 本稿では,この課題に対処し,3つの主要なアイデアを組み合わせたNODEの分析フレームワークであるGAINSを提案する。 (i)変数ではあるが離散時間ステップに基づくodeソルバの新しいクラス (ii)ソルバ軌跡の効率的なグラフ表現、及び (iii)このグラフ表現で動作する新しい抽象アルゴリズム。 これらの進歩により、高次元のNODEの効率的な解析および認定訓練が可能となり、次元$d$および積分時間$T$において、ランタイムを難解な$O(\exp(d)+\exp(T))$から${O}(d+T^2 \log^2T)$に還元する。 コンピュータビジョン (mnist, fmnist) と時系列予測 (physio-net) の問題を広範囲に評価し,認証訓練と検証手法の両方の有効性を実証した。

関連論文リスト

• Tri-Level Navigator: LLM-Empowered Tri-Level Learning for Time Series OOD Generalization [9.95894026392039]
  事前学習された大言語モデルを用いた時系列OOD一般化について検討する。 まず,textbfSeries textbfOOD 一般化のための新しい textbfTri レベルの学習フレームワーク TTSO を提案する。 本稿では,この三段階最適化問題に適した階層化ローカライゼーションアルゴリズムを開発し,提案アルゴリズムの保証収束を理論的に実証する。
  論文  参考訳（メタデータ） (2024-10-09T16:00:21Z)
• Correctness Verification of Neural Networks Approximating Differential Equations [0.0]
  ニューラルネットワーク(NN)は部分微分方程式(PDE)の解を近似する NNはシミュレーションソフトウェアツールの不可欠な部分となり、複雑な動的システムのシミュレーションを100回以上加速することができる。 この研究は、NN微分を有限差分近似として定義することにより、これらの関数の検証に対処する。 初めて、出力領域の事前知識のないNN関数のバウンダリング問題に取り組む。
  論文  参考訳（メタデータ） (2024-02-12T12:55:35Z)
• Spatial-Temporal Graph Enhanced DETR Towards Multi-Frame 3D Object Detection [54.041049052843604]
  STEMDは,多フレーム3Dオブジェクト検出のためのDETRのようなパラダイムを改良した,新しいエンドツーエンドフレームワークである。 まず、オブジェクト間の空間的相互作用と複雑な時間的依存をモデル化するために、空間的時間的グラフアテンションネットワークを導入する。 最後に、ネットワークが正のクエリと、ベストマッチしない他の非常に類似したクエリを区別することが課題となる。
  論文  参考訳（メタデータ） (2023-07-01T13:53:14Z)
• Intensity Profile Projection: A Framework for Continuous-Time Representation Learning for Dynamic Networks [50.2033914945157]
  本稿では、連続時間動的ネットワークデータのための表現学習フレームワークIntensity Profile Projectionを提案する。 このフレームワークは3つの段階から構成される: 対の強度関数を推定し、強度再構成誤差の概念を最小化する射影を学習する。 さらに、推定軌跡の誤差を厳密に制御する推定理論を開発し、その表現がノイズに敏感な追従解析に利用できることを示す。
  論文  参考訳（メタデータ） (2023-06-09T15:38:25Z)
• Implementation and (Inverse Modified) Error Analysis for implicitly-templated ODE-nets [0.0]
  我々は,暗黙的な数値初期値問題解法に基づいてテンプレート化されたODE-netを用いてデータから未知のダイナミクスを学習することに焦点を当てた。 我々は,非ロール型暗黙的スキームを用いて,ODE-netの逆修正誤り解析を行い,解釈を容易にする。 我々は,誤差のレベルを監視し,暗黙的な解反復数に適応する適応アルゴリズムを定式化する。
  論文  参考訳（メタデータ） (2023-03-31T06:47:02Z)
• On Robust Numerical Solver for ODE via Self-Attention Mechanism [82.95493796476767]
  我々は,内在性雑音障害を緩和し,AIによって強化された数値解法を,データサイズを小さくする訓練について検討する。 まず,教師付き学習における雑音を制御するための自己認識機構の能力を解析し,さらに微分方程式の数値解に付加的な自己認識機構を導入し,簡便かつ有効な数値解法であるAttrを提案する。
  論文  参考訳（メタデータ） (2023-02-05T01:39:21Z)
• Secrets of 3D Implicit Object Shape Reconstruction in the Wild [92.5554695397653]
  コンピュータビジョン、ロボティクス、グラフィックスの様々な用途において、高精細な3Dオブジェクトをスパースから再構築することは重要です。 最近の神経暗黙的モデリング法は、合成データセットまたは高密度データセットで有望な結果を示す。 しかし、粗末でノイズの多い実世界のデータではパフォーマンスが悪い。 本論文では, 一般的な神経暗黙モデルの性能低下の根本原因を解析する。
  論文  参考訳（メタデータ） (2021-01-18T03:24:48Z)
• TrackMPNN: A Message Passing Graph Neural Architecture for Multi-Object Tracking [8.791710193028903]
  本研究は,グラフに基づくデータ構造を用いて問題をモデル化する多目的追跡(MOT)への多くの従来のアプローチに従う。 複数のタイムステップにまたがるデータ関連問題を表す動的無方向性グラフに基づくフレームワークを作成する。 また、メモリ効率が高く、リアルタイムなオンラインアルゴリズムを作成するために対処する必要がある計算問題に対するソリューションと提案も提供します。
  論文  参考訳（メタデータ） (2021-01-11T21:52:25Z)
• Automated and Formal Synthesis of Neural Barrier Certificates for Dynamical Models [70.70479436076238]
  バリア証明書(BC)の自動的,形式的,反例に基づく合成手法を提案する。 このアプローチは、ニューラルネットワークとして構造化されたBCの候補を操作する誘導的フレームワークと、その候補の有効性を認証するか、反例を生成する音検証器によって支えられている。 その結果,音のBCsを最大2桁の速度で合成できることがわかった。
  論文  参考訳（メタデータ） (2020-07-07T07:39:42Z)
• Learning to Hash with Graph Neural Networks for Recommender Systems [103.82479899868191]
  グラフ表現学習は、大規模に高品質な候補探索をサポートすることに多くの注目を集めている。 ユーザ・イテム相互作用ネットワークにおけるオブジェクトの埋め込みベクトルの学習の有効性にもかかわらず、連続的な埋め込み空間におけるユーザの好みを推測する計算コストは膨大である。 連続的かつ離散的なコードとを協調的に学習するための,単純かつ効果的な離散表現学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-03-04T06:59:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。