論文の概要: Robust Convolution Neural ODEs via Contractivity-promoting regularization

• arxiv url: http://arxiv.org/abs/2508.11432v1
• Date: Fri, 15 Aug 2025 12:18:44 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-18 14:51:23.946145
• Title: Robust Convolution Neural ODEs via Contractivity-promoting regularization
• Title（参考訳）: 縮約プロモーティング正規化によるロバスト畳み込みニューラルネットワーク
• Authors: Muhammad Zakwan, Liang Xu, Giancarlo Ferrari-Trecate,
• Abstract要約: 本稿では,動的システムに代表されるニューラルネットワークのロバスト性を改善するために収縮理論を提案する。 システム力学のジャコビアンを含む正規化項を用いることで、訓練中に収縮性を誘導することができる。 傾斜制限付アクティベーション関数を持つNODEのクラスに対して、慎重に選択された重み正規化項を用いて、これを促進できることを示す。
• 参考スコア（独自算出の注目度）: 8.60855254087051
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Neural networks can be fragile to input noise and adversarial attacks. In this work, we consider Convolutional Neural Ordinary Differential Equations (NODEs), a family of continuous-depth neural networks represented by dynamical systems, and propose to use contraction theory to improve their robustness. For a contractive dynamical system two trajectories starting from different initial conditions converge to each other exponentially fast. Contractive Convolutional NODEs can enjoy increased robustness as slight perturbations of the features do not cause a significant change in the output. Contractivity can be induced during training by using a regularization term involving the Jacobian of the system dynamics. To reduce the computational burden, we show that it can also be promoted using carefully selected weight regularization terms for a class of NODEs with slope-restricted activation functions. The performance of the proposed regularizers is illustrated through benchmark image classification tasks on MNIST and FashionMNIST datasets, where images are corrupted by different kinds of noise and attacks.
• Abstract（参考訳）: ニューラルネットワークはノイズや敵攻撃を入力するのに脆弱である。 本研究では,力学系で表される連続深度ニューラルネットワーク群である畳み込みニューラル正規微分方程式(NODE)について考察し,その堅牢性を改善するために収縮理論を用いることを提案する。 収縮力学系では、異なる初期条件から始まる2つの軌道が指数関数的に速く収束する。 契約的畳み込みNODEは、機能のわずかな摂動が出力に大きな変化を起こさないため、ロバスト性の向上を享受できる。 システム力学のジャコビアンを含む正規化項を用いることで、訓練中に収縮性を誘導することができる。 計算負荷を軽減するため,傾斜制限付アクティベーション関数を持つNODEのクラスに対して,慎重に選択された重み正規化項を用いて,これを促進できることを示す。 提案した正規化器の性能は、MNISTとFashionMNISTデータセットのベンチマーク画像分類タスクによって説明される。

関連論文リスト

• Fractional Spike Differential Equations Neural Network with Efficient Adjoint Parameters Training [63.3991315762955]
  スパイキングニューラルネットワーク(SNN)は、生物学的ニューロンからインスピレーションを得て、脳に似た計算の現実的なモデルを作成する。 既存のほとんどのSNNは、マルコフ特性を持つ一階常微分方程式(ODE)によってモデル化された、神経細胞膜電圧ダイナミクスの単一時間定数を仮定している。 本研究では, 膜電圧およびスパイク列車の長期依存性を分数次力学により捉えるフラクタルSPIKE微分方程式ニューラルネットワーク (fspikeDE) を提案する。
  論文  参考訳（メタデータ） (2025-07-22T18:20:56Z)
• Low-Rank Implicit Neural Representation via Schatten-p Quasi-Norm and Jacobian Regularization [49.158601255093416]
  暗黙的神経表現のためのニューラルネットワークによりパラメータ化されたCPベースの低ランクテンソル関数を提案する。 滑らか性のために、ヤコビアンとハッチンソンのトレース推定器のスペクトルノルムに基づく正規化項を提案する。 提案した滑らか度正規化はSVDフリーであり、明示的な連鎖規則の導出を避ける。
  論文  参考訳（メタデータ） (2025-06-27T11:23:10Z)
• Certified Neural Approximations of Nonlinear Dynamics [52.79163248326912]
  安全クリティカルな文脈では、神経近似の使用は、基礎となるシステムとの密接性に公式な境界を必要とする。 本稿では,認証された一階述語モデルに基づく新しい,適応的で並列化可能な検証手法を提案する。
  論文  参考訳（メタデータ） (2025-05-21T13:22:20Z)
• A Dynamical Systems-Inspired Pruning Strategy for Addressing Oversmoothing in Graph Neural Networks [18.185834696177654]
  グラフニューラルネットワーク(GNN)のオーバースムース化は、ネットワークの深さが増加するにつれて大きな課題となる。 オーバースムーシングの根本原因を特定し,textbftextitDYNAMO-GATを提案する。 我々の理論的分析は、DYNAMO-GATが過密状態への収束を妨げていることを示している。
  論文  参考訳（メタデータ） (2024-12-10T07:07:06Z)
• Neural Delay Differential Equations: System Reconstruction and Image Classification [14.59919398960571]
  我々はニューラル遅延微分方程式 (Neural Delay Differential Equations, NDDEs) という,遅延を伴う連続深度ニューラルネットワークの新しいクラスを提案する。 NODE と比較して、NDDE はより強い非線形表現能力を持つ。 我々は、合成されたデータだけでなく、よく知られた画像データセットであるCIFAR10に対しても、損失の低減と精度の向上を実現している。
  論文  参考訳（メタデータ） (2023-04-11T16:09:28Z)
• Unconstrained Parametrization of Dissipative and Contracting Neural Ordinary Differential Equations [0.9437165725355698]
  本稿では,Deep Neural Networks (DNN) のクラスを連続的に導入し,研究する。 私たちは、提案されているNodeRENを、堅牢な学習と制御にとって重要な特性である、収縮性と分散性で支援する方法を示します。
  論文  参考訳（メタデータ） (2023-04-06T10:02:54Z)
• On Robust Classification using Contractive Hamiltonian Neural ODEs [8.049462923912902]
  我々は、ニューラルネットワーク(NODE)の堅牢性を改善するために収縮理論を用いる。 NODEでは、入力データは力学系の初期状態に対応する。 契約型ハミルトニアン・ヌード(CH-ヌード)のクラスを提案する。
  論文  参考訳（メタデータ） (2022-03-22T15:16:36Z)
• Incorporating NODE with Pre-trained Neural Differential Operator for Learning Dynamics [73.77459272878025]
  ニューラル微分演算子(NDO)の事前学習による動的学習における教師付き信号の強化を提案する。 NDOは記号関数のクラスで事前訓練され、これらの関数の軌跡サンプルとそれらの導関数とのマッピングを学習する。 我々は,NDOの出力が,ライブラリの複雑さを適切に調整することで,基礎となる真理微分を適切に近似できることを理論的に保証する。
  論文  参考訳（メタデータ） (2021-06-08T08:04:47Z)
• Operational vs Convolutional Neural Networks for Image Denoising [25.838282412957675]
  畳み込みニューラルネットワーク(CNN)は近年,適応学習能力により画像デノナイズ技術として好まれている。 データ変換のコアに新たな非線形性を埋め込むための柔軟性を向上するヘテロジニアスネットワークモデルを提案する。 ONNとCNNの比較評価は、線形演算子に富んだONNが等価かつよく知られた深層構成のCNNに対して優れたノイズ発生性能を達成できるという決定的な証拠が得られる。
  論文  参考訳（メタデータ） (2020-09-01T12:15:28Z)
• Time Dependence in Non-Autonomous Neural ODEs [74.78386661760662]
  時変重みを持つニューラルODEの新しいファミリーを提案する。 我々は、速度と表現能力の両面で、従来のニューラルODEの変形よりも優れていた。
  論文  参考訳（メタデータ） (2020-05-05T01:41:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。