Fugu-MT 論文翻訳(概要): Layerwise goal-oriented adaptivity for neural ODEs: an optimal control perspective

論文の概要: Layerwise goal-oriented adaptivity for neural ODEs: an optimal control perspective

arxiv url: http://arxiv.org/abs/2601.07397v1
Date: Mon, 12 Jan 2026 10:32:37 GMT
ステータス: 翻訳完了
システム内更新日: 2026-01-13 19:08:01.339082
Title: Layerwise goal-oriented adaptivity for neural ODEs: an optimal control perspective
Title（参考訳）: ニューラルODEの階層的目標指向適応性--最適制御の観点から
Authors: Michael Hintermüller, Michael Hinze, Denis Korolev,
Abstract要約: 本稿では,ニューラルネットワークアーキテクチャの階層的適応構築法を提案する。文献からよく知られた例の選考の結果を提示する。
参考スコア（独自算出の注目度）: 0.0
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: In this work, we propose a novel layerwise adaptive construction method for neural network architectures. Our approach is based on a goal--oriented dual-weighted residual technique for the optimal control of neural differential equations. This leads to an ordinary differential equation constrained optimization problem with controls acting as coefficients and a specific loss function. We implement our approach on the basis of a DG(0) Galerkin discretization of the neural ODE, leading to an explicit Euler time marching scheme. For the optimization we use steepest descent. Finally, we apply our method to the construction of neural networks for the classification of data sets, where we present results for a selection of well known examples from the literature.
Abstract（参考訳）: 本研究では,ニューラルネットワークアーキテクチャの階層的適応構築法を提案する。本手法は,ニューラル微分方程式の最適制御のための目標指向二重重み付け残差法に基づく。これは、係数や特定の損失関数として作用する制御を持つ通常の微分方程式制約最適化問題につながる。我々は、DG(0) ガレルキンによるニューラルODEの離散化に基づいて、我々のアプローチを実装し、明示的なオイラー時間マーチングスキームを導いた。最適化には、最も急降下を使用する。最後に、データセットの分類のためのニューラルネットワークの構築に本手法を適用し、文献からよく知られた例の選定結果を示す。

関連論文リスト

Training Neural ODEs Using Fully Discretized Simultaneous Optimization [2.290491821371513]
ニューラルネットワークの正規微分方程式(Neural ODEs)の学習には、各エポックにおける微分方程式の解法が必要であるため、計算コストが高い。特に、コロケーションに基づく完全に離散化された定式化を採用し、大規模な非線形最適化にIPOPT-aソルバを用いる。この結果から,(コロケーションをベースとした)同時ニューラルODE訓練パイプラインの可能性が示唆された。
論文参考訳（メタデータ） (2025-02-21T18:10:26Z)
Improving Generalization of Deep Neural Networks by Optimum Shifting [33.092571599896814]
本稿では,ニューラルネットワークのパラメータを最小値からフラット値に変化させる,近位シフトと呼ばれる新しい手法を提案する。本手法は,ニューラルネットワークの入力と出力が固定された場合,ネットワーク内の行列乗算を,未決定線形方程式系として扱うことができることを示す。
論文参考訳（メタデータ） (2024-05-23T02:31:55Z)
Globally Optimal Training of Neural Networks with Threshold Activation Functions [63.03759813952481]
しきい値アクティベートを伴うディープニューラルネットワークの重み劣化正規化学習問題について検討した。ネットワークの特定の層でデータセットを破砕できる場合に、簡易な凸最適化の定式化を導出する。
論文参考訳（メタデータ） (2023-03-06T18:59:13Z)
Neural Basis Functions for Accelerating Solutions to High Mach Euler Equations [63.8376359764052]
ニューラルネットワークを用いた偏微分方程式(PDE)の解法を提案する。ニューラルネットワークの集合を縮小順序 Proper Orthogonal Decomposition (POD) に回帰する。これらのネットワークは、所定のPDEのパラメータを取り込み、PDEに還元順序近似を計算する分岐ネットワークと組み合わせて使用される。
論文参考訳（メタデータ） (2022-08-02T18:27:13Z)
Neural Improvement Heuristics for Graph Combinatorial Optimization Problems [49.85111302670361]
本稿では,ノード,エッジ,あるいはその両方に情報をエンコードするグラフベースの問題を扱う新しいニューラル改善(NI)モデルを提案する。提案モデルは,各地区の操作の選択を誘導する丘登頂に基づくアルゴリズムの基本的な構成要素として機能する。
論文参考訳（メタデータ） (2022-06-01T10:35:29Z)
Acceleration techniques for optimization over trained neural network ensembles [1.0323063834827415]
本研究では, 線形単位活性化の補正されたフィードフォワードニューラルネットワークを用いて, 目的関数をモデル化する最適化問題について検討する。本稿では,1つのニューラルネットワークを最適化するために,既存のBig-M$の定式化をベースとした混合整数線形プログラムを提案する。
論文参考訳（メタデータ） (2021-12-13T20:50:54Z)
Non-Gradient Manifold Neural Network [79.44066256794187]
ディープニューラルネットワーク(DNN)は通常、勾配降下による最適化に数千のイテレーションを要します。非次最適化に基づく新しい多様体ニューラルネットワークを提案する。
論文参考訳（メタデータ） (2021-06-15T06:39:13Z)
Meta-Solver for Neural Ordinary Differential Equations [77.8918415523446]
本研究では,ソルバ空間の変動がニューラルODEの性能を向上する方法について検討する。解法パラメータ化の正しい選択は, 敵の攻撃に対するロバスト性の観点から, 神経odesモデルに大きな影響を与える可能性がある。
論文参考訳（メタデータ） (2021-03-15T17:26:34Z)
A Dynamical View on Optimization Algorithms of Overparameterized Neural Networks [23.038631072178735]
我々は、一般的に使用される最適化アルゴリズムの幅広いクラスについて考察する。その結果、ニューラルネットワークの収束挙動を利用することができる。このアプローチは他の最適化アルゴリズムやネットワーク理論にも拡張できると考えています。
論文参考訳（メタデータ） (2020-10-25T17:10:22Z)
The Hidden Convex Optimization Landscape of Two-Layer ReLU Neural Networks: an Exact Characterization of the Optimal Solutions [51.60996023961886]
コーン制約のある凸最適化プログラムを解くことにより,グローバルな2層ReLUニューラルネットワークの探索が可能であることを示す。我々の分析は新しく、全ての最適解を特徴づけ、最近、ニューラルネットワークのトレーニングを凸空間に持ち上げるために使われた双対性に基づく分析を活用できない。
論文参考訳（メタデータ） (2020-06-10T15:38:30Z)
ODEN: A Framework to Solve Ordinary Differential Equations using Artificial Neural Networks [0.0]
我々は、ニューラルネットワークの性能を評価するために、正確な解の知識を必要としない特定の損失関数を証明した。ニューラルネットワークは、トレーニング領域内での継続的ソリューションの近似に熟練していることが示されている。ユーザフレンドリで適応可能なオープンソースコード(ODE$mathcalN$)がGitHubで提供されている。
論文参考訳（メタデータ） (2020-05-28T15:34:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。