論文の概要: An optimal control approach for neural network architecture adaptation with a posteriori error estimation
- arxiv url: http://arxiv.org/abs/2607.07637v1
- Date: Wed, 08 Jul 2026 16:55:16 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-09 22:50:30.469189
- Title: An optimal control approach for neural network architecture adaptation with a posteriori error estimation
- Title（参考訳）: 後部誤差推定を用いたニューラルネットワークアーキテクチャ適応のための最適制御手法
- Authors: C G Krishnanunni, Thomas Scott, Tan Bui-Thanh,
- Abstract要約: 我々は,後部誤差推定に基づくニューラルネットワークアーキテクチャを深度に沿って適用するための新しいアプローチを開発した。
新しい層は最大推定誤差の位置に挿入され、ネットワークは根本問題における複雑で非線形な変動を効率的に捉えることができる。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: This work presents a novel approach for adapting neural network architecture along the depth based on a posteriori error estimation. By formulating neural network training as a continuous-time optimal control problem, we derive rigorous error estimates that quantify how approximation error distributes across network layers. This error decomposition enables a principled depth adaptation strategy: new layers are inserted at locations of maximum estimated error, allowing the network to efficiently capture complex, nonlinear variations in the underlying problem. Our framework introduces a novel network architecture that treats weights and biases as piecewise linear functions varying across layers, with the error estimator bounding the discrepancy between this discrete representation and the true continuous optimal control solution. The approach leverages dual weighted residual methodology from finite element analysis to derive computable upper bounds on the functional error. A key theoretical contribution is the derivation of explicit error bounds that decompose the total approximation error into interval-wise contributions, providing a rigorous basis for targeted architecture refinement. We demonstrate the effectiveness of our method on scientific datasets, including learning the observable-to-parameter map for the Navier-Stokes equation. Numerical results reveal that our approach consistently outperforms existing architecture adaptation methods in terms of generalization performance.
- Abstract（参考訳）: この研究は、後部誤差推定に基づいて、深さに沿ってニューラルネットワークアーキテクチャを適用するための新しいアプローチを示す。
ニューラルネットワークトレーニングを連続時間最適制御問題として定式化することにより、近似誤差がどのようにネットワーク層に分散するかを定量化する厳密な誤差推定を導出する。
この誤り分解により、最小推定誤差の位置に新しい層を挿入し、ネットワークが基礎となる問題の複雑な非線形変動を効率的に捉えることができるという、原則化された深さ適応戦略が実現される。
本フレームワークでは,重みと偏りを各層に分散した線形関数として扱う新しいネットワークアーキテクチャを導入し,この離散表現と真の連続最適制御解との相違を推定する誤差推定器を提案する。
このアプローチは、有限要素解析から双重み付き残留方法論を利用して、関数誤差の計算可能上界を導出する。
重要な理論的貢献は、全近似誤差を区間的な寄与に分解する明示的なエラー境界の導出であり、ターゲットアーキテクチャの洗練のための厳密な基礎を提供する。
本研究では,Navier-Stokes方程式の観測可能なパラメータマップの学習を含む,科学的データセットに対する本手法の有効性を実証する。
数値解析の結果,提案手法は一般化性能の点で既存のアーキテクチャ適応手法より一貫して優れていることがわかった。
関連論文リスト
- A Layer Separation Optimization Framework for Cross-Entropy Training in Deep Learning [17.37954084665439]
本稿では,ソフトマックスクロスエントロピー損失を用いたディープラーニング最適化問題について検討する。
本稿では, 強非線形サブプロブレムを緩和するための層分離戦略を提案する。
数値実験により提案手法の有効性が検証された。
論文 参考訳（メタデータ） (2026-04-25T09:33:24Z) - Component-based Sketching for Deep ReLU Nets [55.404661149594375]
各種タスクのためのディープネットコンポーネントに基づくスケッチ手法を開発した。
我々はディープネットトレーニングを線形経験的リスク最小化問題に変換する。
提案したコンポーネントベーススケッチは飽和関数の近似においてほぼ最適であることを示す。
論文 参考訳（メタデータ） (2024-09-21T15:30:43Z) - Adaptive Anomaly Detection in Network Flows with Low-Rank Tensor Decompositions and Deep Unrolling [4.944495309580902]
異常検出(AD)は、将来の通信システムのレジリエンスを確保するための重要な要素として、ますます認識されている。
この研究は、不完全測定を用いたネットワークフローにおけるADについて考察する。
本稿では,正規化モデル適合性に基づくブロック帰属凸近似アルゴリズムを提案する。
ベイズ的アプローチに触発されて、我々はモデルアーキテクチャを拡張し、フローごとのオンライン適応とステップごとの統計処理を行う。
論文 参考訳（メタデータ） (2024-09-17T19:59:57Z) - Multilevel CNNs for Parametric PDEs based on Adaptive Finite Elements [0.0]
高次元パラメータ依存偏微分方程式の多値性を利用するニューラルネットワークアーキテクチャが提案されている。
ネットワークは適応的に洗練された有限要素メッシュのデータで訓練される。
適応型マルチレベルスキームに対して完全収束と複雑性解析を行う。
論文 参考訳（メタデータ） (2024-08-20T13:32:11Z) - Adaptive Multilevel Neural Networks for Parametric PDEs with Error Estimation [0.0]
ニューラルネットワークアーキテクチャは高次元パラメータ依存偏微分方程式(pPDE)を解くために提示される
モデルデータのパラメータを対応する有限要素解にマッピングするために構築される。
適応有限要素法(AFEM)で生成される粗いグリッド解と一連の補正を出力する。
論文 参考訳（メタデータ） (2024-03-19T11:34:40Z) - Robust Stochastically-Descending Unrolled Networks [85.6993263983062]
Deep Unrolling(ディープ・アンローリング)は、トレーニング可能なニューラルネットワークの層に切り捨てられた反復アルゴリズムをアンロールする、新たな学習最適化手法である。
アンロールネットワークの収束保証と一般化性は、いまだにオープンな理論上の問題であることを示す。
提案した制約の下で訓練されたアンロールアーキテクチャを2つの異なるアプリケーションで数値的に評価する。
論文 参考訳（メタデータ） (2023-12-25T18:51:23Z) - A new approach to generalisation error of machine learning algorithms:
Estimates and convergence [0.0]
本稿では,(一般化)誤差の推定と収束に対する新しいアプローチを提案する。
本研究の結果は,ニューラルネットワークの構造的仮定を伴わない誤差の推定を含む。
論文 参考訳（メタデータ） (2023-06-23T20:57:31Z) - Non-Gradient Manifold Neural Network [79.44066256794187]
ディープニューラルネットワーク(DNN)は通常、勾配降下による最適化に数千のイテレーションを要します。
非次最適化に基づく新しい多様体ニューラルネットワークを提案する。
論文 参考訳（メタデータ） (2021-06-15T06:39:13Z) - Influence Estimation and Maximization via Neural Mean-Field Dynamics [60.91291234832546]
本稿では,ニューラル平均場(NMF)ダイナミクスを用いた新しい学習フレームワークを提案する。
我々のフレームワークは拡散ネットワークの構造とノード感染確率の進化を同時に学習することができる。
論文 参考訳（メタデータ） (2021-06-03T00:02:05Z) - Neural Control Variates [71.42768823631918]
ニューラルネットワークの集合が、積分のよい近似を見つけるという課題に直面していることを示す。
理論的に最適な分散最小化損失関数を導出し、実際に安定したオンライントレーニングを行うための代替の複合損失を提案する。
具体的には、学習した光場近似が高次バウンスに十分な品質であることを示し、誤差補正を省略し、無視可能な可視バイアスのコストでノイズを劇的に低減できることを示した。
論文 参考訳（メタデータ） (2020-06-02T11:17:55Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。