Fugu-MT 論文翻訳(概要): Stable Neural Flows

論文の概要: Stable Neural Flows

arxiv url: http://arxiv.org/abs/2003.08063v1
Date: Wed, 18 Mar 2020 06:27:21 GMT
ステータス: 処理完了
システム内更新日: 2022-12-22 09:51:08.166055
Title: Stable Neural Flows
Title（参考訳）: 安定な神経流れ
Authors: Stefano Massaroli, Michael Poli, Michelangelo Bin, Jinkyoo Park, Atsushi Yamashita, Hajime Asama
Abstract要約: ニューラルネットワークによってパラメータ化されたエネルギー汎関数上で軌道が進化するニューラル常微分方程式(ニューラルODE)の確率的に安定な変種を導入する。学習手順は最適制御問題としてキャストされ、随伴感性分析に基づいて近似解が提案される。
参考スコア（独自算出の注目度）: 15.318500611972441
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: We introduce a provably stable variant of neural ordinary differential equations (neural ODEs) whose trajectories evolve on an energy functional parametrised by a neural network. Stable neural flows provide an implicit guarantee on asymptotic stability of the depth-flows, leading to robustness against input perturbations and low computational burden for the numerical solver. The learning procedure is cast as an optimal control problem, and an approximate solution is proposed based on adjoint sensivity analysis. We further introduce novel regularizers designed to ease the optimization process and speed up convergence. The proposed model class is evaluated on non-linear classification and function approximation tasks.
Abstract（参考訳）: ニューラルネットワークによってパラメータ化されたエネルギー関数上で軌道が進化するニューラル常微分方程式(ニューラルODE)の確率的に安定な変種を導入する。安定なニューラルフローは、深さ流の漸近安定性を暗黙的に保証し、数値解法に対する入力摂動に対する頑健さと計算負荷を低下させる。学習手順は最適制御問題としてキャストされ、随伴感性分析に基づいて近似解が提案される。さらに最適化プロセスの容易化と収束の高速化を目的とした新しい正規化器を導入する。提案するモデルクラスは非線形分類と関数近似タスクで評価される。

関連論文リスト

Gauss-Newton Dynamics for Neural Networks: A Riemannian Optimization Perspective [3.48097307252416]
我々は,スムーズな活性化関数を持つニューラルネットワークを学習するためのガウスニュートン力学の収束性を分析する。適切に選択された減衰係数を持つレバンス・マルカルト力学は、不条件カーネルに対してロバスト性をもたらすことを示す。
論文参考訳（メタデータ） (2024-12-18T16:51:47Z)
Score-based Neural Ordinary Differential Equations for Computing Mean Field Control Problems [13.285775352653546]
本稿では,ディープニューラルネットワークに基づく一階および二階のスコア関数を表すニューラルディファレンシャル方程式のシステムを提案する。本研究では,個々の雑音に対する平均粘性場制御(MFC)問題を,提案したニューラルODEシステムによって構成された制約のない最適化問題に再構成する。
論文参考訳（メタデータ） (2024-09-24T21:45:55Z)
On the Convergence Analysis of Over-Parameterized Variational Autoencoders: A Neural Tangent Kernel Perspective [7.580900499231056]
変分自動エンコーダ(VAE)は、生成タスクの強力な確率モデルとして登場した。本稿では, 軽微な仮定の下でのVAEの数学的証明について述べる。また、過剰に最適化されたSNNが直面する最適化問題と、カーネルリッジ(KRR)問題との新たな接続を確立する。
論文参考訳（メタデータ） (2024-09-09T06:10:31Z)
A Mean-Field Analysis of Neural Stochastic Gradient Descent-Ascent for Functional Minimax Optimization [90.87444114491116]
本稿では,超パラメトリック化された2層ニューラルネットワークの無限次元関数クラス上で定義される最小最適化問題について検討する。 i) 勾配降下指数アルゴリズムの収束と, (ii) ニューラルネットワークの表現学習に対処する。その結果、ニューラルネットワークによって誘導される特徴表現は、ワッサーシュタイン距離で測定された$O(alpha-1)$で初期表現から逸脱することが許された。
論文参考訳（メタデータ） (2024-04-18T16:46:08Z)
An Optimization-based Deep Equilibrium Model for Hyperspectral Image Deconvolution with Convergence Guarantees [71.57324258813675]
本稿では,ハイパースペクトル画像のデコンボリューション問題に対処する新しい手法を提案する。新しい最適化問題を定式化し、学習可能な正規化器をニューラルネットワークの形で活用する。導出した反復解法は、Deep Equilibriumフレームワーク内の不動点計算問題として表現される。
論文参考訳（メタデータ） (2023-06-10T08:25:16Z)
Promises and Pitfalls of the Linearized Laplace in Bayesian Optimization [73.80101701431103]
線形化ラプラス近似(LLA)はベイズニューラルネットワークの構築に有効で効率的であることが示されている。ベイズ最適化におけるLLAの有用性について検討し,その性能と柔軟性を強調した。
論文参考訳（メタデータ） (2023-04-17T14:23:43Z)
Implicit Stochastic Gradient Descent for Training Physics-informed Neural Networks [51.92362217307946]
物理インフォームドニューラルネットワーク(PINN)は、前方および逆微分方程式問題の解法として効果的に実証されている。 PINNは、近似すべきターゲット関数が高周波またはマルチスケールの特徴を示す場合、トレーニング障害に閉じ込められる。本稿では,暗黙的勾配降下法(ISGD)を用いてPINNを訓練し,トレーニングプロセスの安定性を向上させることを提案する。
論文参考訳（メタデータ） (2023-03-03T08:17:47Z)
q-RBFNN:A Quantum Calculus-based RBF Neural Network [31.14412266444568]
放射状基底関数ニューラルネットワーク(RBFNN)に対する勾配降下に基づく学習手法を提案する。提案手法は、ジャクソン微分(Jackson derivative)とも呼ばれるq勾配に基づく。提案した$q$-RBFNNは最小二乗アルゴリズムの文脈における収束性能について解析する。
論文参考訳（メタデータ） (2021-06-02T08:27:12Z)
Meta-Solver for Neural Ordinary Differential Equations [77.8918415523446]
本研究では,ソルバ空間の変動がニューラルODEの性能を向上する方法について検討する。解法パラメータ化の正しい選択は, 敵の攻撃に対するロバスト性の観点から, 神経odesモデルに大きな影響を与える可能性がある。
論文参考訳（メタデータ） (2021-03-15T17:26:34Z)
A Deterministic Approximation to Neural SDEs [38.23826389188657]
本研究では,NSDEから精度の高い不確実性推定値を取得することは,計算的に禁止されていることを示す。我々は、遷移カーネルを正確に近似する計算的に手頃な決定論的スキームを開発する。また,決定論的学習の数値的安定性により予測精度も向上する。
論文参考訳（メタデータ） (2020-06-16T08:00:26Z)
Neural Control Variates [71.42768823631918]
ニューラルネットワークの集合が、積分のよい近似を見つけるという課題に直面していることを示す。理論的に最適な分散最小化損失関数を導出し、実際に安定したオンライントレーニングを行うための代替の複合損失を提案する。具体的には、学習した光場近似が高次バウンスに十分な品質であることを示し、誤差補正を省略し、無視可能な可視バイアスのコストでノイズを劇的に低減できることを示した。
論文参考訳（メタデータ） (2020-06-02T11:17:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。