論文の概要: Calibrating Neural Networks' parameters through Optimal Contraction in a Prediction Problem

• arxiv url: http://arxiv.org/abs/2406.10703v1
• Date: Sat, 15 Jun 2024 18:08:04 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-18 23:04:22.176712
• Title: Calibrating Neural Networks' parameters through Optimal Contraction in a Prediction Problem
• Title（参考訳）: 予測問題における最適縮約によるニューラルネットワークのパラメータの校正
• Authors: Valdes Gonzalo,
• Abstract要約: 論文では、リカレントニューラルネットワーク(RNN)を、パラメータが線形な領域の収縮に変換する方法について詳述する。 次に、損失関数の特定の正規化項を持つRNNによってモデル化された予測問題は、その一階条件を解析的に表現できることを示した。 特定の条件が満たされた場合、最適なパラメータが存在し、任意の所望の精度に簡単なアルゴリズムで見つけることができる。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This study introduces a novel approach to ensure the existence and uniqueness of optimal parameters in neural networks. The paper details how a recurrent neural networks (RNN) can be transformed into a contraction in a domain where its parameters are linear. It then demonstrates that a prediction problem modeled through an RNN, with a specific regularization term in the loss function, can have its first-order conditions expressed analytically. This system of equations is reduced to two matrix equations involving Sylvester equations, which can be partially solved. We establish that, if certain conditions are met, optimal parameters exist, are unique, and can be found through a straightforward algorithm to any desired precision. Also, as the number of neurons grows the conditions of convergence become easier to fulfill. Feedforward neural networks (FNNs) are also explored by including linear constraints on parameters. According to our model, incorporating loops (with fixed or variable weights) will produce loss functions that train easier, because it assures the existence of a region where an iterative method converges.
• Abstract（参考訳）: 本研究では,ニューラルネットワークにおける最適パラメータの存在と特異性を保証する新しいアプローチを提案する。 論文では、リカレントニューラルネットワーク(RNN)を、パラメータが線形な領域の収縮に変換する方法について詳述する。 次に、損失関数の特定の正規化項を持つRNNによってモデル化された予測問題は、その一階条件を解析的に表現できることを示した。 この方程式体系は、部分的に解けるシルベスター方程式を含む2つの行列方程式に還元される。 一定の条件が満たされた場合、最適なパラメータが存在し、一意であり、任意の所望の精度で簡単なアルゴリズムで見つけることができる。 また、ニューロンの数が増えるにつれて、収束の条件が満たされやすくなる。 フィードフォワードニューラルネットワーク(FNN)もパラメータに線形制約を加えることで検討されている。 我々のモデルによれば、ループ(固定あるいは可変重み付き)を組み込むことで、反復法が収束する領域の存在を保証するため、訓練を容易にする損失関数が生成される。

関連論文リスト

• Score-based Neural Ordinary Differential Equations for Computing Mean Field Control Problems [13.285775352653546]
  本稿では,ディープニューラルネットワークに基づく一階および二階のスコア関数を表すニューラルディファレンシャル方程式のシステムを提案する。 本研究では,個々の雑音に対する平均粘性場制御(MFC)問題を,提案したニューラルODEシステムによって構成された制約のない最適化問題に再構成する。
  論文  参考訳（メタデータ） (2024-09-24T21:45:55Z)
• FEM-based Neural Networks for Solving Incompressible Fluid Flows and Related Inverse Problems [41.94295877935867]
  偏微分方程式で記述された技術システムの数値シミュレーションと最適化は高価である。 この文脈で比較的新しいアプローチは、ニューラルネットワークの優れた近似特性と古典的有限要素法を組み合わせることである。 本稿では, この手法を, サドルポイント問題と非線形流体力学問題に拡張する。
  論文  参考訳（メタデータ） (2024-09-06T07:17:01Z)
• Neural Parameter Regression for Explicit Representations of PDE Solution Operators [22.355460388065964]
  偏微分方程式(PDE)の解演算子を学習するための新しいフレームワークであるニューラル回帰(NPR)を導入する。 NPRは、ニューラルネットワーク(NN)パラメータを回帰するために、Physics-Informed Neural Network (PINN, Raissi et al., 2021) 技術を使用している。 このフレームワークは、新しい初期条件と境界条件に顕著な適応性を示し、高速な微調整と推論を可能にした。
  論文  参考訳（メタデータ） (2024-03-19T14:30:56Z)
• Learning Low Dimensional State Spaces with Overparameterized Recurrent Neural Nets [57.06026574261203]
  我々は、長期記憶をモデル化できる低次元状態空間を学習するための理論的証拠を提供する。 実験は、線形RNNと非線形RNNの両方で低次元状態空間を学習することで、我々の理論を裏付けるものである。
  論文  参考訳（メタデータ） (2022-10-25T14:45:15Z)
• Message Passing Neural PDE Solvers [60.77761603258397]
  我々は、バックプロップ最適化されたニューラル関数近似器で、グラフのアリーデザインのコンポーネントを置き換えるニューラルメッセージパッシング解決器を構築した。 本稿では, 有限差分, 有限体積, WENOスキームなどの古典的手法を表現的に含んでいることを示す。 本研究では, 異なる領域のトポロジ, 方程式パラメータ, 離散化などにおける高速, 安定, 高精度な性能を, 1次元, 2次元で検証する。
  論文  参考訳（メタデータ） (2022-02-07T17:47:46Z)
• Adaptive neural domain refinement for solving time-dependent differential equations [0.0]
  ニューラルネットワークを用いた微分方程式の古典的な解法は、解領域の離散化を伴う微分方程式を用いるニューラルネットワーク形式に基づいている。 このような重要かつ成功した戦略を、ニューラルネットワークベースのソリューションの分野に移行することが望ましい。 本稿では,時間依存問題の解決を目的とした新しい適応型ニューラルアプローチを提案する。
  論文  参考訳（メタデータ） (2021-12-23T13:19:07Z)
• Meta-Solver for Neural Ordinary Differential Equations [77.8918415523446]
  本研究では,ソルバ空間の変動がニューラルODEの性能を向上する方法について検討する。 解法パラメータ化の正しい選択は, 敵の攻撃に対するロバスト性の観点から, 神経odesモデルに大きな影響を与える可能性がある。
  論文  参考訳（メタデータ） (2021-03-15T17:26:34Z)
• Modeling from Features: a Mean-field Framework for Over-parameterized Deep Neural Networks [54.27962244835622]
  本稿では、オーバーパラメータ化ディープニューラルネットワーク(DNN)のための新しい平均場フレームワークを提案する。 このフレームワークでは、DNNは連続的な極限におけるその特徴に対する確率測度と関数によって表現される。 本稿では、標準DNNとResidual Network(Res-Net)アーキテクチャを通してフレームワークを説明する。
  論文  参考訳（メタデータ） (2020-07-03T01:37:16Z)
• Provably Efficient Neural Estimation of Structural Equation Model: An Adversarial Approach [144.21892195917758]
  一般化構造方程式モデル(SEM)のクラスにおける推定について検討する。 線形作用素方程式をmin-maxゲームとして定式化し、ニューラルネットワーク(NN)でパラメータ化し、勾配勾配を用いてニューラルネットワークのパラメータを学習する。 提案手法は,サンプル分割を必要とせず,確固とした収束性を持つNNをベースとしたSEMの抽出可能な推定手順を初めて提供する。
  論文  参考訳（メタデータ） (2020-07-02T17:55:47Z)
• Convex Geometry and Duality of Over-parameterized Neural Networks [70.15611146583068]
  有限幅2層ReLUネットワークの解析のための凸解析手法を開発した。 正規化学習問題に対する最適解が凸集合の極点として特徴づけられることを示す。 高次元では、トレーニング問題は無限に多くの制約を持つ有限次元凸問題としてキャストできることが示される。
  論文  参考訳（メタデータ） (2020-02-25T23:05:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。