論文の概要: Neural information field filter

• arxiv url: http://arxiv.org/abs/2407.16502v1
• Date: Tue, 23 Jul 2024 14:18:26 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-24 17:06:21.148662
• Title: Neural information field filter
• Title（参考訳）: ニューラル・インフォメーション・フィールド・フィルタ
• Authors: Kairui Hao, Ilias Bilionis,
• Abstract要約: 本稿では,高次元非線形力学系に対するニューラル情報場フィルタ,ベイズ状態およびパラメータ推定手法を提案する。 有限線形基底のスパンを用いて時間発展状態経路をパラメータ化する。 真の状態パスを知る前に表現的だが単純な線形基底を設計することは、推論の正確性には不可欠だが困難である。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We introduce neural information field filter, a Bayesian state and parameter estimation method for high-dimensional nonlinear dynamical systems given large measurement datasets. Solving such a problem using traditional methods, such as Kalman and particle filters, is computationally expensive. Information field theory is a Bayesian approach that can efficiently reconstruct dynamical model state paths and calibrate model parameters from noisy measurement data. To apply the method, we parameterize the time evolution state path using the span of a finite linear basis. The existing method has to reparameterize the state path by initial states to satisfy the initial condition. Designing an expressive yet simple linear basis before knowing the true state path is crucial for inference accuracy but challenging. Moreover, reparameterizing the state path using the initial state is easy to perform for a linear basis, but is nontrivial for more complex and expressive function parameterizations, such as neural networks. The objective of this paper is to simplify and enrich the class of state path parameterizations using neural networks for the information field theory approach. To this end, we propose a generalized physics-informed conditional prior using an auxiliary initial state. We show the existing reparameterization is a special case. We parameterize the state path using a residual neural network that consists of a linear basis function and a Fourier encoding fully connected neural network residual function. The residual function aims to correct the error of the linear basis function. To sample from the intractable posterior distribution, we develop an optimization algorithm, nested stochastic variational inference, and a sampling algorithm, nested preconditioned stochastic gradient Langevin dynamics. A series of numerical and experimental examples verify and validate the proposed method.
• Abstract（参考訳）: 本研究では,大規模計測データセットを付加した高次元非線形力学系に対するニューラル情報場フィルタ,ベイズ状態およびパラメータ推定手法を提案する。 このような問題をカルマンや粒子フィルタといった従来の手法で解くのは計算コストがかかる。 情報場理論は、動的モデル状態パスを効率的に再構成し、ノイズ測定データからモデルパラメータを校正するベイズ的手法である。 本手法を適用するために,有限線形基底のスパンを用いて時間発展状態経路をパラメータ化する。 既存の方法は、初期状態を満たすために、状態パスを初期状態で再パラメータ化する必要がある。 真の状態パスを知る前に表現力のある単純な線形基底を設計することは、推論の正確性には不可欠だが困難である。 さらに、初期状態を用いた状態パスの再パラメータ化は線形ベースで容易に行うことができるが、ニューラルネットワークのようなより複雑で表現力のある関数パラメータ化では容易ではない。 本研究の目的は,情報場理論におけるニューラルネットワークを用いた状態経路パラメータ化のクラスを簡素化し,強化することである。 この目的のために、補助的な初期状態を用いて、一般化された物理インフォームド条件を前もって提案する。 既存のパラメータ化は特別なケースであることを示す。 線形基底関数と完全連結ニューラルネットワーク残関数を符号化するフーリエからなる残差ニューラルネットワークを用いて状態経路をパラメータ化する。 残基関数は線形基底関数の誤差を補正することを目的としている。 抽出可能な後方分布から抽出するために, 最適化アルゴリズム, ネスト確率変動推定アルゴリズム, サンプリングアルゴリズム, ネスト確率勾配ランゲヴィンダイナミクスを開発した。 提案手法の検証と検証を行う数値実験例のシリーズである。

関連論文リスト

• Calibrating Neural Networks' parameters through Optimal Contraction in a Prediction Problem [0.0]
  論文では、リカレントニューラルネットワーク(RNN)を、パラメータが線形な領域の収縮に変換する方法について詳述する。 次に、損失関数の特定の正規化項を持つRNNによってモデル化された予測問題は、その一階条件を解析的に表現できることを示した。 特定の条件が満たされた場合、最適なパラメータが存在し、任意の所望の精度に簡単なアルゴリズムで見つけることができる。
  論文  参考訳（メタデータ） (2024-06-15T18:08:04Z)
• A Mean-Field Analysis of Neural Stochastic Gradient Descent-Ascent for Functional Minimiax Optimization [90.87444114491116]
  本稿では,超パラメトリック化された2層ニューラルネットワークの無限次元関数クラス上で定義される最小最適化問題について検討する。 i) 勾配降下指数アルゴリズムの収束と, (ii) ニューラルネットワークの表現学習に対処する。 その結果、ニューラルネットワークによって誘導される特徴表現は、ワッサーシュタイン距離で測定された$O(alpha-1)$で初期表現から逸脱することが許された。
  論文  参考訳（メタデータ） (2024-04-18T16:46:08Z)
• Low-rank extended Kalman filtering for online learning of neural networks from streaming data [71.97861600347959]
  非定常データストリームから非線形関数のパラメータを推定するための効率的なオンライン近似ベイズ推定アルゴリズムを提案する。 この方法は拡張カルマンフィルタ (EKF) に基づいているが、新しい低ランク+斜角行列分解法を用いている。 変分推論に基づく手法とは対照的に,本手法は完全に決定論的であり,ステップサイズチューニングを必要としない。
  論文  参考訳（メタデータ） (2023-05-31T03:48:49Z)
• Learning to Learn with Generative Models of Neural Network Checkpoints [71.06722933442956]
  ニューラルネットワークのチェックポイントのデータセットを構築し,パラメータの生成モデルをトレーニングする。 提案手法は,幅広い損失プロンプトに対するパラメータの生成に成功している。 我々は、教師付きおよび強化学習における異なるニューラルネットワークアーキテクチャとタスクに本手法を適用した。
  論文  参考訳（メタデータ） (2022-09-26T17:59:58Z)
• One-Pass Learning via Bridging Orthogonal Gradient Descent and Recursive Least-Squares [8.443742714362521]
  我々は,従来のデータポイントの予測にほとんど変化しない方向にパラメータを変更しながら,すべての新しいデータポイントに完全に適合するワンパス学習アルゴリズムを開発した。 我々のアルゴリズムは、インクリメンタル・プリンシパル・コンポーネント分析(IPCA)を用いてストリーミングデータの構造を利用して、メモリを効率的に利用する。 本実験では,提案手法の有効性をベースラインと比較した。
  論文  参考訳（メタデータ） (2022-07-28T02:01:31Z)
• Deep Learning for the Benes Filter [91.3755431537592]
  本研究では,メッシュのないニューラルネットワークによるベンズモデルの解の密度の表現に基づく新しい数値計算法を提案する。 ニューラルネットワークの領域選択におけるフィルタリングモデル方程式における非線形性の役割について論じる。
  論文  参考訳（メタデータ） (2022-03-09T14:08:38Z)
• Learning Linearized Assignment Flows for Image Labeling [70.540936204654]
  画像ラベリングのための線形化代入フローの最適パラメータを推定するための新しいアルゴリズムを提案する。 この式をKrylov部分空間と低ランク近似を用いて効率的に評価する方法を示す。
  論文  参考訳（メタデータ） (2021-08-02T13:38:09Z)
• q-RBFNN:A Quantum Calculus-based RBF Neural Network [31.14412266444568]
  放射状基底関数ニューラルネットワーク(RBFNN)に対する勾配降下に基づく学習手法を提案する。 提案手法は、ジャクソン微分(Jackson derivative)とも呼ばれるq勾配に基づく。 提案した$q$-RBFNNは最小二乗アルゴリズムの文脈における収束性能について解析する。
  論文  参考訳（メタデータ） (2021-06-02T08:27:12Z)
• Activation Relaxation: A Local Dynamical Approximation to Backpropagation in the Brain [62.997667081978825]
  活性化緩和(AR)は、バックプロパゲーション勾配を力学系の平衡点として構成することで動機付けられる。 我々のアルゴリズムは、正しいバックプロパゲーション勾配に迅速かつ堅牢に収束し、単一のタイプの計算単位しか必要とせず、任意の計算グラフで操作できる。
  論文  参考訳（メタデータ） (2020-09-11T11:56:34Z)
• NanoFlow: Scalable Normalizing Flows with Sublinear Parameter Complexity [28.201670958962453]
  正規化フロー(NFs)は、分析確率密度の推定と効率的な合成を可能にする深層生成モデルの顕著な方法となっている。 本稿では,1つのニューラルネットワーク密度推定器を用いて,複数の変換ステージをモデル化するNanoFlowというパラメータ化手法を提案する。
  論文  参考訳（メタデータ） (2020-06-11T09:35:00Z)
• Solving high-dimensional eigenvalue problems using deep neural networks: A diffusion Monte Carlo like approach [14.558626910178127]
  固有値問題は、演算子によって誘導される半群フローの固定点問題として再構成される。 この方法は拡散モンテカルロと同様の精神を持つが、ニューラル・ネットワーク・アンサッツによる固有関数への直接近似を増大させる。 我々の手法はいくつかの数値例で正確な固有値と固有関数の近似を提供することができる。
  論文  参考訳（メタデータ） (2020-02-07T03:08:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。