論文の概要: Learning neural state-space models: do we need a state estimator?

• arxiv url: http://arxiv.org/abs/2206.12928v1
• Date: Sun, 26 Jun 2022 17:15:35 GMT
• ステータス: 処理完了
• システム内更新日: 2022-06-28 13:55:51.328777
• Title: Learning neural state-space models: do we need a state estimator?
• Title（参考訳）: 神経状態空間モデルを学ぶ:状態推定器は必要か?
• Authors: Marco Forgione, Manas Mejari, Dario Piga
• Abstract要約: 我々は、広範囲な実験と分析に基づいて、ニューラルステートスペーストレーニングアルゴリズムの校正のための洞察を提供する。 初期状態推定の選択と役割に特に焦点をあてる。 動的システムのある種のクラスにおいて高い性能を達成するためには,先進的な初期状態推定手法が本当に必要であることを示す。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In recent years, several algorithms for system identification with neural state-space models have been introduced. Most of the proposed approaches are aimed at reducing the computational complexity of the learning problem, by splitting the optimization over short sub-sequences extracted from a longer training dataset. Different sequences are then processed simultaneously within a minibatch, taking advantage of modern parallel hardware for deep learning. An issue arising in these methods is the need to assign an initial state for each of the sub-sequences, which is required to run simulations and thus to evaluate the fitting loss. In this paper, we provide insights for calibration of neural state-space training algorithms based on extensive experimentation and analyses performed on two recognized system identification benchmarks. Particular focus is given to the choice and the role of the initial state estimation. We demonstrate that advanced initial state estimation techniques are really required to achieve high performance on certain classes of dynamical systems, while for asymptotically stable ones basic procedures such as zero or random initialization already yield competitive performance.
• Abstract（参考訳）: 近年,神経状態空間モデルを用いたシステム同定アルゴリズムがいくつか導入されている。 提案手法の多くは、より長いトレーニングデータセットから抽出した短いサブシーケンスに対して最適化を分割することにより、学習問題の計算複雑性を低減することを目的としている。 異なるシーケンスがミニバッチ内で同時に処理され、ディープラーニングに現代の並列ハードウェアを利用する。 これらの手法で生じる問題は、各サブシーケンスに対して初期状態を割り当てることであり、これはシミュレーションを実行し、したがって適合損失を評価するのに必要である。 本稿では,2つの認識されたシステム同定ベンチマークで行った広範囲な実験と解析に基づく,神経状態空間訓練アルゴリズムの校正に関する知見を提供する。 特に、初期状態推定の選択と役割に焦点が当てられている。 非漸近的に安定な場合、ゼロやランダム初期化のような基本的な手順が既に競合性能をもたらすのに対し、高度な初期状態推定手法は力学系の特定のクラスで高いパフォーマンスを達成するために本当に必要である。

関連論文リスト

• Discrete Neural Algorithmic Reasoning [18.497863598167257]
  本稿では,有限状態の組合せとして,ニューラル推論器に実行軌跡の維持を強制することを提案する。 アルゴリズムの状態遷移の監督で訓練されたモデルでは、元のアルゴリズムと完全に整合することができる。
  論文  参考訳（メタデータ） (2024-02-18T16:03:04Z)
• Splitter Orderings for Probabilistic Bisimulation [0.0]
  本稿では,与えられた確率モデルの状態空間をバイシミュレートクラスに分割する反復過程を高速化する手法を提案する。 提案手法はいくつかのケーススタディに基づいて実装され,実行時間を平均1桁削減する。
  論文  参考訳（メタデータ） (2023-07-17T16:30:19Z)
• Forward-Forward Algorithm for Hyperspectral Image Classification: A Preliminary Study [0.0]
  フォワードフォワードアルゴリズム(FFA)は、ネットワークパラメータを最適化するために局所良性関数を計算する。 本研究では,FFAのハイパースペクトル画像分類への応用について検討した。
  論文  参考訳（メタデータ） (2023-07-01T05:39:28Z)
• Representation Learning with Multi-Step Inverse Kinematics: An Efficient and Optimal Approach to Rich-Observation RL [106.82295532402335]
  既存の強化学習アルゴリズムは、計算的難易度、強い統計的仮定、最適なサンプルの複雑さに悩まされている。 所望の精度レベルに対して、レート最適サンプル複雑性を実現するための、最初の計算効率の良いアルゴリズムを提供する。 我々のアルゴリズムMusIKは、多段階の逆運動学に基づく表現学習と体系的な探索を組み合わせる。
  論文  参考訳（メタデータ） (2023-04-12T14:51:47Z)
• The Cascaded Forward Algorithm for Neural Network Training [61.06444586991505]
  本稿では,ニューラルネットワークのための新しい学習フレームワークであるCascaded Forward(CaFo)アルゴリズムを提案する。 FFとは異なり、我々のフレームワークは各カスケードブロックのラベル分布を直接出力する。 我々のフレームワークでは、各ブロックは独立して訓練できるので、並列加速度システムに容易に展開できる。
  論文  参考訳（メタデータ） (2023-03-17T02:01:11Z)
• Towards Theoretically Inspired Neural Initialization Optimization [66.04735385415427]
  我々は,ニューラルネットワークの初期状態を評価するための理論的知見を備えた,GradCosineという微分可能な量を提案する。 標準制約下でGradCosineを最大化することにより、ネットワークのトレーニングとテストの両方の性能を向上させることができることを示す。 サンプル分析から実際のバッチ設定に一般化されたNIOは、無視可能なコストで、より優れた初期化を自動で探すことができる。
  論文  参考訳（メタデータ） (2022-10-12T06:49:16Z)
• Robust Learning of Parsimonious Deep Neural Networks [0.0]
  本稿では,ニューラルネットワークにおける無関係構造を識別・排除できる同時学習および刈り取りアルゴリズムを提案する。 最適選択に欠かせないパラメータに対して,新しい超優先度分布を導出する。 我々は,提案アルゴリズムをMNISTデータセット上で評価し,完全連結型および畳み込み型LeNetアーキテクチャを用いた。
  論文  参考訳（メタデータ） (2022-05-10T03:38:55Z)
• Assessment of machine learning methods for state-to-state approaches [0.0]
  状態間アプローチにおける機械学習手法の適用の可能性について検討する。 ディープニューラルネットワークは、これらのタスクでも実行可能な技術であるようだ。
  論文  参考訳（メタデータ） (2021-04-02T13:27:23Z)
• Activation Relaxation: A Local Dynamical Approximation to Backpropagation in the Brain [62.997667081978825]
  活性化緩和(AR)は、バックプロパゲーション勾配を力学系の平衡点として構成することで動機付けられる。 我々のアルゴリズムは、正しいバックプロパゲーション勾配に迅速かつ堅牢に収束し、単一のタイプの計算単位しか必要とせず、任意の計算グラフで操作できる。
  論文  参考訳（メタデータ） (2020-09-11T11:56:34Z)
• Large-scale Neural Solvers for Partial Differential Equations [48.7576911714538]
  偏微分方程式 (PDE) を解くことは、多くのプロセスがPDEの観点でモデル化できるため、科学の多くの分野において不可欠である。 最近の数値解法では、基礎となる方程式を手動で離散化するだけでなく、分散コンピューティングのための高度で調整されたコードも必要である。 偏微分方程式, 物理インフォームドニューラルネットワーク(PINN)に対する連続メッシュフリーニューラルネットワークの適用性について検討する。 本稿では,解析解に関するGatedPINNの精度と,スペクトル解法などの最先端数値解法について論じる。
  論文  参考訳（メタデータ） (2020-09-08T13:26:51Z)
• Parallelization Techniques for Verifying Neural Networks [52.917845265248744]
  検証問題に基づくアルゴリズムを反復的に導入し、2つの分割戦略を探索する。 また、ニューラルネットワークの検証問題を単純化するために、ニューロンアクティベーションフェーズを利用する、高度に並列化可能な前処理アルゴリズムも導入する。
  論文  参考訳（メタデータ） (2020-04-17T20:21:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。