論文の概要: State Derivative Normalization for Continuous-Time Deep Neural Networks
- arxiv url: http://arxiv.org/abs/2401.02902v1
- Date: Fri, 5 Jan 2024 17:04:33 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-08 14:40:29.385696
- Title: State Derivative Normalization for Continuous-Time Deep Neural Networks
- Title（参考訳）: 連続時間深部ニューラルネットワークの状態導出正規化
- Authors: Jonas Weigand, Gerben I. Beintema, Jonas Ulmen, Daniel G\"orges,
Roland T\'oth, Maarten Schoukens and Martin Ruskowski
- Abstract要約: 本稿では,これら3つの正規化タスクが本質的に結合していることを示す。
状態微分レベルで正規化定数を導入することにより,3つの正規化問題に対する解を提案する。
- 参考スコア（独自算出の注目度）: 0.7528462379265576
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: The importance of proper data normalization for deep neural networks is well
known. However, in continuous-time state-space model estimation, it has been
observed that improper normalization of either the hidden state or hidden state
derivative of the model estimate, or even of the time interval can lead to
numerical and optimization challenges with deep learning based methods. This
results in a reduced model quality. In this contribution, we show that these
three normalization tasks are inherently coupled. Due to the existence of this
coupling, we propose a solution to all three normalization challenges by
introducing a normalization constant at the state derivative level. We show
that the appropriate choice of the normalization constant is related to the
dynamics of the to-be-identified system and we derive multiple methods of
obtaining an effective normalization constant. We compare and discuss all the
normalization strategies on a benchmark problem based on experimental data from
a cascaded tanks system and compare our results with other methods of the
identification literature.
- Abstract（参考訳）: ディープニューラルネットワークにおける適切なデータ正規化の重要性はよく知られている。
しかし, 連続時間状態空間モデル推定では, モデル推定の隠蔽状態あるいは隠蔽状態微分の不適切な正規化, あるいは時間間隔においても, 深層学習に基づく手法による数値的および最適化的課題が生じることが観察されている。
これにより、モデルの品質が低下する。
本稿では,これら3つの正規化タスクが本質的に結合していることを示す。
この結合の存在から, 状態微分レベルでの正規化定数を導入することにより, 3つの正規化問題すべてに対する解を提案する。
正規化定数の適切な選択は、to-be-identified systemのダイナミクスと関連しており、有効な正規化定数を得る複数の方法が導かれる。
ケースドタンクシステムからの実験データをもとに,ベンチマーク問題における正規化戦略をすべて比較検討し,本手法と他の同定文献との比較を行った。
関連論文リスト
- Bayesian Renormalization [68.8204255655161]
ベイズ統計的推論にインスパイアされた再正規化に対する完全情報理論的アプローチを提案する。
ベイズ再正規化の主な洞察は、フィッシャー計量が創発的RGスケールの役割を担う相関長を定義することである。
本研究では,ベイズ正規化方式が既存のデータ圧縮法やデータ生成法とどのように関係しているかを考察する。
論文 参考訳（メタデータ） (2023-05-17T18:00:28Z) - Training Normalizing Flows from Dependent Data [31.42053454078623]
データポイント間の依存関係を取り入れたフローの正規化の可能性が示唆された。
本研究では, 観測データ間の依存関係の尊重が, 合成データと実世界のデータの両方に対する経験的結果を改善することを示す。
論文 参考訳（メタデータ） (2022-09-29T16:50:34Z) - Breaking Time Invariance: Assorted-Time Normalization for RNNs [5.229616140749998]
Assorted-Time Normalization (ATN) と呼ばれる正規化手法を提案する。
ATNは、複数の連続する時間ステップから情報を保存し、それらを使用して正規化する。
ATNをLNに適用した実験では,様々なタスクにおいて一貫した改善が示された。
論文 参考訳（メタデータ） (2022-09-28T21:51:13Z) - Continuous-Time Modeling of Counterfactual Outcomes Using Neural
Controlled Differential Equations [84.42837346400151]
反現実的な結果を予測することは、パーソナライズされたヘルスケアをアンロックする可能性がある。
既存の因果推論アプローチでは、観察と治療決定の間の通常の離散時間間隔が考慮されている。
そこで本研究では,腫瘍増殖モデルに基づく制御可能なシミュレーション環境を提案する。
論文 参考訳（メタデータ） (2022-06-16T17:15:15Z) - A Priori Denoising Strategies for Sparse Identification of Nonlinear
Dynamical Systems: A Comparative Study [68.8204255655161]
本研究では, 局所的およびグローバルな平滑化手法の性能と, 状態測定値の偏差について検討・比較する。
一般に,測度データセット全体を用いたグローバルな手法は,局所点の周辺に隣接するデータサブセットを用いる局所的手法よりも優れていることを示す。
論文 参考訳（メタデータ） (2022-01-29T23:31:25Z) - Benign Overfitting of Constant-Stepsize SGD for Linear Regression [122.70478935214128]
帰納バイアスは 経験的に過剰フィットを防げる中心的存在です
この研究は、この問題を最も基本的な設定として考慮している: 線形回帰に対する定数ステップサイズ SGD。
我々は、(正規化されていない)SGDで得られるアルゴリズム正則化と、通常の最小二乗よりも多くの顕著な違いを反映する。
論文 参考訳（メタデータ） (2021-03-23T17:15:53Z) - Squared $\ell_2$ Norm as Consistency Loss for Leveraging Augmented Data
to Learn Robust and Invariant Representations [76.85274970052762]
元のサンプルと拡張されたサンプルの埋め込み/表現の距離を規則化することは、ニューラルネットワークの堅牢性を改善するための一般的なテクニックである。
本稿では、これらの様々な正規化選択について検討し、埋め込みの正規化方法の理解を深める。
私たちが特定したジェネリックアプローチ(squared $ell$ regularized augmentation)は、それぞれ1つのタスクのために特別に設計されたいくつかの手法より優れていることを示す。
論文 参考訳（メタデータ） (2020-11-25T22:40:09Z) - Normalization Techniques in Training DNNs: Methodology, Analysis and
Application [111.82265258916397]
ディープニューラルネットワーク(DNN)のトレーニングを加速し、一般化を改善するためには、正規化技術が不可欠である
本稿では,トレーニングの文脈における正規化手法の過去,現在,未来に関するレビューとコメントを行う。
論文 参考訳（メタデータ） (2020-09-27T13:06:52Z) - SODEN: A Scalable Continuous-Time Survival Model through Ordinary
Differential Equation Networks [14.564168076456822]
本稿では、ニューラルネットワークとスケーラブルな最適化アルゴリズムを用いた生存分析のためのフレキシブルモデルを提案する。
提案手法の有効性を,既存の最先端ディープラーニングサバイバル分析モデルと比較した。
論文 参考訳（メタデータ） (2020-08-19T19:11:25Z) - Density Fixing: Simple yet Effective Regularization Method based on the
Class Prior [2.3859169601259347]
本稿では,教師付き・半教師付き学習によく用いられる密度固定法という正規化手法の枠組みを提案する。
提案手法は,モデルの事前分布や発生頻度を近似させることで,一般化性能を向上させる。
論文 参考訳（メタデータ） (2020-07-08T04:58:22Z) - Anomaly Detection in Trajectory Data with Normalizing Flows [0.0]
本稿では,ニューラルネットワークを用いたデータから複雑な密度推定を可能にする,正規化フローに基づく手法を提案する。
提案手法は, 軌道の各セグメントに対して, 流れを正規化する重要な特徴である, 正確なモデル確率値を算出する。
実世界の軌道データを用いて, 正規化フローを用いた集約異常検出法(GRADINGS)を評価し, 従来の異常検出法と比較した。
論文 参考訳（メタデータ） (2020-04-13T14:16:40Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。