論文の概要: Sparsity in Continuous-Depth Neural Networks
- arxiv url: http://arxiv.org/abs/2210.14672v1
- Date: Wed, 26 Oct 2022 12:48:12 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-27 15:27:17.477601
- Title: Sparsity in Continuous-Depth Neural Networks
- Title(参考訳): 連続深層ニューラルネットワークにおけるスパーシティ
- Authors: Hananeh Aliee, Till Richter, Mikhail Solonin, Ignacio Ibarra, Fabian
Theis, Niki Kilbertus
- Abstract要約: 重みと特徴空間が予測および基礎となる動的法則の同定に与える影響について検討する。
ヒトのモーションキャプチャーとヒト造血幹細胞RNA-seqデータからなる実世界のデータセットをキュレートする。
- 参考スコア(独自算出の注目度): 2.969794498016257
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Neural Ordinary Differential Equations (NODEs) have proven successful in
learning dynamical systems in terms of accurately recovering the observed
trajectories. While different types of sparsity have been proposed to improve
robustness, the generalization properties of NODEs for dynamical systems beyond
the observed data are underexplored. We systematically study the influence of
weight and feature sparsity on forecasting as well as on identifying the
underlying dynamical laws. Besides assessing existing methods, we propose a
regularization technique to sparsify "input-output connections" and extract
relevant features during training. Moreover, we curate real-world datasets
consisting of human motion capture and human hematopoiesis single-cell RNA-seq
data to realistically analyze different levels of out-of-distribution (OOD)
generalization in forecasting and dynamics identification respectively. Our
extensive empirical evaluation on these challenging benchmarks suggests that
weight sparsity improves generalization in the presence of noise or irregular
sampling. However, it does not prevent learning spurious feature dependencies
in the inferred dynamics, rendering them impractical for predictions under
interventions, or for inferring the true underlying dynamics. Instead, feature
sparsity can indeed help with recovering sparse ground-truth dynamics compared
to unregularized NODEs.
- Abstract(参考訳): ニューラル正規微分方程式(NODE)は、観測された軌跡を正確に回復するという点で力学系を学ぶことに成功している。
頑健性を改善するために異なるタイプのスパーシティが提案されているが、観測データを超えた動的システムのノードの一般化特性は過小評価されている。
重みと特徴空間が予測に及ぼす影響を系統的に研究し,基礎となる動的法則を同定する。
既存の方法の評価に加えて,「入出力接続」をスパースし,トレーニング中に関連する特徴を抽出するための正規化手法を提案する。
さらに,人間のモーションキャプチャとヒト造血単細胞rna-seqデータからなる実世界のデータセットをキュレートし,予測とダイナミクス同定においてそれぞれ異なるout-of-distribution(ood)一般化レベルを現実的に解析する。
これらの試行的な評価から,重み空間が騒音や不規則なサンプリングの存在下での一般化を改善することが示唆された。
しかし、推論されたダイナミクスにおけるスプリアスな機能依存性の学習を妨げず、介入の下での予測や、真の基盤となるダイナミクスの推論には実用的でない。
代わりに、機能の疎さは、非正規化されたNODEと比較してスパース基底構造を回復するのに役立ちます。
関連論文リスト
- Learning Continuous Network Emerging Dynamics from Scarce Observations
via Data-Adaptive Stochastic Processes [11.494631894700253]
我々は、データ適応型ネットワークダイナミクスによって制御される新しいプロセスのクラスであるODE Processs for Network Dynamics (NDP4ND)を紹介する。
提案手法はデータと計算効率に優れており,未確認のネットワークに適応できることを示す。
論文 参考訳(メタデータ) (2023-10-25T08:44:05Z) - Debias the Training of Diffusion Models [53.49637348771626]
本研究では,拡散モデルにおいて一定の損失重み戦略を用いることで,トレーニング期間中に偏りが生じるという理論的証拠を提供する。
理論的に偏りのない原理に基づくエレガントで効果的な重み付け戦略を提案する。
これらの分析は、拡散モデルの内部動作の理解とデミステレーションを促進することが期待されている。
論文 参考訳(メタデータ) (2023-10-12T16:04:41Z) - Interpretable statistical representations of neural population dynamics and geometry [4.459704414303749]
我々は、非線形力学のデータ駆動表現のための、完全に教師なしの幾何学的深層学習フレームワークMARBLEを紹介する。
我々は,MARBLEがグローバルなシステム変数の観点から高い解釈が可能な潜在表現を推論可能であることを示す。
また、MARBLE表現はニューラルネットワークや動物間で一貫性があることを示し、認知計算の比較や普遍デコーダの訓練に使用することができる。
論文 参考訳(メタデータ) (2023-04-06T21:11:04Z) - Boosting Differentiable Causal Discovery via Adaptive Sample Reweighting [62.23057729112182]
異なるスコアに基づく因果探索法は観測データから有向非巡回グラフを学習する。
本稿では,Reweighted Score関数ReScoreの適応重みを動的に学習することにより因果発見性能を向上させるためのモデルに依存しないフレームワークを提案する。
論文 参考訳(メタデータ) (2023-03-06T14:49:59Z) - Learning Fine Scale Dynamics from Coarse Observations via Inner
Recurrence [0.0]
最近の研究は、ディープニューラルネットワーク(DNN)による未知のシステムの進化に関するデータ駆動学習に焦点を当てている。
本稿では,このような粗い観測データから微細な力学を学習するための計算手法を提案する。
論文 参考訳(メタデータ) (2022-06-03T20:28:52Z) - Capturing Actionable Dynamics with Structured Latent Ordinary
Differential Equations [68.62843292346813]
本稿では,その潜在表現内でのシステム入力の変動をキャプチャする構造付き潜在ODEモデルを提案する。
静的変数仕様に基づいて,本モデルではシステムへの入力毎の変動要因を学習し,潜在空間におけるシステム入力の影響を分離する。
論文 参考訳(メタデータ) (2022-02-25T20:00:56Z) - Continuous Forecasting via Neural Eigen Decomposition of Stochastic
Dynamics [47.82509795873254]
本稿では,スパース観測と適応力学を用いた逐次予測のためのニューラル固有SDEアルゴリズムを提案する。
NESDEは、スパース観測による効率的な頻繁な予測を可能にするために、力学モデルに固有分解を適用する。
我々は,MIMIC-IVデータセットにおけるヘパリン投与後の血液凝固の患者適応予測を初めて行った。
論文 参考訳(メタデータ) (2022-01-31T22:16:50Z) - Noisy Recurrent Neural Networks [45.94390701863504]
入力データによって駆動される微分方程式の離散化として,隠れ状態に雑音を注入することによって訓練されたリカレントニューラルネットワーク(RNN)について検討する。
合理的な仮定の下では、この暗黙の正則化はより平坦なミニマムを促進し、より安定な力学を持つモデルに偏りを呈し、分類タスクではより大きな分類マージンを持つモデルを好む。
本理論は, 各種入力摂動に対するロバスト性の向上と, 最先端性能の維持を両立させる実証実験により支持された。
論文 参考訳(メタデータ) (2021-02-09T15:20:50Z) - Gradient Starvation: A Learning Proclivity in Neural Networks [97.02382916372594]
グラディエント・スターベーションは、タスクに関連する機能のサブセットのみをキャプチャすることで、クロスエントロピー損失を最小化するときに発生する。
この研究は、ニューラルネットワークにおけるそのような特徴不均衡の出現に関する理論的説明を提供する。
論文 参考訳(メタデータ) (2020-11-18T18:52:08Z) - Multiplicative noise and heavy tails in stochastic optimization [62.993432503309485]
経験的最適化は現代の機械学習の中心であるが、その成功における役割はまだ不明である。
分散による離散乗法雑音のパラメータによく現れることを示す。
最新のステップサイズやデータを含む重要な要素について、詳細な分析を行い、いずれも最先端のニューラルネットワークモデルで同様の結果を示す。
論文 参考訳(メタデータ) (2020-06-11T09:58:01Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。