論文の概要: Sparsity in Continuous-Depth Neural Networks

• arxiv url: http://arxiv.org/abs/2210.14672v1
• Date: Wed, 26 Oct 2022 12:48:12 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-27 15:27:17.477601
• Title: Sparsity in Continuous-Depth Neural Networks
• Title（参考訳）: 連続深層ニューラルネットワークにおけるスパーシティ
• Authors: Hananeh Aliee, Till Richter, Mikhail Solonin, Ignacio Ibarra, Fabian Theis, Niki Kilbertus
• Abstract要約: 重みと特徴空間が予測および基礎となる動的法則の同定に与える影響について検討する。 ヒトのモーションキャプチャーとヒト造血幹細胞RNA-seqデータからなる実世界のデータセットをキュレートする。
• 参考スコア（独自算出の注目度）: 2.969794498016257
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Neural Ordinary Differential Equations (NODEs) have proven successful in learning dynamical systems in terms of accurately recovering the observed trajectories. While different types of sparsity have been proposed to improve robustness, the generalization properties of NODEs for dynamical systems beyond the observed data are underexplored. We systematically study the influence of weight and feature sparsity on forecasting as well as on identifying the underlying dynamical laws. Besides assessing existing methods, we propose a regularization technique to sparsify "input-output connections" and extract relevant features during training. Moreover, we curate real-world datasets consisting of human motion capture and human hematopoiesis single-cell RNA-seq data to realistically analyze different levels of out-of-distribution (OOD) generalization in forecasting and dynamics identification respectively. Our extensive empirical evaluation on these challenging benchmarks suggests that weight sparsity improves generalization in the presence of noise or irregular sampling. However, it does not prevent learning spurious feature dependencies in the inferred dynamics, rendering them impractical for predictions under interventions, or for inferring the true underlying dynamics. Instead, feature sparsity can indeed help with recovering sparse ground-truth dynamics compared to unregularized NODEs.
• Abstract（参考訳）: ニューラル正規微分方程式(NODE)は、観測された軌跡を正確に回復するという点で力学系を学ぶことに成功している。 頑健性を改善するために異なるタイプのスパーシティが提案されているが、観測データを超えた動的システムのノードの一般化特性は過小評価されている。 重みと特徴空間が予測に及ぼす影響を系統的に研究し,基礎となる動的法則を同定する。 既存の方法の評価に加えて,「入出力接続」をスパースし,トレーニング中に関連する特徴を抽出するための正規化手法を提案する。 さらに,人間のモーションキャプチャとヒト造血単細胞rna-seqデータからなる実世界のデータセットをキュレートし,予測とダイナミクス同定においてそれぞれ異なるout-of-distribution(ood)一般化レベルを現実的に解析する。 これらの試行的な評価から,重み空間が騒音や不規則なサンプリングの存在下での一般化を改善することが示唆された。 しかし、推論されたダイナミクスにおけるスプリアスな機能依存性の学習を妨げず、介入の下での予測や、真の基盤となるダイナミクスの推論には実用的でない。 代わりに、機能の疎さは、非正規化されたNODEと比較してスパース基底構造を回復するのに役立ちます。

関連論文リスト

• Reinforcement Learning under Latent Dynamics: Toward Statistical and Algorithmic Modularity [51.40558987254471]
  強化学習の現実的な応用は、エージェントが複雑な高次元の観察を行う環境を含むことが多い。 本稿では,統計的・アルゴリズム的な観点から,textit General$ latent dynamicsの下での強化学習の課題に対処する。
  論文  参考訳（メタデータ） (2024-10-23T14:22:49Z)
• Learning Continuous Network Emerging Dynamics from Scarce Observations via Data-Adaptive Stochastic Processes [11.494631894700253]
  我々は、データ適応型ネットワークダイナミクスによって制御される新しいプロセスのクラスであるODE Processs for Network Dynamics (NDP4ND)を紹介する。 提案手法はデータと計算効率に優れており,未確認のネットワークに適応できることを示す。
  論文  参考訳（メタデータ） (2023-10-25T08:44:05Z)
• Boosting Differentiable Causal Discovery via Adaptive Sample Reweighting [62.23057729112182]
  異なるスコアに基づく因果探索法は観測データから有向非巡回グラフを学習する。 本稿では,Reweighted Score関数ReScoreの適応重みを動的に学習することにより因果発見性能を向上させるためのモデルに依存しないフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-03-06T14:49:59Z)
• Learning Fine Scale Dynamics from Coarse Observations via Inner Recurrence [0.0]
  最近の研究は、ディープニューラルネットワーク(DNN)による未知のシステムの進化に関するデータ駆動学習に焦点を当てている。 本稿では,このような粗い観測データから微細な力学を学習するための計算手法を提案する。
  論文  参考訳（メタデータ） (2022-06-03T20:28:52Z)
• Capturing Actionable Dynamics with Structured Latent Ordinary Differential Equations [68.62843292346813]
  本稿では,その潜在表現内でのシステム入力の変動をキャプチャする構造付き潜在ODEモデルを提案する。 静的変数仕様に基づいて,本モデルではシステムへの入力毎の変動要因を学習し,潜在空間におけるシステム入力の影響を分離する。
  論文  参考訳（メタデータ） (2022-02-25T20:00:56Z)
• Continuous Forecasting via Neural Eigen Decomposition of Stochastic Dynamics [47.82509795873254]
  本稿では,スパース観測と適応力学を用いた逐次予測のためのニューラル固有SDEアルゴリズムを提案する。 NESDEは、スパース観測による効率的な頻繁な予測を可能にするために、力学モデルに固有分解を適用する。 我々は,MIMIC-IVデータセットにおけるヘパリン投与後の血液凝固の患者適応予測を初めて行った。
  論文  参考訳（メタデータ） (2022-01-31T22:16:50Z)
• Noisy Recurrent Neural Networks [45.94390701863504]
  入力データによって駆動される微分方程式の離散化として,隠れ状態に雑音を注入することによって訓練されたリカレントニューラルネットワーク(RNN)について検討する。 合理的な仮定の下では、この暗黙の正則化はより平坦なミニマムを促進し、より安定な力学を持つモデルに偏りを呈し、分類タスクではより大きな分類マージンを持つモデルを好む。 本理論は, 各種入力摂動に対するロバスト性の向上と, 最先端性能の維持を両立させる実証実験により支持された。
  論文  参考訳（メタデータ） (2021-02-09T15:20:50Z)
• Gradient Starvation: A Learning Proclivity in Neural Networks [97.02382916372594]
  グラディエント・スターベーションは、タスクに関連する機能のサブセットのみをキャプチャすることで、クロスエントロピー損失を最小化するときに発生する。 この研究は、ニューラルネットワークにおけるそのような特徴不均衡の出現に関する理論的説明を提供する。
  論文  参考訳（メタデータ） (2020-11-18T18:52:08Z)
• Multiplicative noise and heavy tails in stochastic optimization [62.993432503309485]
  経験的最適化は現代の機械学習の中心であるが、その成功における役割はまだ不明である。 分散による離散乗法雑音のパラメータによく現れることを示す。 最新のステップサイズやデータを含む重要な要素について、詳細な分析を行い、いずれも最先端のニューラルネットワークモデルで同様の結果を示す。
  論文  参考訳（メタデータ） (2020-06-11T09:58:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。