論文の概要: Counterfactual Outcome Prediction using Structured State Space Model

• arxiv url: http://arxiv.org/abs/2305.09207v1
• Date: Tue, 16 May 2023 06:32:43 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-17 16:04:09.010032
• Title: Counterfactual Outcome Prediction using Structured State Space Model
• Title（参考訳）: 構造化状態空間モデルによる実測結果予測
• Authors: Vishal Purohit
• Abstract要約: 処理効果ニューラル制御微分方程式(TE-CDE)と構造化状態空間モデル(S4Model)の2つのモデルの性能を比較した。 S4Modelは、長距離依存のモデリングがより効率的で、トレーニングも簡単です。 この結果から, 状態空間モデルが長手データにおける実測結果予測に有望なアプローチである可能性が示唆された。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Counterfactual outcome prediction in longitudinal data has recently gained attention due to its potential applications in healthcare and social sciences. In this paper, we explore the use of the state space model, a popular sequence model, for this task. Specifically, we compare the performance of two models: Treatment Effect Neural Controlled Differential Equation (TE-CDE) and structured state space model (S4Model). While TE-CDE uses controlled differential equations to address time-dependent confounding, it suffers from optimization issues and slow training. In contrast, S4Model is more efficient at modeling long-range dependencies and easier to train. We evaluate the models on a simulated lung tumor growth dataset and find that S4Model outperforms TE-CDE with 1.63x reduction in per epoch training time and 10x better normalized mean squared error. Additionally, S4Model is more stable during training and less sensitive to weight initialization than TE-CDE. Our results suggest that the state space model may be a promising approach for counterfactual outcome prediction in longitudinal data, with S4Model offering a more efficient and effective alternative to TE-CDE.
• Abstract（参考訳）: 縦断データにおける反事実的結果予測は、医療と社会科学の潜在的な応用によって最近注目を集めている。 本稿では,この課題に対して,一般的なシーケンスモデルである状態空間モデルの利用について検討する。 具体的には,処理効果ニューラル制御微分方程式 (te-cde) と構造化状態空間モデル (s4model) の2つのモデルの性能を比較した。 TE-CDEは時間依存共起に対処するために制御された微分方程式を用いるが、最適化問題や遅い訓練に悩まされている。 対照的に、S4Modelは長距離依存のモデリングがより効率的で、訓練も簡単です。 模擬肺腫瘍成長データセットを用いて,S4ModelがTE-CDEより1.63倍,平均2乗誤差が10倍向上し,TE-CDEより優れた結果が得られた。 さらに、S4Modelはトレーニング中に安定しており、TE-CDEよりも重量初期化に敏感ではない。 この結果から,S4ModelはTE-CDEのより効率的かつ効果的な代替手段である可能性が示唆された。

関連論文リスト

• Trajectory Flow Matching with Applications to Clinical Time Series Modeling [77.58277281319253]
  Trajectory Flow Matching (TFM) は、シミュレーションのない方法でニューラルSDEを訓練し、ダイナミックスを通してバックプロパゲーションをバイパスする。 絶対的性能と不確実性予測の観点から,3つの臨床時系列データセットの性能向上を実証した。
  論文  参考訳（メタデータ） (2024-10-28T15:54:50Z)
• On conditional diffusion models for PDE simulations [53.01911265639582]
  スパース観測の予測と同化のためのスコアベース拡散モデルについて検討した。 本稿では,予測性能を大幅に向上させる自動回帰サンプリング手法を提案する。 また,条件付きスコアベースモデルに対する新たなトレーニング戦略を提案する。
  論文  参考訳（メタデータ） (2024-10-21T18:31:04Z)
• DPOT: Auto-Regressive Denoising Operator Transformer for Large-Scale PDE Pre-Training [87.90342423839876]
  我々は,PDEデータに対するより安定的で効率的な事前学習を可能にする,自己回帰型事前学習戦略を提案する。 我々は,100k以上の軌道を持つ10以上のPDEデータセットに対して,最大0.5BパラメータでPDEファンデーションモデルをトレーニングする。
  論文  参考訳（メタデータ） (2024-03-06T08:38:34Z)
• Model Compression Method for S4 with Diagonal State Space Layers using Balanced Truncation [0.0]
  本稿では, モデル圧縮手法として, 事前学習したS4モデルのDSS層に適用した, 制御理論における一般的なモデル縮小手法であるバランストランケーションを提案する。 数値実験により,従来のSkiw-HiPPOを用いたモデルよりも,トレーニングモデルとバランスの取れたトランケーションが優れていることが示された。
  論文  参考訳（メタデータ） (2024-02-25T05:22:45Z)
• Learning Space-Time Continuous Neural PDEs from Partially Observed States [13.01244901400942]
  格子独立モデル学習偏微分方程式(PDE)を雑音および不規則格子上の部分的な観測から導入する。 本稿では、効率的な確率的フレームワークとデータ効率とグリッド独立性を改善するための新しい設計エンコーダを備えた時空間連続型ニューラルネットワークPDEモデルを提案する。
  論文  参考訳（メタデータ） (2023-07-09T06:53:59Z)
• Delay-SDE-net: A deep learning approach for time series modelling with memory and uncertainty estimates [0.0]
  本稿では遅延微分方程式(SDDE)に基づくニューラルネットワークモデルであるDelay-SDE-netを提案する。 複数の遅延を持つSDDEをモデリングとして使用することで、メモリ効果のある時系列のモデルに適している。 Delay-SDE-netの理論誤差を導出し,収束率を数値的に解析する。
  論文  参考訳（メタデータ） (2023-03-14T14:31:38Z)
• Deep Latent State Space Models for Time-Series Generation [68.45746489575032]
  状態空間ODEに従って進化する潜伏変数を持つ列の生成モデルLS4を提案する。 近年の深層状態空間モデル(S4)に着想を得て,LS4の畳み込み表現を利用して高速化を実現する。 LS4は, 実世界のデータセット上での限界分布, 分類, 予測スコアにおいて, 従来の連続時間生成モデルよりも有意に優れていた。
  論文  参考訳（メタデータ） (2022-12-24T15:17:42Z)
• STAR: Sparse Transformer-based Action Recognition [61.490243467748314]
  本研究は,空間的次元と時間的次元に細かな注意を払っている新しいスケルトンに基づく人間行動認識モデルを提案する。 実験により、トレーニング可能なパラメータをはるかに少なくし、トレーニングや推論の高速化を図りながら、モデルが同等のパフォーマンスを達成できることが示されている。
  論文  参考訳（メタデータ） (2021-07-15T02:53:11Z)
• Closed-form Continuous-Depth Models [99.40335716948101]
  連続深度ニューラルモデルは高度な数値微分方程式解法に依存している。 我々は,CfCネットワークと呼ばれる,記述が簡単で,少なくとも1桁高速な新しいモデル群を提示する。
  論文  参考訳（メタデータ） (2021-06-25T22:08:51Z)
• GraphTCN: Spatio-Temporal Interaction Modeling for Human Trajectory Prediction [5.346782918364054]
  我々は,より効率的かつ正確な軌道予測を支援するために,新しいCNNベースの時空間グラフフレームワークGraphCNTを提案する。 従来のモデルとは対照的に,我々のモデルにおける空間的・時間的モデリングは各局所時間ウィンドウ内で計算される。 本モデルは,様々な軌道予測ベンチマークデータセットの最先端モデルと比較して,効率と精度の両面で優れた性能を実現する。
  論文  参考訳（メタデータ） (2020-03-16T12:56:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。