論文の概要: NAS-X: Neural Adaptive Smoothing via Twisting

• arxiv url: http://arxiv.org/abs/2308.14864v2
• Date: Mon, 30 Oct 2023 06:32:08 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-01 22:50:02.751611
• Title: NAS-X: Neural Adaptive Smoothing via Twisting
• Title（参考訳）: NAS-X: ツイストによるニューラル適応平滑化
• Authors: Dieterich Lawson, Michael Li, Scott Linderman
• Abstract要約: 本稿では,スムーシング・シーケンシャルモンテカルロ (SMC) を用いて, 逐次設定に再重み付けしたウェイクスリープ (RWS) を拡張する手法であるツイスト法 (NAS-X) を導入する。 実験の結果,NAS-X は従来の VI- および RWS に基づく推論とモデル学習において,より低いパラメータ誤差とより厳密な近距離境界を実現していることがわかった。
• 参考スコア（独自算出の注目度）: 4.089943578614207
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Sequential latent variable models (SLVMs) are essential tools in statistics and machine learning, with applications ranging from healthcare to neuroscience. As their flexibility increases, analytic inference and model learning can become challenging, necessitating approximate methods. Here we introduce neural adaptive smoothing via twisting (NAS-X), a method that extends reweighted wake-sleep (RWS) to the sequential setting by using smoothing sequential Monte Carlo (SMC) to estimate intractable posterior expectations. Combining RWS and smoothing SMC allows NAS-X to provide low-bias and low-variance gradient estimates, and fit both discrete and continuous latent variable models. We illustrate the theoretical advantages of NAS-X over previous methods and explore these advantages empirically in a variety of tasks, including a challenging application to mechanistic models of neuronal dynamics. These experiments show that NAS-X substantially outperforms previous VI- and RWS-based methods in inference and model learning, achieving lower parameter error and tighter likelihood bounds.
• Abstract（参考訳）: 逐次潜在変数モデル(SLVM)は統計学や機械学習において必須のツールであり、医療から神経科学まで幅広い応用がある。 柔軟性が増すにつれて、解析的推論とモデル学習は難しくなり、近似メソッドが必要となる。 本稿では,smc(s smoothing sequential monte carlo)を用いて再重み付けウェイクスリープ(reweighted wake-sleep, rws)を逐次設定に拡張したニューラルアダプティブスライディング(nas-x)を提案する。 RWS と滑らかな SMC を組み合わせることで、NAS-X は低バイアスおよび低分散勾配推定を提供し、離散変数モデルと連続変数モデルの両方に適合する。 従来の手法よりもNAS-Xの理論的利点を説明し、神経力学の力学モデルへの挑戦を含む様々なタスクにおいてこれらの利点を実証的に探求する。 これらの実験により,NAS-X は従来の VI- および RWS に基づく推論とモデル学習の手法を著しく上回り,より低いパラメータ誤差とより厳密な近距離境界を達成した。

関連論文リスト

• Recursive Learning of Asymptotic Variational Objectives [49.69399307452126]
  一般状態空間モデル(英: General State-space Model, SSM)は、統計機械学習において広く用いられ、時系列データに対して最も古典的な生成モデルの一つである。 オンラインシーケンシャルIWAE(OSIWAE)は、潜在状態の推測のためのモデルパラメータとマルコフ認識モデルの両方のオンライン学習を可能にする。 このアプローチは、最近提案されたオンライン変分SMC法よりも理論的によく確立されている。
  論文  参考訳（メタデータ） (2024-11-04T16:12:37Z)
• Trajectory Flow Matching with Applications to Clinical Time Series Modeling [77.58277281319253]
  Trajectory Flow Matching (TFM) は、シミュレーションのない方法でニューラルSDEを訓練し、ダイナミックスを通してバックプロパゲーションをバイパスする。 絶対的性能と不確実性予測の観点から,3つの臨床時系列データセットの性能向上を実証した。
  論文  参考訳（メタデータ） (2024-10-28T15:54:50Z)
• Fuzzy Recurrent Stochastic Configuration Networks for Industrial Data Analytics [3.8719670789415925]
  本稿では,ファジィリカレント構成ネットワーク(F-RSCN)と呼ばれる新しいニューロファジィモデルを提案する。 提案したF-RSCNは,複数の貯留層によって構成され,各貯留層は高木・スゲノ・カン(TSK)ファジィ則に関連付けられている。 TSKファジィ推論システムをRCCNに統合することにより、F-RSCNは強力なファジィ推論能力を有し、学習と一般化の両面での音響性能を実現することができる。
  論文  参考訳（メタデータ） (2024-07-06T01:40:31Z)
• How Inverse Conditional Flows Can Serve as a Substitute for Distributional Regression [2.9873759776815527]
  逆流変換(DRIFT)を用いた分布回帰の枠組みを提案する。 DRIFTは解釈可能な統計モデルと柔軟なニューラルネットワークの両方をカバーする。
  論文  参考訳（メタデータ） (2024-05-08T21:19:18Z)
• Diffusion-Based Neural Network Weights Generation [80.89706112736353]
  D2NWGは拡散に基づくニューラルネットワーク重み生成技術であり、転送学習のために高性能な重みを効率よく生成する。 本稿では,ニューラルネットワーク重み生成のための遅延拡散パラダイムを再放送するために,生成的ハイパー表現学習を拡張した。 我々のアプローチは大規模言語モデル(LLM)のような大規模アーキテクチャにスケーラブルであり、現在のパラメータ生成技術の限界を克服しています。
  論文  参考訳（メタデータ） (2024-02-28T08:34:23Z)
• Neural Frailty Machine: Beyond proportional hazard assumption in neural survival regressions [30.018173329118184]
  生存回帰のための強力なフレキシブルなニューラル・モデリング・フレームワークであるニューラル・フラリティ・マシン(NFM)を提案する。 2つの具体的なモデルは、ニューラル比例ハザードモデルと非ハザード回帰モデルを拡張する枠組みに基づいて導出される。 我々は,異なるスケールのベンチマークデータセットを6ドル以上で評価し,提案したNAMモデルは予測性能において最先端サバイバルモデルより優れていることを示す。
  論文  参考訳（メタデータ） (2023-03-18T08:15:15Z)
• Learning Stochastic Dynamics with Statistics-Informed Neural Network [0.4297070083645049]
  データからダイナミクスを学習するための、統計情報ニューラルネットワーク(SINN)という機械学習フレームワークを導入する。 本研究では,ニューラルネットワークモデルの学習機構を考案し,対象プロセスの正しい統計的挙動を再現する。 得られた低次モデルが時間的に粗い粒度データに基づいて訓練可能であることを示す。
  論文  参考訳（メタデータ） (2022-02-24T18:21:01Z)
• EINNs: Epidemiologically-Informed Neural Networks [75.34199997857341]
  本稿では,疫病予測のための新しい物理インフォームドニューラルネットワークEINNを紹介する。 メカニスティックモデルによって提供される理論的柔軟性と、AIモデルによって提供されるデータ駆動表現性の両方を活用する方法について検討する。
  論文  参考訳（メタデータ） (2022-02-21T18:59:03Z)
• Gone Fishing: Neural Active Learning with Fisher Embeddings [55.08537975896764]
  ディープニューラルネットワークと互換性のあるアクティブな学習アルゴリズムの必要性が高まっている。 本稿では,ニューラルネットワークのための抽出可能かつ高性能な能動学習アルゴリズムBAITを紹介する。
  論文  参考訳（メタデータ） (2021-06-17T17:26:31Z)
• Stochasticity in Neural ODEs: An Empirical Study [68.8204255655161]
  ニューラルネットワークの正規化(ドロップアウトなど)は、より高度な一般化を可能にするディープラーニングの広範な技術である。 トレーニング中のデータ拡張は、同じモデルの決定論的およびバージョンの両方のパフォーマンスを向上させることを示す。 しかし、データ拡張によって得られる改善により、経験的正規化の利得は完全に排除され、ニューラルODEとニューラルSDEの性能は無視される。
  論文  参考訳（メタデータ） (2020-02-22T22:12:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。