論文の概要: Alternators For Sequence Modeling

• arxiv url: http://arxiv.org/abs/2405.11848v1
• Date: Mon, 20 May 2024 07:47:06 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-21 13:53:58.474538
• Title: Alternators For Sequence Modeling
• Title（参考訳）: シーケンスモデリングのためのオルタネータ
• Authors: Mohammad Reza Rezaei, Adji Bousso Dieng,
• Abstract要約: 交代子(英: alternator)は、列の非マルコフ力学モデルの新しい族である。 交替器は、観測軌跡ネットワーク(OTN)と特徴軌跡ネットワーク(FTN)の2つのニューラルネットワークを備える。
• 参考スコア（独自算出の注目度）: 2.992602379681373
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This paper introduces alternators, a novel family of non-Markovian dynamical models for sequences. An alternator features two neural networks: the observation trajectory network (OTN) and the feature trajectory network (FTN). The OTN and the FTN work in conjunction, alternating between outputting samples in the observation space and some feature space, respectively, over a cycle. The parameters of the OTN and the FTN are not time-dependent and are learned via a minimum cross-entropy criterion over the trajectories. Alternators are versatile. They can be used as dynamical latent-variable generative models or as sequence-to-sequence predictors. When alternators are used as generative models, the FTN produces interpretable low-dimensional latent variables that capture the dynamics governing the observations. When alternators are used as sequence-to-sequence predictors, the FTN learns to predict the observed features. In both cases, the OTN learns to produce sequences that match the data. Alternators can uncover the latent dynamics underlying complex sequential data, accurately forecast and impute missing data, and sample new trajectories. We showcase the capabilities of alternators in three applications. We first used alternators to model the Lorenz equations, often used to describe chaotic behavior. We then applied alternators to Neuroscience, to map brain activity to physical activity. Finally, we applied alternators to Climate Science, focusing on sea-surface temperature forecasting. In all our experiments, we found alternators are stable to train, fast to sample from, yield high-quality generated samples and latent variables, and outperform strong baselines such as neural ODEs and diffusion models in the domains we studied.
• Abstract（参考訳）: 本稿では、列に対する非マルコフ力学モデルの新しいファミリである交代子について紹介する。 交替器は、観測軌跡ネットワーク(OTN)と特徴軌跡ネットワーク(FTN)の2つのニューラルネットワークを備える。 OTNとFTNは共同で働き、観測空間にサンプルを出力するのと、周期的にいくつかの特徴空間を出力するのとを交互に交互に行う。 OTNとFTNのパラメータは時間依存ではなく、軌道上の最小エントロピー基準によって学習される。 オルタネーターは万能である。 動的潜在変数生成モデルやシーケンス・ツー・シーケンス予測モデルとして使用できる。 振動子を生成モデルとして使用すると、FTNは解釈可能な低次元潜伏変数を生成し、観測を司るダイナミクスを捉える。 変換器をシーケンス・ツー・シーケンス予測器として使用すると、FTNは観測された特徴を予測することを学習する。 いずれの場合も、OTNはデータにマッチするシーケンスを生成することを学ぶ。 オルタネータは、複雑なシーケンシャルなデータに基づく潜伏するダイナミクスを明らかにし、行方不明なデータを正確に予測し、インプットし、新しいトラジェクトリをサンプリングすることができる。 3つのアプリケーションで交換器の能力を示す。 私たちは最初に、カオス的な振る舞いを記述するためにしばしば使用されるローレンツ方程式をモデル化するために、交代子を使用した。 次に、脳活動を身体活動にマッピングするために、交互に神経科学に適用した。 最後に, 海面温度予測に焦点をあてて, 気候科学に改質器を適用した。 全ての実験において、置換体は訓練が安定であり、サンプリングが早く、高品質な生成サンプルと潜伏変数が得られ、研究領域におけるニューラルなODEや拡散モデルなどの強力なベースラインよりも優れていた。

関連論文リスト

• Delay Embedding Theory of Neural Sequence Models [6.294884163829946]
  力学系における遅延埋め込みの理論は、観測されていない変数は少数の観測された変数の履歴から復元できることを証明している。 シーケンスモデルの容量を測定し、観測されていないダイナミクスを再構築する。
  論文  参考訳（メタデータ） (2024-06-17T18:07:16Z)
• Synthetic location trajectory generation using categorical diffusion models [50.809683239937584]
  拡散モデル(DPM)は急速に進化し、合成データのシミュレーションにおける主要な生成モデルの一つとなっている。 本稿では,個人が訪れた物理的位置を表す変数列である合成個別位置軌跡(ILT)の生成にDPMを用いることを提案する。
  論文  参考訳（メタデータ） (2024-02-19T15:57:39Z)
• Equivariant Graph Neural Operator for Modeling 3D Dynamics [148.98826858078556]
  我々は,次のステップの予測ではなく,ダイナミックスを直接トラジェクトリとしてモデル化するために,Equivariant Graph Neural Operator (EGNO)を提案する。 EGNOは3次元力学の時間的進化を明示的に学習し、時間とともに関数として力学を定式化し、それを近似するためにニューラル演算子を学習する。 粒子シミュレーション、人間のモーションキャプチャー、分子動力学を含む複数の領域における総合的な実験は、既存の手法と比較して、EGNOの極めて優れた性能を示す。
  論文  参考訳（メタデータ） (2024-01-19T21:50:32Z)
• Improving Out-of-Distribution Robustness of Classifiers via Generative Interpolation [56.620403243640396]
  ディープニューラルネットワークは、独立かつ同一に分散されたデータ(すなわち、d)から学習する上で、優れたパフォーマンスを達成する。 しかし、アウト・オブ・ディストリビューション(OoD)データを扱う場合、その性能は著しく低下する。 多様なOoDサンプルを合成するために,複数のドメインから学習した生成モデルを融合するための生成補間法(Generative Interpolation)を開発した。
  論文  参考訳（メタデータ） (2023-07-23T03:53:53Z)
• Effective Dynamics of Generative Adversarial Networks [16.51305515824504]
  GAN(Generative Adversarial Network)は、新しいサンプルを生成するために対人訓練を使用する機械学習モデルのクラスである。 モード崩壊と呼ばれるトレーニング失敗の1つの主要な形態は、ジェネレータがターゲット確率分布におけるモードの完全な多様性を再現できないことである。 本稿では,ジェネレータニューラルネットワークを出力空間内の粒子の集合に置き換えることで,学習ダイナミクスを捕捉するGANトレーニングの効果的なモデルを提案する。
  論文  参考訳（メタデータ） (2022-12-08T22:04:01Z)
• GTrans: Spatiotemporal Autoregressive Transformer with Graph Embeddings for Nowcasting Extreme Events [5.672898304129217]
  本稿では,データ特徴をグラフ埋め込みに変換し,テンポラルダイナミクスをトランスフォーマーモデルで予測する時間モデルGTransを提案する。 我々の実験によると、GTransは空間的および時間的ダイナミクスをモデル化し、データセットの極端なイベントを放送することができる。
  論文  参考訳（メタデータ） (2022-01-18T03:26:24Z)
• Conditional Neural Relational Inference for Interacting Systems [58.141087282927415]
  我々は、類似しているが異なる相互作用するオブジェクトのグループのダイナミクスをモデル化することを学ぶ。 ベクトル記述から任意の群から条件生成が可能なモデルを開発する。 我々は,ヒト歩行のモデル化と,特に病理的ヒト歩行のモデル化におけるモデルの評価を行った。
  論文  参考訳（メタデータ） (2021-06-21T13:05:48Z)
• A Predictive Coding Account for Chaotic Itinerancy [68.8204255655161]
  予測符号化を実装したリカレントニューラルネットワークが,入力雑音の存在下でカオス的反復性に類似したニューラルトラジェクトリを生成する方法を示す。 本モデルを用いて,無作為かつ非依存なトラジェクタスイッチングトラジェクトリを生成する2つのシナリオを提案する。
  論文  参考訳（メタデータ） (2021-06-16T16:48:14Z)
• Neuromorphic adaptive spiking CPG towards bio-inspired locomotion of legged robots [58.720142291102135]
  スパイクセントラルパターンジェネレーターは、外部刺激によって駆動される異なる移動パターンを生成します。 終端ロボットプラットフォーム(あらゆる脚ロボット)の移動は、任意のセンサーを入力として地形に適応することができる。
  論文  参考訳（メタデータ） (2021-01-24T12:44:38Z)
• Variational inference formulation for a model-free simulation of a dynamical system with unknown parameters by a recurrent neural network [8.616180927172548]
  本研究では,事前知識のない未知パラメータを持つ力学系の「モデルフリー」シミュレーションを提案する。 ディープラーニングモデルは,非線形時間行進演算子と未知パラメータの影響を時系列データセットから共同学習することを目的としている。 提案したディープラーニングモデルは,乱数パラメータの次元を正確に同定し,複雑な時系列データの表現を学習することができる。
  論文  参考訳（メタデータ） (2020-03-02T20:57:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。