論文の概要: The $α$-Alternator: Dynamic Adaptation To Varying Noise Levels In Sequences Using The Vendi Score For Improved Robustness and Performance

• arxiv url: http://arxiv.org/abs/2502.04593v1
• Date: Fri, 07 Feb 2025 01:00:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-10 14:59:17.108271
• Title: The $α$-Alternator: Dynamic Adaptation To Varying Noise Levels In Sequences Using The Vendi Score For Improved Robustness and Performance
• Title（参考訳）: α$-Alternator:ロバストさと性能向上のためのVendiスコアを用いた周波数変動ノイズレベルの動的適応
• Authors: Mohammad Reza Rezaei, Adji Bousso Dieng,
• Abstract要約: マンバのような現在の最先端の動的モデルは、与えられたシーケンスのすべての要素に対して同じノイズのレベルを仮定し、ノイズのある時間データに対するパフォーマンスを制限している。 本稿では,時間依存データに対する新たな生成モデルである$alpha-Alternatorを紹介する。
• 参考スコア（独自算出の注目度）: 2.992602379681373
• License:
• Abstract: Current state-of-the-art dynamical models, such as Mamba, assume the same level of noisiness for all elements of a given sequence, which limits their performance on noisy temporal data. In this paper, we introduce the $\alpha$-Alternator, a novel generative model for time-dependent data that dynamically adapts to the complexity introduced by varying noise levels in sequences. The $\alpha$-Alternator leverages the Vendi Score (VS), a flexible similarity-based diversity metric, to adjust, at each time step $t$, the influence of the sequence element at time $t$ and the latent representation of the dynamics up to that time step on the predicted future dynamics. This influence is captured by a parameter that is learned and shared across all sequences in a given dataset. The sign of this parameter determines the direction of influence. A negative value indicates a noisy dataset, where a sequence element that increases the VS is considered noisy, and the model relies more on the latent history when processing that element. Conversely, when the parameter is positive, a sequence element that increases the VS is considered informative, and the $\alpha$-Alternator relies more on this new input than on the latent history when updating its predicted latent dynamics. The $\alpha$-Alternator is trained using a combination of observation masking and Alternator loss minimization. Masking simulates varying noise levels in sequences, enabling the model to be more robust to these fluctuations and improving its performance in trajectory prediction, imputation, and forecasting. Our experimental results demonstrate that the $\alpha$-Alternator outperforms both Alternators and state-of-the-art state-space models across neural decoding and time-series forecasting benchmarks.
• Abstract（参考訳）: マンバのような現在の最先端の動的モデルは、与えられたシーケンスのすべての要素に対して同じノイズのレベルを仮定し、ノイズのある時間データに対するそれらのパフォーマンスを制限する。 本稿では,時間依存データのための新しい生成モデルである$\alpha$-Alternatorを紹介する。 この$\alpha$-Alternatorは、フレキシブルな類似性に基づく多様性のメトリクスであるVendi Score(VS)を利用して、各時点のステップ$t$、時刻$t$におけるシーケンス要素の影響、そしてその時刻までのダイナミックスの潜在表現が予測される将来のダイナミクスに与える影響を調整する。 この影響は、与えられたデータセット内のすべてのシーケンスで学習され、共有されるパラメータによってキャプチャされる。 このパラメータの符号は影響の方向を決定する。 負の値は、VSを増大させるシーケンス要素がノイズと見なされるノイズの多いデータセットを示し、そのモデルは、その要素を処理する際の遅延履歴に依存する。 逆に、パラメータが正の場合、VSを増大させるシーケンス要素は情報的と見なされ、$\alpha$-Alternatorは予測された潜時ダイナミクスを更新する際の潜時履歴よりも、この新しい入力に依存する。 $\alpha$-Alternatorは、観察マスクとAlternator損失最小化の組み合わせでトレーニングされる。 マスキングは、シーケンス内の様々なノイズレベルをシミュレートし、モデルがこれらの変動に対してより堅牢になり、軌道予測、インプット、予測のパフォーマンスが向上する。 我々の実験結果によると、$\alpha$-Alternatorはニューラルネットワークと時系列予測ベンチマークでAlternatorとState-of-the-art状態空間モデルの両方を上回っている。

関連論文リスト

• TSLANet: Rethinking Transformers for Time Series Representation Learning [19.795353886621715]
  時系列データは、その固有の長短の依存関係によって特徴づけられる。 本稿では,時系列タスクの普遍的畳み込みモデルとして,新しい時系列軽量ネットワーク(TSLANet)を導入する。 我々の実験では、TSLANetは分類、予測、異常検出にまたがる様々なタスクにおいて最先端のモデルよりも優れていることを示した。
  論文  参考訳（メタデータ） (2024-04-12T13:41:29Z)
• A Poisson-Gamma Dynamic Factor Model with Time-Varying Transition Dynamics [51.147876395589925]
  非定常PGDSは、基礎となる遷移行列が時間とともに進化できるように提案されている。 後続シミュレーションを行うために, 完全共役かつ効率的なギブスサンプリング装置を開発した。 実験により,提案した非定常PGDSは,関連するモデルと比較して予測性能が向上することを示した。
  論文  参考訳（メタデータ） (2024-02-26T04:39:01Z)
• Motion Code: Robust Time Series Classification and Forecasting via Sparse Variational Multi-Stochastic Processes Learning [3.2857981869020327]
  本稿では,各時系列を連続的なプロセスの実現とみなす新しいフレームワークを提案する。 この数学的アプローチは、タイムスタンプ間の依存関係をキャプチャし、ノイズ内の隠れた時間変化信号を検出する。 現実のパーキンソン病センサートラッキングを含むノイズの多いデータセットの実験は、確立されたベンチマークに対するモーションコードの強力なパフォーマンスを実証している。
  論文  参考訳（メタデータ） (2024-02-21T19:10:08Z)
• TimeGraphs: Graph-based Temporal Reasoning [64.18083371645956]
  TimeGraphsは階層的時間グラフとして動的相互作用を特徴付ける新しいアプローチである。 提案手法は,コンパクトなグラフベース表現を用いて相互作用をモデル化し,多種多様な時間スケールでの適応推論を可能にする。 我々は,サッカーシミュレータ,抵抗ゲーム,MOMA人間活動データセットなど,複雑でダイナミックなエージェントインタラクションを持つ複数のデータセット上でTimeGraphsを評価する。
  論文  参考訳（メタデータ） (2024-01-06T06:26:49Z)
• Conditional Denoising Diffusion for Sequential Recommendation [62.127862728308045]
  GAN(Generative Adversarial Networks)とVAE(VAE)の2つの顕著な生成モデル GANは不安定な最適化に苦しむ一方、VAEは後続の崩壊と過度に平らな世代である。 本稿では,シーケンスエンコーダ,クロスアテンティブデノナイジングデコーダ,ステップワイズディフューザを含む条件付きデノナイジング拡散モデルを提案する。
  論文  参考訳（メタデータ） (2023-04-22T15:32:59Z)
• Treatment Learning Causal Transformer for Noisy Image Classification [62.639851972495094]
  本研究では,この2値情報「ノイズの存在」を画像分類タスクに組み込んで予測精度を向上させる。 因果的変動推定から動機付け,雑音画像分類のための頑健な特徴表現を潜在生成モデルを用いて推定するトランスフォーマーに基づくアーキテクチャを提案する。 また、パフォーマンスベンチマークのための幅広いノイズ要素を取り入れた、新しいノイズの多い画像データセットも作成する。
  論文  参考訳（メタデータ） (2022-03-29T13:07:53Z)
• Contrastive Self-supervised Sequential Recommendation with Robust Augmentation [101.25762166231904]
  Sequential Recommendation Describes a set of technique to model dynamic user behavior to order to predict future interaction in sequence user data。 データスパーシリティやノイズの多いデータなど、古くて新しい問題はまだ残っている。 逐次レコメンデーション(CoSeRec)のためのコントラスト型自己監督学習を提案する。
  論文  参考訳（メタデータ） (2021-08-14T07:15:25Z)
• Adversarial and Contrastive Variational Autoencoder for Sequential Recommendation [25.37244686572865]
  本稿では、逐次レコメンデーションのためのAdversarial and Contrastive Variational Autoencoder (ACVAE) と呼ばれる新しい手法を提案する。 まず,本モデルが高品質な潜在変数を生成することを可能にするadversarial variational bayesフレームワークの下で,シーケンス生成のためのadversarial trainingを導入する。 さらに、シーケンスをエンコードする場合、シーケンス内のグローバルおよびローカルの関係をキャプチャするために、繰り返しおよび畳み込み構造を適用します。
  論文  参考訳（メタデータ） (2021-03-19T09:01:14Z)
• Switching Variational Auto-Encoders for Noise-Agnostic Audio-visual Speech Enhancement [26.596930749375474]
  本稿では,異なるVAEアーキテクチャを時間的に切り換えるために,マルコフの依存関係を持つ潜在逐次変数を導入する。 モデルのパラメータを推定し、音声信号を強化するために、対応する変動予測-最大化アルゴリズムを導出する。
  論文  参考訳（メタデータ） (2021-02-08T11:45:02Z)
• Active Tuning [0.5801044612920815]
  ニューラルネットワーク(RNN)の内部ダイナミクスを高速に最適化するための新しいパラダイムであるActive Tuningを紹介する。 従来のシーケンス間マッピング方式とは対照的に、Active Tuningは入力ストリームからRNNのリカレントニューラルアクティビティを分離する。 いくつかの時系列予測ベンチマークにおいてアクティブチューニングの有効性を示す。
  論文  参考訳（メタデータ） (2020-10-02T20:21:58Z)
• Variational Hyper RNN for Sequence Modeling [69.0659591456772]
  本稿では,時系列データにおける高変数の取得に優れる新しい確率的シーケンスモデルを提案する。 提案手法では,時間潜時変数を用いて基礎となるデータパターンに関する情報をキャプチャする。 提案手法の有効性を,合成および実世界のシーケンシャルデータに示す。
  論文  参考訳（メタデータ） (2020-02-24T19:30:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。