論文の概要: Self-Supervised Learning of Time Series Representation via Diffusion Process and Imputation-Interpolation-Forecasting Mask

• arxiv url: http://arxiv.org/abs/2405.05959v2
• Date: Mon, 17 Jun 2024 08:54:51 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-19 04:38:09.402700
• Title: Self-Supervised Learning of Time Series Representation via Diffusion Process and Imputation-Interpolation-Forecasting Mask
• Title（参考訳）: 拡散過程とインプット補間予測マスクによる時系列表現の自己教師付き学習
• Authors: Zineb Senane, Lele Cao, Valentin Leonhard Buchner, Yusuke Tashiro, Lei You, Pawel Herman, Mats Nordahl, Ruibo Tu, Vilhelm von Ehrenheim,
• Abstract要約: Time Series Diffusion Embedding (TSDE)は、最初の拡散ベースのSSL TSRLアプローチである。 TSデータをImputation-Interpolation-Forecasting (IIF)マスクを使用して観察およびマスクされた部分に分割する。 トレーニング可能な埋め込み機能を適用し、クロスオーバー機構を備えたデュアル直交トランスフォーマーエンコーダを備えている。
• 参考スコア（独自算出の注目度）: 6.579109660479191
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Time Series Representation Learning (TSRL) focuses on generating informative representations for various Time Series (TS) modeling tasks. Traditional Self-Supervised Learning (SSL) methods in TSRL fall into four main categories: reconstructive, adversarial, contrastive, and predictive, each with a common challenge of sensitivity to noise and intricate data nuances. Recently, diffusion-based methods have shown advanced generative capabilities. However, they primarily target specific application scenarios like imputation and forecasting, leaving a gap in leveraging diffusion models for generic TSRL. Our work, Time Series Diffusion Embedding (TSDE), bridges this gap as the first diffusion-based SSL TSRL approach. TSDE segments TS data into observed and masked parts using an Imputation-Interpolation-Forecasting (IIF) mask. It applies a trainable embedding function, featuring dual-orthogonal Transformer encoders with a crossover mechanism, to the observed part. We train a reverse diffusion process conditioned on the embeddings, designed to predict noise added to the masked part. Extensive experiments demonstrate TSDE's superiority in imputation, interpolation, forecasting, anomaly detection, classification, and clustering. We also conduct an ablation study, present embedding visualizations, and compare inference speed, further substantiating TSDE's efficiency and validity in learning representations of TS data.
• Abstract（参考訳）: 時系列表現学習(TSRL)は、様々な時系列モデリングタスクのための情報表現を生成することに焦点を当てている。 TSRLの従来の自己監視学習(SSL)の手法は、再構成、反対、対照的、予測の4つの主要なカテゴリに分類され、それぞれにノイズに対する感受性と複雑なデータニュアンスに関する共通の課題がある。 近年,拡散法は高度な生成能力を示している。 しかし、それらは主に計算や予測のような特定のアプリケーションシナリオをターゲットにしており、一般的なTSRLに拡散モデルを利用する際のギャップを残している。 我々の研究である Time Series Diffusion Embedding (TSDE) は、このギャップを最初の拡散ベースのSSL TSRLアプローチとして橋渡ししています。 TSDEは、Imputation-Interpolation-Forecasting (IIF)マスクを使用して、TSデータを観察およびマスクされた部分にセグメントする。 両直交トランスフォーマーエンコーダとクロスオーバー機構を備えたトレーニング可能な埋め込み関数を観察部位に適用する。 我々は,マスク部分に追加される雑音を予測するために,埋め込みを条件とした逆拡散過程を訓練する。 大規模な実験は、TSDEの計算、補間、予測、異常検出、分類、クラスタリングにおける優位性を実証している。 また,TSDEデータの学習表現における効率と妥当性について,アブレーション研究,埋め込み可視化の提示,推論速度の比較を行い,TSDEの効率と妥当性について検討した。

関連論文リスト

• Breaking Determinism: Fuzzy Modeling of Sequential Recommendation Using Discrete State Space Diffusion Model [66.91323540178739]
  シークエンシャルレコメンデーション(SR)は、ユーザーが過去の行動に基づいて興味を持つかもしれない項目を予測することを目的としている。 我々はSRを新しい情報理論の観点から再検討し、逐次モデリング手法がユーザの行動のランダム性と予測不可能性を適切に把握できないことを発見した。 ファジィ情報処理理論に触発された本論文では,制限を克服し,ユーザの関心事の進化をよりよく捉えるために,ファジィなインタラクションシーケンスの組を導入する。
  論文  参考訳（メタデータ） (2024-10-31T14:52:01Z)
• Representation Alignment for Generation: Training Diffusion Transformers Is Easier Than You Think [72.48325960659822]
  生成のための大規模拡散モデルの訓練における主要なボトルネックは、これらの表現を効果的に学習することにある。 本稿では,RePresentation Alignment (REPA) と呼ばれる単純な正規化を導入し,ノイズの多い入力隠れ状態の投影を,外部の事前学習された視覚エンコーダから得られるクリーンな画像表現と整合させる手法を提案する。 我々の単純な戦略は、一般的な拡散やDiTsやSiTsといったフローベースのトランスフォーマーに適用した場合、トレーニング効率と生成品質の両方に大きな改善をもたらす。
  論文  参考訳（メタデータ） (2024-10-09T14:34:53Z)
• Robust Multivariate Time Series Forecasting against Intra- and Inter-Series Transitional Shift [40.734564394464556]
  本稿では,時系列内/時系列間の相関関係を統合的に把握し,時変遷移分布をモデル化するための統一確率グラフモデルを提案する。 6つの高定常MTSデータセットに対する広範囲な実験により、JointPGMの有効性と効率を検証した。
  論文  参考訳（メタデータ） (2024-07-18T06:16:03Z)
• Diffusion-TS: Interpretable Diffusion for General Time Series Generation [6.639630994040322]
  Diffusion-TSは、高品質な時系列サンプルを生成する新しい拡散ベースのフレームワークである。 各拡散ステップのノイズの代わりにサンプルを直接再構成するようにモデルを訓練し、フーリエに基づく損失項を組み合わせた。 その結果,Diffusion-TSは時系列の様々な現実的解析において最先端の結果が得られることがわかった。
  論文  参考訳（メタデータ） (2024-03-04T05:39:23Z)
• Self-Play Fine-Tuning of Diffusion Models for Text-to-Image Generation [59.184980778643464]
  ファインチューニング拡散モデル : 生成人工知能(GenAI)の最前線 本稿では,拡散モデル(SPIN-Diffusion)のための自己演奏ファインチューニングという革新的な手法を紹介する。 提案手法は従来の教師付き微調整とRL戦略の代替として,モデル性能とアライメントの両方を大幅に改善する。
  論文  参考訳（メタデータ） (2024-02-15T18:59:18Z)
• Adversarial Training of Denoising Diffusion Model Using Dual Discriminators for High-Fidelity Multi-Speaker TTS [0.0]
  拡散モデルは確率論的アプローチにより高品質なデータを生成することができる。 これは、多くの時間ステップを必要とするため、生成速度が遅くなるという欠点に悩まされる。 本稿では、逆過程の分布を学習する拡散判別器と、生成されたデータの分布を学習するスペクトログラム判別器の2つの識別器を用いた音声合成モデルを提案する。
  論文  参考訳（メタデータ） (2023-08-03T07:22:04Z)
• Crossway Diffusion: Improving Diffusion-based Visuomotor Policy via Self-supervised Learning [42.009856923352864]
  拡散モデルは、シーケンス・モデリング方式で行動的クローニングに採用されている。 拡散に基づくビジュモータポリシー学習の簡易かつ効果的な手法であるクロスウェイ拡散を提案する。 シミュレーションおよび実世界のロボット作業におけるクロスウェイ拡散の有効性を実証した。
  論文  参考訳（メタデータ） (2023-07-04T17:59:29Z)
• An Efficient Membership Inference Attack for the Diffusion Model by Proximal Initialization [58.88327181933151]
  本稿では,効率的なクエリベースのメンバシップ推論攻撃(MIA)を提案する。 実験結果から,提案手法は離散時間と連続時間の両方の拡散モデル上で,2つのクエリで競合性能を達成できることが示唆された。 我々の知る限り、本研究はテキスト音声タスクにおけるMIAへの拡散モデルのロバスト性について初めて研究するものである。
  論文  参考訳（メタデータ） (2023-05-26T16:38:48Z)
• DDS2M: Self-Supervised Denoising Diffusion Spatio-Spectral Model for Hyperspectral Image Restoration [103.79030498369319]
  ハイパースペクトル画像復元のための自己教師付き拡散モデルを提案する。 textttDDS2Mは、既存の拡散法と比較して、より強力な一般化能力を持っている。 HSIのノイズ除去、ノイズ除去、様々なHSIの超解像実験は、既存のタスク固有状態よりもtextttDDS2Mの方が優れていることを示した。
  論文  参考訳（メタデータ） (2023-03-12T14:57:04Z)
• DiffPhase: Generative Diffusion-based STFT Phase Retrieval [15.16865739526702]
  拡散確率モデルは最近、音声強調や合成を含む様々なタスクで使われている。 本研究は,位相探索に特化して音声強調拡散モデルを適用し,音声領域における過去の研究に基づいて構築する。 音声品質とインテリジェンス指標を用いた評価は, 位相探索作業に拡散アプローチが適していることを示し, 性能は古典的手法と近代的手法に勝っている。
  論文  参考訳（メタデータ） (2022-11-08T15:50:35Z)
• Cluster-level pseudo-labelling for source-free cross-domain facial expression recognition [94.56304526014875]
  表情認識のためのSFUDA法を提案する。 本手法は,自己教師付き事前学習を利用して,対象データから優れた特徴表現を学習する。 提案手法の有効性を4つの適応方式で検証し,FERに適用した場合,既存のSFUDA法より一貫して優れていることを示す。
  論文  参考訳（メタデータ） (2022-10-11T08:24:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。