論文の概要: Real-time Inference and Extrapolation via a Diffusion-inspired Temporal Transformer Operator (DiTTO)

• arxiv url: http://arxiv.org/abs/2307.09072v2
• Date: Fri, 8 Dec 2023 19:04:45 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-13 02:12:04.577020
• Title: Real-time Inference and Extrapolation via a Diffusion-inspired Temporal Transformer Operator (DiTTO)
• Title（参考訳）: DiTTO(Diffusion-inspired Temporal Transformer Operator)によるリアルタイム推論と外挿
• Authors: Oded Ovadia, Vivek Oommen, Adar Kahana, Ahmad Peyvan, Eli Turkel, George Em Karniadakis
• Abstract要約: 本稿では,時間依存偏微分方程式(PDE)を時間的離散化を伴わずに時間外挿で連続的に解く演算子学習法を提案する。 Diffusion-inspired Temporal Transformer Operator (DiTTO) と呼ばれる提案手法は,遅延拡散モデルとその条件付け機構に着想を得たものである。 我々は,地球上の温度を数年間推定し,気候問題に対する外挿能力を示すとともに,二重円錐周りの超音速流れをモデル化する。
• 参考スコア（独自算出の注目度）: 1.5728609542259502
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Extrapolation remains a grand challenge in deep neural networks across all application domains. We propose an operator learning method to solve time-dependent partial differential equations (PDEs) continuously and with extrapolation in time without any temporal discretization. The proposed method, named Diffusion-inspired Temporal Transformer Operator (DiTTO), is inspired by latent diffusion models and their conditioning mechanism, which we use to incorporate the temporal evolution of the PDE, in combination with elements from the transformer architecture to improve its capabilities. Upon training, DiTTO can make inferences in real-time. We demonstrate its extrapolation capability on a climate problem by estimating the temperature around the globe for several years, and also in modeling hypersonic flows around a double-cone. We propose different training strategies involving temporal-bundling and sub-sampling and demonstrate performance improvements for several benchmarks, performing extrapolation for long time intervals as well as zero-shot super-resolution in time.
• Abstract（参考訳）: すべてのアプリケーションドメインにわたるディープニューラルネットワークにおいて、外挿は依然として大きな課題である。 本稿では,時間依存偏微分方程式(PDE)を時間差分なく連続的に,時間外挿で解く演算子学習法を提案する。 提案手法はditto( diffusion-inspired temporal transformer operator)と名付けられ、pdeの時間的進化を組み込んだ潜在拡散モデルと条件付け機構に触発され、その性能を向上させるためにトランスフォーマアーキテクチャの要素と組み合わせられている。 トレーニング中、DiTTOはリアルタイムで推論を行うことができる。 我々は,地球上の温度を数年間推定し,気候問題に対する外挿能力を示すとともに,二重円錐周りの超音速流れをモデル化する。 我々は,時間的バンドルとサブサンプリングを含む異なるトレーニング戦略を提案し,複数のベンチマークのパフォーマンス向上を実証し,長時間の補間とゼロショット超解像を行う。

関連論文リスト

• Trajectory Flow Matching with Applications to Clinical Time Series Modeling [77.58277281319253]
  Trajectory Flow Matching (TFM) は、シミュレーションのない方法でニューラルSDEを訓練し、ダイナミックスを通してバックプロパゲーションをバイパスする。 絶対的性能と不確実性予測の観点から,3つの臨床時系列データセットの性能向上を実証した。
  論文  参考訳（メタデータ） (2024-10-28T15:54:50Z)
• TimeDiT: General-purpose Diffusion Transformers for Time Series Foundation Model [11.281386703572842]
  時間的自己回帰生成型トランスフォーマーアーキテクチャを利用するモデル群が開発されている。 TimeDiTは時系列の一般的な基礎モデルであり、時間的自己回帰生成の代わりにデノナイジング拡散パラダイムを用いる。 TimeDiTの有効性を実証するために,予測,計算,異常検出などのタスクの多種多様な実験を行った。
  論文  参考訳（メタデータ） (2024-09-03T22:31:57Z)
• Diffusion Transformer Captures Spatial-Temporal Dependencies: A Theory for Gaussian Process Data [39.41800375686212]
  ビデオ生成のためのSoraのバックボーンであるDiffusion Transformerは、拡散モデルのキャパシティをうまく拡張する。 空間的・時間的依存関係を捉えるための拡散変圧器のブリッジ化に向けた第一歩を踏み出す。 空間的時間的依存が学習効率にどのように影響するかを強調した。
  論文  参考訳（メタデータ） (2024-07-23T02:42:43Z)
• PDETime: Rethinking Long-Term Multivariate Time Series Forecasting from the perspective of partial differential equations [49.80959046861793]
  本稿では,ニューラルPDEソルバの原理に着想を得た新しいLMTFモデルであるPDETimeを提案する。 7つの異なる時間的実世界のLMTFデータセットを用いた実験により、PDETimeがデータ固有の性質に効果的に適応できることが判明した。
  論文  参考訳（メタデータ） (2024-02-25T17:39:44Z)
• Long-term Wind Power Forecasting with Hierarchical Spatial-Temporal Transformer [112.12271800369741]
  風力発電は、再生可能、汚染のないその他の利点により、世界中の注目を集めている。 正確な風力発電予測(WPF)は、電力系統の運用における電力変動を効果的に低減することができる。 既存の手法は主に短期的な予測のために設計されており、効果的な時空間的特徴増強が欠如している。
  論文  参考訳（メタデータ） (2023-05-30T04:03:15Z)
• TILDE-Q: A Transformation Invariant Loss Function for Time-Series Forecasting [8.086595073181604]
  時系列予測は、エネルギー、天気、交通、経済など、さまざまな領域における現実世界の問題に対処することができる。 時系列予測はよく研究されている分野であり、シーケンシャルデータの急激な変化などの複雑な時間的パターンを予測することは、現在のモデルでは依然として課題となっている。 本稿では, 振幅および位相歪みだけでなく, 時系列列の形状をモデルで捉えることができる, TILDEQ と呼ばれる新しいコンパクトな損失関数を提案する。
  論文  参考訳（メタデータ） (2022-10-26T21:32:20Z)
• Semi-supervised Learning of Partial Differential Operators and Dynamical Flows [68.77595310155365]
  本稿では,超ネットワーク解法とフーリエニューラル演算子アーキテクチャを組み合わせた新しい手法を提案する。 本手法は, 1次元, 2次元, 3次元の非線形流体を含む様々な時間発展PDEを用いて実験を行った。 その結果、新しい手法は、監督点の時点における学習精度を向上し、任意の中間時間にその解を補間できることを示した。
  論文  参考訳（メタデータ） (2022-07-28T19:59:14Z)
• Learning to Accelerate Partial Differential Equations via Latent Global Evolution [64.72624347511498]
  The Latent Evolution of PDEs (LE-PDE) is a simple, fast and scalable method to accelerate the simulation and inverse optimization of PDEs。 我々は,このような潜在力学を効果的に学習し,長期的安定性を確保するために,新たな学習目標を導入する。 更新対象の寸法が最大128倍、速度が最大15倍向上し、競争精度が向上した。
  論文  参考訳（メタデータ） (2022-06-15T17:31:24Z)
• DiffPD: Differentiable Projective Dynamics with Contact [65.88720481593118]
  DiffPDは、暗黙の時間積分を持つ効率的な微分可能なソフトボディシミュレータである。 我々はDiffPDの性能を評価し,様々な応用における標準ニュートン法と比較して4～19倍のスピードアップを観測した。
  論文  参考訳（メタデータ） (2021-01-15T00:13:33Z)
• Deep Switching Auto-Regressive Factorization:Application to Time Series Forecasting [16.934920617960085]
  DSARFは、時間依存重みと空間依存因子の間の積変数による高次元データを近似する。 DSARFは、深い切替ベクトル自己回帰因子化の観点から重みをパラメータ化するという最先端技術とは異なる。 本実験は, 最先端手法と比較して, DSARFの長期的, 短期的予測誤差において優れた性能を示すものである。
  論文  参考訳（メタデータ） (2020-09-10T20:15:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。