論文の概要: Accurate Extrinsic Prediction of Physical Systems Using Transformers
- arxiv url: http://arxiv.org/abs/2210.11269v1
- Date: Thu, 20 Oct 2022 13:42:20 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-21 16:16:10.117454
- Title: Accurate Extrinsic Prediction of Physical Systems Using Transformers
- Title(参考訳): 変圧器を用いた物理系の高精度余剰予測
- Authors: Arnaud Pannatier, Kyle Matoba, Fran\c{c}ois Fleuret
- Abstract要約: 高高度風速予測は航空管制にとって重要である。
ディープニューラルネットワークベースのモデルも考えられる。
我々は,Transformerがこのデータを効率的に適合させることができ,コンテキストセットから一貫性を持って外挿できることを示す。
- 参考スコア(独自算出の注目度): 1.4502611532302039
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Accurate high-altitude wind forecasting is important for air traffic control.
And the large volume of data available for this task makes deep neural
network-based models a possibility. However, special methods are required
because the data is measured only sparsely: along the main aircraft
trajectories and arranged sparsely in space, namely along the main air
corridors. Several deep learning approaches have been proposed, and in this
work, we show that Transformers can fit this data efficiently and are able to
extrapolate coherently from a context set.
We show this by an extensive comparison of Transformers to numerous existing
deep learning-based baselines in the literature. Besides high-altitude wind
forecasting, we compare competing models on other dynamical physical systems,
namely those modelled by partial differential equations, in particular the
Poisson equation and Darcy Flow equation. For these experiments, in the case
where the data is arranged non-regularly in space, Transformers outperform all
the other evaluated methods. We also compared them in a more standard setup
where the data is arranged on a grid and show that the Transformers are
competitive with state-of-the-art methods, even though it does not require
regular spacing. The code and datasets of the different experiments will be
made publicly available at publication time.
- Abstract(参考訳): 航空管制には正確な高度風速予測が重要である。
そして、このタスクで利用可能な大量のデータによって、ディープニューラルネットワークベースのモデルが可能になる。
しかし、データは僅かに測定されるため、特別な方法が必要であり、主な航空機の軌道に沿って配置され、空間、すなわち主気道に沿って配置される。
いくつかのディープラーニングアプローチが提案されており、本研究では、トランスフォーマーがこのデータに効率よく適合し、コンテキスト集合からコヒーレントに外挿できることを示す。
そこで本論文では,トランスフォーマーと既存のディープラーニングベースラインとの広範な比較を行った。
高高度風速予測の他に、他の力学物理系、すなわち偏微分方程式、特にポアソン方程式とダーシー流方程式によってモデル化されたモデルの比較を行った。
これらの実験では、データが非正規に宇宙に配置されている場合、トランスフォーマーは他の全ての評価方法を上回る。
また、グリッド上にデータを配置するより標準的な設定で比較し、通常の間隔を必要としない場合でもトランスフォーマーが最先端の手法と競合することを示す。
さまざまな実験のコードとデータセットは、公開時に公開される予定だ。
関連論文リスト
- Enhancing Dynamical System Modeling through Interpretable Machine
Learning Augmentations: A Case Study in Cathodic Electrophoretic Deposition [0.8796261172196743]
本稿では,物理システムのモデリング向上を目的とした包括的データ駆動フレームワークを提案する。
実証的応用として,電顕的電気泳動沈着(EPD)のモデル化を追求する。
論文 参考訳(メタデータ) (2024-01-16T14:58:21Z) - QualEval: Qualitative Evaluation for Model Improvement [86.29905469151566]
モデル改善のための手段として,自動定性評価による定量的スカラー指標を付加するQualEvalを提案する。
QualEvalは強力なLCM推論器と新しいフレキシブルリニアプログラミングソルバを使用して、人間の読みやすい洞察を生成する。
例えば、その洞察を活用することで、Llama 2モデルの絶対性能が最大15%向上することを示す。
論文 参考訳(メタデータ) (2023-11-06T00:21:44Z) - The Missing U for Efficient Diffusion Models [3.8983468222277686]
拡散確率モデル(Diffusion Probabilistic Models)は、画像合成、ビデオ生成、分子設計などのタスクにおいて、記録破りのパフォーマンスをもたらす。
それらの能力にもかかわらず、その効率、特に逆過程では、収束速度が遅いことと計算コストが高いため、依然として課題である。
本研究では,連続力学系を利用した拡散モデルのための新しいデノナイジングネットワークの設計手法を提案する。
論文 参考訳(メタデータ) (2023-10-31T00:12:14Z) - Generative Modeling with Phase Stochastic Bridges [52.919600985186996]
拡散モデル(DM)は、連続入力のための最先端の生成モデルを表す。
我々はtextbfphase space dynamics に基づく新しい生成モデリングフレームワークを提案する。
我々のフレームワークは、動的伝播の初期段階において、現実的なデータポイントを生成する能力を示す。
論文 参考訳(メタデータ) (2023-10-11T18:38:28Z) - Uncovering the Hidden Cost of Model Compression [49.937417635812025]
視覚プロンプティング (VP) はコンピュータビジョンにおいて重要な伝達学習手法として登場した。
モデル間隔は視覚的プロンプトベース転送の性能に悪影響を及ぼす。
以上の結果から,疎度が下流視覚刺激モデルの校正に及ぼす影響が示唆された。
論文 参考訳(メタデータ) (2023-08-29T01:47:49Z) - VTAE: Variational Transformer Autoencoder with Manifolds Learning [144.0546653941249]
深層生成モデルは、多くの潜伏変数を通して非線形データ分布の学習に成功している。
ジェネレータの非線形性は、潜在空間がデータ空間の不満足な射影を示し、表現学習が不十分になることを意味する。
本研究では、測地学と正確な計算により、深部生成モデルの性能を大幅に向上させることができることを示す。
論文 参考訳(メタデータ) (2023-04-03T13:13:19Z) - Evolve Smoothly, Fit Consistently: Learning Smooth Latent Dynamics For
Advection-Dominated Systems [14.553972457854517]
複雑な物理系のサロゲートモデルを学ぶための,データ駆動・時空連続フレームワークを提案する。
ネットワークの表現力と特別に設計された整合性誘導正規化を利用して,低次元かつ滑らかな潜在軌道を得る。
論文 参考訳(メタデータ) (2023-01-25T03:06:03Z) - Neural Superstatistics for Bayesian Estimation of Dynamic Cognitive
Models [2.7391842773173334]
我々は,時間変化パラメータと時間不変パラメータの両方を復元できるベイズ推論のシミュレーションに基づくディープラーニング手法を開発した。
この結果から,ディープラーニングアプローチは時間的ダイナミクスを捉える上で極めて効率的であることが示唆された。
論文 参考訳(メタデータ) (2022-11-23T17:42:53Z) - Mixed Effects Neural ODE: A Variational Approximation for Analyzing the
Dynamics of Panel Data [50.23363975709122]
パネルデータ解析に(固定・ランダムな)混合効果を取り入れたME-NODEという確率モデルを提案する。
我々は、Wong-Zakai定理によって提供されるSDEの滑らかな近似を用いて、我々のモデルを導出できることを示す。
次に、ME-NODEのためのエビデンスに基づく下界を導出し、(効率的な)トレーニングアルゴリズムを開発する。
論文 参考訳(メタデータ) (2022-02-18T22:41:51Z) - Uncertainty quantification and inverse modeling for subsurface flow in
3D heterogeneous formations using a theory-guided convolutional
encoder-decoder network [5.018057056965207]
複数の垂直生産井を有する動的3次元地下単相流問題に対する代理モデルを構築した。
代理モデルは任意のタイミングで全体の形成を効率的に推算する。
ウェル生産率またはボトムホール圧力はピースマンの公式に基づいて決定できる。
論文 参考訳(メタデータ) (2021-11-14T10:11:46Z) - Discrete Auto-regressive Variational Attention Models for Text Modeling [53.38382932162732]
変分オートエンコーダ(VAE)はテキストモデリングに広く応用されている。
情報不足と後部崩壊という2つの課題に悩まされている。
本稿では,自己回帰変動注意モデル(DAVAM)を提案する。
論文 参考訳(メタデータ) (2021-06-16T06:36:26Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。