論文の概要: Accurate Extrinsic Prediction of Physical Systems Using Transformers

• arxiv url: http://arxiv.org/abs/2210.11269v1
• Date: Thu, 20 Oct 2022 13:42:20 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-21 16:16:10.117454
• Title: Accurate Extrinsic Prediction of Physical Systems Using Transformers
• Title（参考訳）: 変圧器を用いた物理系の高精度余剰予測
• Authors: Arnaud Pannatier, Kyle Matoba, Fran\c{c}ois Fleuret
• Abstract要約: 高高度風速予測は航空管制にとって重要である。 ディープニューラルネットワークベースのモデルも考えられる。 我々は,Transformerがこのデータを効率的に適合させることができ,コンテキストセットから一貫性を持って外挿できることを示す。
• 参考スコア（独自算出の注目度）: 1.4502611532302039
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Accurate high-altitude wind forecasting is important for air traffic control. And the large volume of data available for this task makes deep neural network-based models a possibility. However, special methods are required because the data is measured only sparsely: along the main aircraft trajectories and arranged sparsely in space, namely along the main air corridors. Several deep learning approaches have been proposed, and in this work, we show that Transformers can fit this data efficiently and are able to extrapolate coherently from a context set. We show this by an extensive comparison of Transformers to numerous existing deep learning-based baselines in the literature. Besides high-altitude wind forecasting, we compare competing models on other dynamical physical systems, namely those modelled by partial differential equations, in particular the Poisson equation and Darcy Flow equation. For these experiments, in the case where the data is arranged non-regularly in space, Transformers outperform all the other evaluated methods. We also compared them in a more standard setup where the data is arranged on a grid and show that the Transformers are competitive with state-of-the-art methods, even though it does not require regular spacing. The code and datasets of the different experiments will be made publicly available at publication time.
• Abstract（参考訳）: 航空管制には正確な高度風速予測が重要である。 そして、このタスクで利用可能な大量のデータによって、ディープニューラルネットワークベースのモデルが可能になる。 しかし、データは僅かに測定されるため、特別な方法が必要であり、主な航空機の軌道に沿って配置され、空間、すなわち主気道に沿って配置される。 いくつかのディープラーニングアプローチが提案されており、本研究では、トランスフォーマーがこのデータに効率よく適合し、コンテキスト集合からコヒーレントに外挿できることを示す。 そこで本論文では,トランスフォーマーと既存のディープラーニングベースラインとの広範な比較を行った。 高高度風速予測の他に、他の力学物理系、すなわち偏微分方程式、特にポアソン方程式とダーシー流方程式によってモデル化されたモデルの比較を行った。 これらの実験では、データが非正規に宇宙に配置されている場合、トランスフォーマーは他の全ての評価方法を上回る。 また、グリッド上にデータを配置するより標準的な設定で比較し、通常の間隔を必要としない場合でもトランスフォーマーが最先端の手法と競合することを示す。 さまざまな実験のコードとデータセットは、公開時に公開される予定だ。

関連論文リスト

• Kriformer: A Novel Spatiotemporal Kriging Approach Based on Graph Transformers [5.4381914710364665]
  本研究は, 環境問題として, スパースセンサの配置と信頼性の低いデータに対処する。 グラフクリフォーマーモデルであるKriformerは、限られた資源であっても、空間的および時間的相関をマイニングすることで、センサのない場所でデータを推定する。
  論文  参考訳（メタデータ） (2024-09-23T11:01:18Z)
• Localized Gaussians as Self-Attention Weights for Point Clouds Correspondence [92.07601770031236]
  本稿では,エンコーダのみのトランスフォーマーアーキテクチャのアテンションヘッドにおける意味的意味パターンについて検討する。 注意重みの修正はトレーニングプロセスの促進だけでなく,最適化の安定性の向上にも寄与する。
  論文  参考訳（メタデータ） (2024-09-20T07:41:47Z)
• Open-Set Deepfake Detection: A Parameter-Efficient Adaptation Method with Forgery Style Mixture [58.60915132222421]
  本稿では,顔偽造検出に汎用的かつパラメータ効率の高い手法を提案する。 フォージェリー・ソース・ドメインの多様性を増大させるフォージェリー・ミックス・フォーミュレーションを設計する。 設計したモデルは、トレーニング可能なパラメータを著しく減らし、最先端の一般化性を実現する。
  論文  参考訳（メタデータ） (2024-08-23T01:53:36Z)
• SMILE: Zero-Shot Sparse Mixture of Low-Rank Experts Construction From Pre-Trained Foundation Models [85.67096251281191]
  我々は、ゼロショットスパースミクチャー(SMILE)と呼ばれるモデル融合に対する革新的なアプローチを提案する。 SMILEは、余分なデータやさらなるトレーニングなしに、ソースモデルをMoEモデルにアップスケーリングできる。 画像分類やテキスト生成タスクなど,さまざまなシナリオに対して,フル微調整とLoRA微調整を用いて広範な実験を行う。
  論文  参考訳（メタデータ） (2024-08-19T17:32:15Z)
• Time Series Representation Models [2.724184832774005]
  時系列解析は、そのスパース特性、高次元性、一貫性のないデータ品質のため、依然として大きな課題である。 近年のトランス技術の発展により,予測や計算能力が向上している。 イントロスペクションに基づく時系列解析のための新しいアーキテクチャ概念を提案する。
  論文  参考訳（メタデータ） (2024-05-28T13:25:31Z)
• Combating Missing Modalities in Egocentric Videos at Test Time [92.38662956154256]
  現実のアプリケーションは、プライバシの懸念、効率性の必要性、ハードウェアの問題により、不完全なモダリティを伴う問題に直面することが多い。 再トレーニングを必要とせずに,テスト時にこの問題に対処する新しい手法を提案する。 MiDlは、欠落したモダリティをテスト時にのみ扱う、自己管理型のオンラインソリューションとしては初めてのものだ。
  論文  参考訳（メタデータ） (2024-04-23T16:01:33Z)
• Incremental Online Learning Algorithms Comparison for Gesture and Visual Smart Sensors [68.8204255655161]
  本稿では,加速度センサデータに基づくジェスチャー認識と画像分類の2つの実例として,最先端の4つのアルゴリズムを比較した。 以上の結果から,これらのシステムの信頼性と小型メモリMCUへのデプロイの可能性が確認された。
  論文  参考訳（メタデータ） (2022-09-01T17:05:20Z)
• Energy networks for state estimation with random sensors using sparse labels [0.0]
  本稿では,スパースラベルから学習可能な暗黙の最適化層と物理に基づく損失関数を用いた手法を提案する。 この手法に基づいて、空間における離散的および連続的な予測のための2つのモデルを示す。
  論文  参考訳（メタデータ） (2022-03-12T15:15:38Z)
• TELESTO: A Graph Neural Network Model for Anomaly Classification in Cloud Services [77.454688257702]
  機械学習(ML)と人工知能(AI)はITシステムの運用とメンテナンスに適用される。 1つの方向は、修復自動化を可能にするために、繰り返し発生する異常タイプを認識することである。 与えられたデータの次元変化に不変な手法を提案する。
  論文  参考訳（メタデータ） (2021-02-25T14:24:49Z)
• Fast Modeling and Understanding Fluid Dynamics Systems with Encoder-Decoder Networks [0.0]
  本研究では,有限体積シミュレータを用いて,高精度な深層学習に基づくプロキシモデルを効率的に教えることができることを示す。 従来のシミュレーションと比較して、提案したディープラーニングアプローチはより高速なフォワード計算を可能にする。 深層学習モデルの重要物理パラメータに対する感度を定量化することにより、インバージョン問題を大きな加速で解くことができることを示す。
  論文  参考訳（メタデータ） (2020-06-09T17:14:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。