論文の概要: Attention-based Modeling of Physical Systems: Improved Latent Representations

• arxiv url: http://arxiv.org/abs/2210.11269v5
• Date: Tue, 13 Jun 2023 11:50:39 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-14 18:24:22.982482
• Title: Attention-based Modeling of Physical Systems: Improved Latent Representations
• Title（参考訳）: 注意に基づく物理システムのモデリング--潜在表現の改善
• Authors: Arnaud Pannatier, Kyle Matoba, Fran\c{c}ois Fleuret
• Abstract要約: 本研究では,異なる位置における関連測定に基づいて,任意の空間点における量に対する注意に基づくモデリングを提案する。 提案手法では,コンバータエンコーダを用いて計測と読み出し位置の処理を行う。 我々のモデルは、グラフ要素ネットワークや条件付きニューラルプロセスのような最先端モデルよりも一貫して優れています。
• 参考スコア（独自算出の注目度）: 1.4502611532302039
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We propose attention-based modeling of quantities at arbitrary spatial points conditioned on related measurements at different locations. Our approach adapts a transformer-encoder to process measurements and read-out positions together. Attention-based models exhibit excellent performance across domains, which makes them an interesting candidate for modeling data irregularly sampled in space. We introduce a novel encoding strategy that applies the same transformation to the measurements and read-out positions, after which they are combined with encoded measurement values instead of relying on two different mappings. Efficiently learning input-output mappings from irregularly-spaced data is a fundamental challenge in modeling physical phenomena. To evaluate the effectiveness of our model, we conduct experiments on diverse problem domains, including high-altitude wind nowcasting, two-days weather forecasting, fluid dynamics, and heat diffusion. Our attention-based model consistently outperforms state-of-the-art models, such as Graph Element Networks and Conditional Neural Processes, for modeling irregularly sampled data. Notably, our model reduces root mean square error (RMSE) for wind nowcasting, improving from 9.24 to 7.98 and for a heat diffusion task from .126 to .084. We hypothesize that this superior performance can be attributed to the enhanced flexibility of our latent representation and the improved data encoding technique. To support our hypothesis, we design a synthetic experiment that reveals excessive bottlenecking in the latent representations of alternative models, which hinders information utilization and impedes training.
• Abstract（参考訳）: 本稿では,様々な場所における関連する測定値に基づく任意の空間点における量の注意に基づくモデル化を提案する。 提案手法では,コンバータエンコーダを用いて計測と読み出し位置の処理を行う。 注意に基づくモデルはドメイン間で優れたパフォーマンスを示し、空間で不規則にサンプリングされたデータをモデリングする興味深い候補となる。 計測と読み出しの位置に同じ変換を適用する新しい符号化戦略を導入し, 2つの異なるマッピングに依存するのではなく, 符号化された測定値と組み合わせる。 不規則な空間データから入出力マッピングを効率的に学習することは、物理現象のモデリングにおける基本的な課題である。 本モデルの有効性を評価するため,高高度風速流,2日間の天気予報,流体力学,熱拡散などの諸問題領域の実験を行った。 我々の注意に基づくモデルは、不規則にサンプリングされたデータをモデリングするために、グラフ要素ネットワークや条件付きニューラルプロセスのような最先端モデルよりも一貫して優れている。 特に,風速計の根平均二乗誤差(RMSE)を低減し,9.24から7.98に改善し,熱拡散タスクを.126から.084に改善した。 この優れた性能は、潜在表現の柔軟性の向上と改良されたデータエンコーディング技術に起因すると仮定した。 仮説を支持するために,代替モデルの潜在表現における過度なボトルネックを明らかにする合成実験を設計し,情報利用を阻害し,学習を阻害する。

関連論文リスト

• Kriformer: A Novel Spatiotemporal Kriging Approach Based on Graph Transformers [5.4381914710364665]
  本研究は, 環境問題として, スパースセンサの配置と信頼性の低いデータに対処する。 グラフクリフォーマーモデルであるKriformerは、限られた資源であっても、空間的および時間的相関をマイニングすることで、センサのない場所でデータを推定する。
  論文  参考訳（メタデータ） (2024-09-23T11:01:18Z)
• Localized Gaussians as Self-Attention Weights for Point Clouds Correspondence [92.07601770031236]
  本稿では,エンコーダのみのトランスフォーマーアーキテクチャのアテンションヘッドにおける意味的意味パターンについて検討する。 注意重みの修正はトレーニングプロセスの促進だけでなく,最適化の安定性の向上にも寄与する。
  論文  参考訳（メタデータ） (2024-09-20T07:41:47Z)
• Open-Set Deepfake Detection: A Parameter-Efficient Adaptation Method with Forgery Style Mixture [58.60915132222421]
  本稿では,顔偽造検出に汎用的かつパラメータ効率の高い手法を提案する。 フォージェリー・ソース・ドメインの多様性を増大させるフォージェリー・ミックス・フォーミュレーションを設計する。 設計したモデルは、トレーニング可能なパラメータを著しく減らし、最先端の一般化性を実現する。
  論文  参考訳（メタデータ） (2024-08-23T01:53:36Z)
• SMILE: Zero-Shot Sparse Mixture of Low-Rank Experts Construction From Pre-Trained Foundation Models [85.67096251281191]
  我々は、ゼロショットスパースミクチャー(SMILE)と呼ばれるモデル融合に対する革新的なアプローチを提案する。 SMILEは、余分なデータやさらなるトレーニングなしに、ソースモデルをMoEモデルにアップスケーリングできる。 画像分類やテキスト生成タスクなど,さまざまなシナリオに対して,フル微調整とLoRA微調整を用いて広範な実験を行う。
  論文  参考訳（メタデータ） (2024-08-19T17:32:15Z)
• Time Series Representation Models [2.724184832774005]
  時系列解析は、そのスパース特性、高次元性、一貫性のないデータ品質のため、依然として大きな課題である。 近年のトランス技術の発展により,予測や計算能力が向上している。 イントロスペクションに基づく時系列解析のための新しいアーキテクチャ概念を提案する。
  論文  参考訳（メタデータ） (2024-05-28T13:25:31Z)
• Combating Missing Modalities in Egocentric Videos at Test Time [92.38662956154256]
  現実のアプリケーションは、プライバシの懸念、効率性の必要性、ハードウェアの問題により、不完全なモダリティを伴う問題に直面することが多い。 再トレーニングを必要とせずに,テスト時にこの問題に対処する新しい手法を提案する。 MiDlは、欠落したモダリティをテスト時にのみ扱う、自己管理型のオンラインソリューションとしては初めてのものだ。
  論文  参考訳（メタデータ） (2024-04-23T16:01:33Z)
• Incremental Online Learning Algorithms Comparison for Gesture and Visual Smart Sensors [68.8204255655161]
  本稿では,加速度センサデータに基づくジェスチャー認識と画像分類の2つの実例として,最先端の4つのアルゴリズムを比較した。 以上の結果から,これらのシステムの信頼性と小型メモリMCUへのデプロイの可能性が確認された。
  論文  参考訳（メタデータ） (2022-09-01T17:05:20Z)
• Energy networks for state estimation with random sensors using sparse labels [0.0]
  本稿では,スパースラベルから学習可能な暗黙の最適化層と物理に基づく損失関数を用いた手法を提案する。 この手法に基づいて、空間における離散的および連続的な予測のための2つのモデルを示す。
  論文  参考訳（メタデータ） (2022-03-12T15:15:38Z)
• TELESTO: A Graph Neural Network Model for Anomaly Classification in Cloud Services [77.454688257702]
  機械学習(ML)と人工知能(AI)はITシステムの運用とメンテナンスに適用される。 1つの方向は、修復自動化を可能にするために、繰り返し発生する異常タイプを認識することである。 与えられたデータの次元変化に不変な手法を提案する。
  論文  参考訳（メタデータ） (2021-02-25T14:24:49Z)
• Fast Modeling and Understanding Fluid Dynamics Systems with Encoder-Decoder Networks [0.0]
  本研究では,有限体積シミュレータを用いて,高精度な深層学習に基づくプロキシモデルを効率的に教えることができることを示す。 従来のシミュレーションと比較して、提案したディープラーニングアプローチはより高速なフォワード計算を可能にする。 深層学習モデルの重要物理パラメータに対する感度を定量化することにより、インバージョン問題を大きな加速で解くことができることを示す。
  論文  参考訳（メタデータ） (2020-06-09T17:14:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。