論文の概要: Attention-based Modeling of Physical Systems: Improved Latent
Representations
- arxiv url: http://arxiv.org/abs/2210.11269v5
- Date: Tue, 13 Jun 2023 11:50:39 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-14 18:24:22.982482
- Title: Attention-based Modeling of Physical Systems: Improved Latent
Representations
- Title(参考訳): 注意に基づく物理システムのモデリング--潜在表現の改善
- Authors: Arnaud Pannatier, Kyle Matoba, Fran\c{c}ois Fleuret
- Abstract要約: 本研究では,異なる位置における関連測定に基づいて,任意の空間点における量に対する注意に基づくモデリングを提案する。
提案手法では,コンバータエンコーダを用いて計測と読み出し位置の処理を行う。
我々のモデルは、グラフ要素ネットワークや条件付きニューラルプロセスのような最先端モデルよりも一貫して優れています。
- 参考スコア(独自算出の注目度): 1.4502611532302039
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We propose attention-based modeling of quantities at arbitrary spatial points
conditioned on related measurements at different locations. Our approach adapts
a transformer-encoder to process measurements and read-out positions together.
Attention-based models exhibit excellent performance across domains, which
makes them an interesting candidate for modeling data irregularly sampled in
space. We introduce a novel encoding strategy that applies the same
transformation to the measurements and read-out positions, after which they are
combined with encoded measurement values instead of relying on two different
mappings.
Efficiently learning input-output mappings from irregularly-spaced data is a
fundamental challenge in modeling physical phenomena. To evaluate the
effectiveness of our model, we conduct experiments on diverse problem domains,
including high-altitude wind nowcasting, two-days weather forecasting, fluid
dynamics, and heat diffusion. Our attention-based model consistently
outperforms state-of-the-art models, such as Graph Element Networks and
Conditional Neural Processes, for modeling irregularly sampled data. Notably,
our model reduces root mean square error (RMSE) for wind nowcasting, improving
from 9.24 to 7.98 and for a heat diffusion task from .126 to .084. We
hypothesize that this superior performance can be attributed to the enhanced
flexibility of our latent representation and the improved data encoding
technique. To support our hypothesis, we design a synthetic experiment that
reveals excessive bottlenecking in the latent representations of alternative
models, which hinders information utilization and impedes training.
- Abstract(参考訳): 本稿では,様々な場所における関連する測定値に基づく任意の空間点における量の注意に基づくモデル化を提案する。
提案手法では,コンバータエンコーダを用いて計測と読み出し位置の処理を行う。
注意に基づくモデルはドメイン間で優れたパフォーマンスを示し、空間で不規則にサンプリングされたデータをモデリングする興味深い候補となる。
計測と読み出しの位置に同じ変換を適用する新しい符号化戦略を導入し, 2つの異なるマッピングに依存するのではなく, 符号化された測定値と組み合わせる。
不規則な空間データから入出力マッピングを効率的に学習することは、物理現象のモデリングにおける基本的な課題である。
本モデルの有効性を評価するため,高高度風速流,2日間の天気予報,流体力学,熱拡散などの諸問題領域の実験を行った。
我々の注意に基づくモデルは、不規則にサンプリングされたデータをモデリングするために、グラフ要素ネットワークや条件付きニューラルプロセスのような最先端モデルよりも一貫して優れている。
特に,風速計の根平均二乗誤差(RMSE)を低減し,9.24から7.98に改善し,熱拡散タスクを.126から.084に改善した。
この優れた性能は、潜在表現の柔軟性の向上と改良されたデータエンコーディング技術に起因すると仮定した。
仮説を支持するために,代替モデルの潜在表現における過度なボトルネックを明らかにする合成実験を設計し,情報利用を阻害し,学習を阻害する。
関連論文リスト
- Enhancing Dynamical System Modeling through Interpretable Machine
Learning Augmentations: A Case Study in Cathodic Electrophoretic Deposition [0.8796261172196743]
本稿では,物理システムのモデリング向上を目的とした包括的データ駆動フレームワークを提案する。
実証的応用として,電顕的電気泳動沈着(EPD)のモデル化を追求する。
論文 参考訳(メタデータ) (2024-01-16T14:58:21Z) - QualEval: Qualitative Evaluation for Model Improvement [86.29905469151566]
モデル改善のための手段として,自動定性評価による定量的スカラー指標を付加するQualEvalを提案する。
QualEvalは強力なLCM推論器と新しいフレキシブルリニアプログラミングソルバを使用して、人間の読みやすい洞察を生成する。
例えば、その洞察を活用することで、Llama 2モデルの絶対性能が最大15%向上することを示す。
論文 参考訳(メタデータ) (2023-11-06T00:21:44Z) - The Missing U for Efficient Diffusion Models [3.8983468222277686]
拡散確率モデル(Diffusion Probabilistic Models)は、画像合成、ビデオ生成、分子設計などのタスクにおいて、記録破りのパフォーマンスをもたらす。
それらの能力にもかかわらず、その効率、特に逆過程では、収束速度が遅いことと計算コストが高いため、依然として課題である。
本研究では,連続力学系を利用した拡散モデルのための新しいデノナイジングネットワークの設計手法を提案する。
論文 参考訳(メタデータ) (2023-10-31T00:12:14Z) - Generative Modeling with Phase Stochastic Bridges [52.919600985186996]
拡散モデル(DM)は、連続入力のための最先端の生成モデルを表す。
我々はtextbfphase space dynamics に基づく新しい生成モデリングフレームワークを提案する。
我々のフレームワークは、動的伝播の初期段階において、現実的なデータポイントを生成する能力を示す。
論文 参考訳(メタデータ) (2023-10-11T18:38:28Z) - Uncovering the Hidden Cost of Model Compression [49.937417635812025]
視覚プロンプティング (VP) はコンピュータビジョンにおいて重要な伝達学習手法として登場した。
モデル間隔は視覚的プロンプトベース転送の性能に悪影響を及ぼす。
以上の結果から,疎度が下流視覚刺激モデルの校正に及ぼす影響が示唆された。
論文 参考訳(メタデータ) (2023-08-29T01:47:49Z) - VTAE: Variational Transformer Autoencoder with Manifolds Learning [144.0546653941249]
深層生成モデルは、多くの潜伏変数を通して非線形データ分布の学習に成功している。
ジェネレータの非線形性は、潜在空間がデータ空間の不満足な射影を示し、表現学習が不十分になることを意味する。
本研究では、測地学と正確な計算により、深部生成モデルの性能を大幅に向上させることができることを示す。
論文 参考訳(メタデータ) (2023-04-03T13:13:19Z) - Evolve Smoothly, Fit Consistently: Learning Smooth Latent Dynamics For
Advection-Dominated Systems [14.553972457854517]
複雑な物理系のサロゲートモデルを学ぶための,データ駆動・時空連続フレームワークを提案する。
ネットワークの表現力と特別に設計された整合性誘導正規化を利用して,低次元かつ滑らかな潜在軌道を得る。
論文 参考訳(メタデータ) (2023-01-25T03:06:03Z) - Neural Superstatistics for Bayesian Estimation of Dynamic Cognitive
Models [2.7391842773173334]
我々は,時間変化パラメータと時間不変パラメータの両方を復元できるベイズ推論のシミュレーションに基づくディープラーニング手法を開発した。
この結果から,ディープラーニングアプローチは時間的ダイナミクスを捉える上で極めて効率的であることが示唆された。
論文 参考訳(メタデータ) (2022-11-23T17:42:53Z) - Mixed Effects Neural ODE: A Variational Approximation for Analyzing the
Dynamics of Panel Data [50.23363975709122]
パネルデータ解析に(固定・ランダムな)混合効果を取り入れたME-NODEという確率モデルを提案する。
我々は、Wong-Zakai定理によって提供されるSDEの滑らかな近似を用いて、我々のモデルを導出できることを示す。
次に、ME-NODEのためのエビデンスに基づく下界を導出し、(効率的な)トレーニングアルゴリズムを開発する。
論文 参考訳(メタデータ) (2022-02-18T22:41:51Z) - Uncertainty quantification and inverse modeling for subsurface flow in
3D heterogeneous formations using a theory-guided convolutional
encoder-decoder network [5.018057056965207]
複数の垂直生産井を有する動的3次元地下単相流問題に対する代理モデルを構築した。
代理モデルは任意のタイミングで全体の形成を効率的に推算する。
ウェル生産率またはボトムホール圧力はピースマンの公式に基づいて決定できる。
論文 参考訳(メタデータ) (2021-11-14T10:11:46Z) - Discrete Auto-regressive Variational Attention Models for Text Modeling [53.38382932162732]
変分オートエンコーダ(VAE)はテキストモデリングに広く応用されている。
情報不足と後部崩壊という2つの課題に悩まされている。
本稿では,自己回帰変動注意モデル(DAVAM)を提案する。
論文 参考訳(メタデータ) (2021-06-16T06:36:26Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。