論文の概要: MATEY: multiscale adaptive foundation models for spatiotemporal physical systems

• arxiv url: http://arxiv.org/abs/2412.20601v1
• Date: Sun, 29 Dec 2024 22:13:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-31 16:01:54.955931
• Title: MATEY: multiscale adaptive foundation models for spatiotemporal physical systems
• Title（参考訳）: MATEY:時空間物理システムのためのマルチスケール適応基盤モデル
• Authors: Pei Zhang, M. Paul Laiu, Matthew Norman, Doug Stefanski, John Gounley,
• Abstract要約: 局所的な特徴に基づくパッチサイズを動的に調整する2つの適応トークン化方式を提案する。 提案するマルチスケール適応モデルであるMATEYの性能を実験で評価する。 また、PDEデータに基づいて事前学習した物理を特徴とする微調整タスクについても紹介する。
• 参考スコア（独自算出の注目度）: 2.7767126393602726
• License:
• Abstract: Accurate representation of the multiscale features in spatiotemporal physical systems using vision transformer (ViT) architectures requires extremely long, computationally prohibitive token sequences. To address this issue, we propose two adaptive tokenization schemes that dynamically adjust patch sizes based on local features: one ensures convergent behavior to uniform patch refinement, while the other offers better computational efficiency. Moreover, we present a set of spatiotemporal attention schemes, where the temporal or axial spatial dimensions are decoupled, and evaluate their computational and data efficiencies. We assess the performance of the proposed multiscale adaptive model, MATEY, in a sequence of experiments. The results show that adaptive tokenization schemes achieve improved accuracy without significantly increasing the length of the token sequence. Compared to a full spatiotemporal attention scheme or a scheme that decouples only the temporal dimension, we find that fully decoupled axial attention is less efficient and expressive, requiring more training time and model weights to achieve the same accuracy. Finally, we demonstrate in two fine-tuning tasks featuring different physics that models pretrained on PDEBench data outperform the ones trained from scratch, especially in the low data regime with frozen attention.
• Abstract（参考訳）: 視覚変換器(ViT)アーキテクチャを用いた時空間物理系のマルチスケール特徴の正確な表現には、非常に長く、計算的に禁止されたトークンシーケンスが必要である。 この問題に対処するために、局所的な特徴に基づいてパッチサイズを動的に調整する2つの適応トークン化方式を提案する。 さらに,時空間次元と軸空間次元を分離した時空間アテンション・アテンション・スキームを提案し,その計算およびデータ効率を評価する。 提案するマルチスケール適応モデルであるMATEYの性能を実験で評価する。 その結果, 適応トークン化方式は, トークン列の長さを著しく増大させることなく, 精度の向上を図っている。 時間次元のみを分解する全時空間アテンションスキームやスキームと比較して、完全非結合軸アテンションはより効率的で表現力が高く、同じ精度を達成するためにはトレーニング時間とモデルウェイトがより必要である。 最後に、PDEBenchデータ上で事前訓練されたモデルが異なる物理を特徴とする2つの微調整タスクにおいて、特に低いデータ構造において、スクラッチからトレーニングされたモデルよりも優れていることを示す。

関連論文リスト

• Neural Conformal Control for Time Series Forecasting [54.96087475179419]
  非定常環境における適応性を高める時系列のニューラルネットワーク共形予測手法を提案する。 提案手法は,ニューラルネットワークエンコーダを用いた補助的マルチビューデータを活用することにより,望ましい対象範囲を達成するために設計されたニューラルネットワークコントローラとして機能する。 予測間隔の整合性に優れたキャリブレーションを組み合わさった手法は, 適用範囲と確率的精度の大幅な向上を実証的に示す。
  論文  参考訳（メタデータ） (2024-12-24T03:56:25Z)
• UmambaTSF: A U-shaped Multi-Scale Long-Term Time Series Forecasting Method Using Mamba [7.594115034632109]
  本稿では,新しい時系列予測フレームワークであるUmambaTSFを提案する。 U字型エンコーダ・デコーダ多層パーセプトロン(MLP)のマルチスケール特徴抽出機能とMambaのロングシーケンス表現を統合する。 UmambaTSFは、広く使用されているベンチマークデータセットで最先端のパフォーマンスと優れた汎用性を達成する。
  論文  参考訳（メタデータ） (2024-10-15T04:56:43Z)
• Dynamically Modulating Visual Place Recognition Sequence Length For Minimum Acceptable Performance Scenarios [17.183024395686505]
  単一画像の視覚的位置認識(VPR)は、ローカライゼーションの代替となるが、ロバスト性を改善するためにシーケンスマッチングのような技術を必要とすることが多い。 本稿では,データキャリブレーションを用いて,VPRの配列長を目標のローカライゼーション性能を超えるようなモデルに適合させる手法を提案する。
  論文  参考訳（メタデータ） (2024-07-01T00:16:35Z)
• Adapting to Length Shift: FlexiLength Network for Trajectory Prediction [53.637837706712794]
  軌道予測は、自律運転、ロボット工学、シーン理解など、様々な応用において重要な役割を果たしている。 既存のアプローチは主に、一般に標準入力時間を用いて、公開データセットの予測精度を高めるために、コンパクトなニューラルネットワークの開発に重点を置いている。 本稿では,様々な観測期間に対する既存の軌道予測の堅牢性を高めるための,汎用的で効果的なフレームワークFlexiLength Network(FLN)を紹介する。
  論文  参考訳（メタデータ） (2024-03-31T17:18:57Z)
• TimeGraphs: Graph-based Temporal Reasoning [64.18083371645956]
  TimeGraphsは階層的時間グラフとして動的相互作用を特徴付ける新しいアプローチである。 提案手法は,コンパクトなグラフベース表現を用いて相互作用をモデル化し,多種多様な時間スケールでの適応推論を可能にする。 我々は,サッカーシミュレータ,抵抗ゲーム,MOMA人間活動データセットなど,複雑でダイナミックなエージェントインタラクションを持つ複数のデータセット上でTimeGraphsを評価する。
  論文  参考訳（メタデータ） (2024-01-06T06:26:49Z)
• Efficient Graph Neural Network Inference at Large Scale [54.89457550773165]
  グラフニューラルネットワーク(GNN)は、幅広いアプリケーションで優れた性能を示している。 既存のスケーラブルなGNNは、線形伝搬を利用して特徴を前処理し、トレーニングと推論の手順を高速化する。 本稿では,そのトポロジ情報に基づいて各ノードに対してパーソナライズされた伝搬順序を生成する適応的伝搬順序法を提案する。
  論文  参考訳（メタデータ） (2022-11-01T14:38:18Z)
• DRAformer: Differentially Reconstructed Attention Transformer for Time-Series Forecasting [7.805077630467324]
  時系列予測は、機器ライフサイクル予測、天気予報、交通フロー予測など、多くの現実シナリオにおいて重要な役割を果たす。 最近の研究から、様々なトランスフォーマーモデルが時系列予測において顕著な結果を示したことが観察できる。 しかし、時系列予測タスクにおけるトランスフォーマーモデルの性能を制限する問題がまだ残っている。
  論文  参考訳（メタデータ） (2022-06-11T10:34:29Z)
• TACTiS: Transformer-Attentional Copulas for Time Series [76.71406465526454]
  時間変化量の推定は、医療や金融などの分野における意思決定の基本的な構成要素である。 本稿では,アテンションベースデコーダを用いて関節分布を推定する多元的手法を提案する。 本研究では,本モデルが実世界の複数のデータセットに対して最先端の予測を生成することを示す。
  論文  参考訳（メタデータ） (2022-02-07T21:37:29Z)
• Adaptive Anomaly Detection for Internet of Things in Hierarchical Edge Computing: A Contextual-Bandit Approach [81.5261621619557]
  階層エッジコンピューティング(HEC)を用いた適応型異常検出手法を提案する。 まず,複雑性を増した複数のDNNモデルを構築し,それぞれを対応するHEC層に関連付ける。 そこで我々は、文脈帯域問題として定式化され、強化学習ポリシーネットワークを用いて解決される適応モデル選択スキームを設計する。
  論文  参考訳（メタデータ） (2021-08-09T08:45:47Z)
• PSEUDo: Interactive Pattern Search in Multivariate Time Series with Locality-Sensitive Hashing and Relevance Feedback [3.347485580830609]
  PSEUDoは、マルチトラックシーケンシャルデータにおける視覚パターンを探索するための適応的機能学習技術である。 提案アルゴリズムは,サブ線形学習と推論時間を特徴とする。 我々は,PSEUDoの効率,精度,操縦性において優位性を示す。
  論文  参考訳（メタデータ） (2021-04-30T13:00:44Z)
• ADCPNet: Adaptive Disparity Candidates Prediction Network for Efficient Real-Time Stereo Matching [8.046317778069325]
  粗粒度法は大規模ネットワークモデルのメモリ制約と速度制限を大幅に緩和した。 以前の粗大な設計では、粗大な格差マップを段階的に洗練するために、一定のオフセットと3つ以上のステージを使用する。 本稿では、より正確な不一致候補が提供される限り、より少ない段階で、粗い一致誤差を効率よく修正できると主張している。
  論文  参考訳（メタデータ） (2020-11-18T01:18:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。