論文の概要: One-Way Coupling via Patchwise Adaptive Normalization in Transformer Surrogates

• arxiv url: http://arxiv.org/abs/2610.14687v1
• Date: Sat, 10 Oct 2026 08:02:39 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-20 12:17:49.27514
• Title: One-Way Coupling via Patchwise Adaptive Normalization in Transformer Surrogates
• Title（参考訳）: 変圧器サロゲートのパッチワイド適応正規化によるワンウェイ結合
• Abstract要約: Patchwise Adaptive Normalization (PAdaNorm)を導入し、状態トークン化に対応するパッチにフィールドを分割する。 我々は、Walrusにインスパイアされたトランスフォーマーアーキテクチャを用いて、3つの異なるドメインのデータセット上でPAdaNormを評価する。
• 参考スコア（独自算出の注目度）: 36.7192944326948
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Many physical systems exhibit one-way coupling: exogenous fields such as medium density or obstacle geometry influence the dynamics without being affected by them. We investigate how explicitly representing these fields can improve the accuracy and computational efficiency of transformer-based PDE surrogates. Building on spatially adaptive normalization, we introduce Patchwise Adaptive Normalization (PAdaNorm), which partitions exogenous fields into patches aligned with the state tokenization. We evaluate PAdaNorm on datasets from three different domains, using a Walrus-inspired transformer architecture. Across the three PDE families, PAdaNorm is on par with or up to 16% better than parameter-matched baselines in mean long-horizon variance-scaled RMSE on 60-step autoregressive rollouts. We also find that PAdaNorm better maintains hard physical constraints over long rollouts, such as preventing flow into impenetrable solid regions in porous media. When the conditioning is static, PAdaNorm caches the conditioning embeddings once and reuses them across the entire rollout, reducing inference FLOPs per step by up to 36% compared with parameter-matched baselines. An ablation over eight conditioning variants shows that modulating a single attention axis (temporal or spatial) suffices and that a lightweight shared MLP across blocks remains competitive with per-block projections.
• Abstract（参考訳）: 多くの物理系は一方的な結合を示しており、中密度や障害物幾何学のような外因性場は影響を受けずに力学に影響を与える。 変換器を用いたPDEサロゲートの精度と計算効率を向上させるために,これらのフィールドを明示的に表現する方法を検討する。 本研究では,空間適応正規化に基づくPatchwise Adaptive Normalization (PAdaNorm)を導入する。 我々は、Walrusにインスパイアされたトランスフォーマーアーキテクチャを用いて、3つの異なるドメインのデータセット上でPAdaNormを評価する。 PAdaNormは3つのPDEファミリー全体で,60ステップの自己回帰ロールアウトにおいて,パラメータマッチングベースラインよりも最大16%よい値を示した。 また,PAdaNormは多孔質媒質中の不透過性固形領域への流路の防止など,長期にわたるロールアウトよりも厳しい物理的制約を良好に維持できることがわかった。 条件付けが静的な場合、PAdaNormは条件付けの埋め込みを一度キャッシュし、ロールアウト全体にわたって再利用する。 8つの条件付き変種に対するアブレーションは、1つの注意軸(時間軸または空間軸)のサフィスを調節し、ブロック間での軽量共有MLPがブロックごとの投影と競合することを示している。

関連論文リスト

• Dynamic Quadtree Tokenization and Transformer for Adaptive Mesh PDE Forecasting [0.509780930114934]
  WAMRViTは、ウェーブレットにインスパイアされた洗練された基準を用いて、入力をバランスの取れたクワッドツリーとしてトークン化するViTである。 マルチスケールの変種は、各リーフをそのネイティブソースの解像度で保持し、モデルが解像度のレベルを越えて学習できるようにする。
  論文  参考訳（メタデータ） (2026-10-02T20:51:19Z)
• Transolver-$σ$: Joint Spectral-Physical Subspace Modeling for Neural PDE Solving [53.58729034895666]
  Transolver-$は、結合スペクトル-物理部分空間モデリングに基づくニューラルPDEソルバである。 平均的な相対誤差を33.4%減らし、各基準に対して最強の基準線を上回り、最先端を達成している。
  論文  参考訳（メタデータ） (2026-09-29T11:24:19Z)
• AdaST: Adaptive Coupling for Spatial-Temporal Forecasting [73.12995092031646]
  実世界のSTデータは、時間的支配と空間的支配から強い結合まで、異なる結合状態を示す。 本稿では,これらの課題に対処する適応的なST予測フレームワークであるAdaSTを提案する。 AdaSTは最先端のベースラインを大幅に上回り、適応的なアプローチの必要性を検証する。
  論文  参考訳（メタデータ） (2026-09-28T18:52:12Z)
• SAPE: Sandwich Adapters for Parameter Efficiency in Large Language Model Fine-Tuning [0.0]
  サンドイッチスタイルの重量共有トポロジーに基づくPEFTフレームワークであるSAPEを紹介する。 SAPEは、バランスの取れたグループアダプタを介して中間トランスフォーマー層をルーティングする。 動的パラメータ共有法に関連する計算オーバーヘッドを排除しつつ、メモリ消費を大幅に削減する。
  論文  参考訳（メタデータ） (2026-08-15T18:32:47Z)
• GAIA: Geometry-Adaptive Operator Learning for Forward and Inverse Problems [17.161755403211252]
  本稿では,領域境界と内界分布を幾何学トークンに符号化する演算子学習モデルであるGeometry-Adaptive Integral Autoencoder (GAIA)を紹介する。 これにより、前方(BVPを含む)と任意の領域上の逆問題に対する単一のアーキテクチャが得られる。 我々はGAIAを7つの2Dおよび3Dベンチマークで評価し、そのうち4つは逆問題とBVPに対する新しいまたは実質的に拡張されたベンチマークである。
  論文  参考訳（メタデータ） (2026-07-01T16:14:22Z)
• GateRA: Token-Aware Modulation for Parameter-Efficient Fine-Tuning [51.79350934271497]
  GateRAは、PEFT更新の強度を動的に調整するトークン対応変調を導入する統一フレームワークである。 適応ゲーティングを標準のPEFTブランチに組み込むことで、Gateraは選択的でトークンレベルの適応を可能にする。 複数のコモンセンス推論ベンチマークの実験により、GateRAはPEFT法よりも一貫して優れ、一致していることが示された。
  論文  参考訳（メタデータ） (2025-11-15T17:55:47Z)
• FieldFormer: Physics-Informed Transformers for Spatio-Temporal Field Reconstruction from Sparse Sensors [4.027064713296126]
  本研究では、メッシュフリー時間フィールド再構築のためのトランスフォーマーベースのフレームワークであるFieldFormerを紹介する。 各クエリに対して、FieldFormerは学習可能なベロシティスケール距離メトリックを使用して、ローカルエリアを収集する。 本研究では,フィールドフォーマーの精度(RMSE$10-2$)と,スパース(0.4%-2%)とノイズ(10%)データから効率よく,物理的に一貫したフィールド再構成を可能にすることを示す。
  論文  参考訳（メタデータ） (2025-10-04T00:37:28Z)
• EntroPE: Entropy-Guided Dynamic Patch Encoder for Time Series Forecasting [50.794700596484894]
  IntroPE(Entropy-Guided Dynamic Patch)は,条件付きエントロピーによる遷移点を動的に検出する新しい時間情報フレームワークである。 これは、パッチの計算上の利点を維持しながら、時間構造を保存する。 長期予測ベンチマークによる実験では、EntroPEは精度と効率の両方を改善している。
  論文  参考訳（メタデータ） (2025-09-30T12:09:56Z)
• Controllable Patching for Compute-Adaptive Surrogate Modeling of Partial Differential Equations [5.248019942004983]
  本稿では,パッチベースモデルにおける動的パッチサイズ制御の推論を可能にする2つの軽量モジュールを提案する。 私たちの知る限り、これはパッチベースのPDEサロゲートにおいて、推論時パッチサイズのチューニングを可能にする最初のフレームワークです。
  論文  参考訳（メタデータ） (2025-07-12T12:16:04Z)
• Adaptive Multi-step Refinement Network for Robust Point Cloud Registration [82.64560249066734]
  ポイントクラウド登録は、同じシーンの2つのポイントクラウド間の相対的な厳密な変換を推定する。 本稿では,前ステップからの情報を活用することで,各ステップの登録品質を向上する適応型多段階改良ネットワークを提案する。 本手法は3DMatch/3DLoMatchベンチマークとKITTIベンチマークの両方で最先端の性能を実現する。
  論文  参考訳（メタデータ） (2023-12-05T18:59:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。