論文の概要: Dynamic Quadtree Tokenization and Transformer for Adaptive Mesh PDE Forecasting

• arxiv url: http://arxiv.org/abs/2610.04044v1
• Date: Fri, 02 Oct 2026 20:51:19 GMT
• ステータス: 情報取得中
• システム内更新日: 2026-10-06 20:40:13.022173
• Title: Dynamic Quadtree Tokenization and Transformer for Adaptive Mesh PDE Forecasting
• Title（参考訳）: 適応型メッシュPDE予測のための動的四分木トークン化と変換器
• Abstract要約: WAMRViTは、ウェーブレットにインスパイアされた洗練された基準を用いて、入力をバランスの取れたクワッドツリーとしてトークン化するViTである。 マルチスケールの変種は、各リーフをそのネイティブソースの解像度で保持し、モデルが解像度のレベルを越えて学習できるようにする。
• 参考スコア（独自算出の注目度）: 0.509780930114934
• License:
• Abstract: The quadratic attention cost of Vision Transformers (ViTs) forces a trade-off between spatial resolution and rollout horizon, particularly for fine-scale PDEs where shocks, reaction fronts, and material interfaces occupy small, evolving regions of the domain. Conventional neural surrogates also lack mechanisms to adapt resolution dynamically. We propose WAMRViT, a ViT that tokenizes inputs as balanced quadtrees using a wavelet-inspired refinement criterion, jointly encodes position and refinement level with 3D rotary positional embeddings, and regrids in cell space during inference for stable long-horizon rollouts. A multi-scale variant retains each leaf at its native source resolution and lets the model learn across resolution levels. Unlike fixed-budget adaptive-tokenization methods, WAMRViT imposes no predetermined token count and supports fully adaptive topology throughout autoregressive rollout. To our knowledge, it is the first machine-learning surrogate to natively tokenize multi-level Adaptive Mesh Refinement (AMR) data. On uniform-grid benchmarks, uniform-patch WAMRViT improves finest-level region-of-interest VRMSE over a finest-patch uniform ViT while using substantially fewer tokens. The multi-scale variant achieves the lowest first-step full-field RMSE and VRMSE on both benchmarks and improves rollout-averaged full-field and refined-region accuracy at long horizons. With parallelized regridding, its end-to-end rollout cost lies between finest-patch and approximately token-matched coarser-patch ViTs. On a complex AMR combustion problem whose finest features cannot be represented natively by the evaluated uniform-grid baselines, WAMRViT operates directly on adaptive cells and substantially reduces finest-level error at matched transformer capacity. Code: https://github.com/tonyzyl/wamrvit
• Abstract（参考訳）: 視覚変換器(ViT)の二次的注意コストは空間分解能とロールアウト水平線との間のトレードオフを強制し、特に衝撃、反応フロント、物質界面がドメインの小さな、進化する領域を占有する大規模PDEに対してである。 従来のニューラルサロゲートは、分解能を動的に適応させるメカニズムが欠如している。 WAMRViTは、ウェーブレットにインスパイアされた精細度基準を用いて、入力をバランスの取れたクアッドツリーとしてトークン化し、3次元回転する位置埋め込みで位置と精細度を共に符号化し、安定な長軸ロールアウトの推論中に細胞空間に再生成する。 マルチスケールの変種は、各リーフをそのネイティブソースの解像度で保持し、モデルが解像度のレベルを越えて学習できるようにする。 固定予算適応トークン化法とは異なり、WAMRViTは所定のトークンカウントを課さず、自動回帰ロールアウトを通して完全に適応トポロジーをサポートする。 私たちの知る限り、マルチレベルのAdaptive Mesh Refinement(AMR)データをネイティブにトークン化する最初の機械学習サロゲートです。 均一グリッドのベンチマークでは、WAMRViTは、非常に少ないトークンを使用しながら、最高レベルのVRMSEを改善する。 マルチスケールの派生型は、両方のベンチマークにおいて最も低い第1ステップのフルフィールドRMSEとVRMSEを実現し、長い地平線でのロールアウト平均のフルフィールドと精細領域の精度を改善する。 並列化されたリグリディングでは、そのエンドツーエンドのロールアウトコストは、最高のパッチとおよそトークンマッチングされた粗いパッチViTの間にある。 評価された一様グリッドベースラインによって、最も優れた特徴をネイティブに表現できない複雑なAMR燃焼問題において、WAMRViTは適応セル上で直接動作し、整合トランスキャパシティにおいて、ファストレベルエラーを大幅に低減する。 コード:https://github.com/tonyzyl/wamrvit

関連論文リスト

• Fast Enough to Act: Spatio-Temporal Visual Token Merging for Low-Latency Robotic VLMs and VLAs [21.02858354959528]
  視覚言語モデルと視覚言語アクションモデルにより、ロボットには前例のない能力がある。 ビデオや高解像度画像の入力は膨大な数の視覚トークンをもたらし、非常に高い推論遅延をもたらし、ロボットのリアルタイム制御を著しく妨げる。 本稿では,視覚的エンコーディングフェーズにおいて,冗長トークンを直接効率的に融合するプラグイン・アンド・プレイフレームワークST-Mergeを提案する。
  論文  参考訳（メタデータ） (2026-06-28T11:42:55Z)
• MeshTok: Efficient Multi-Scale Tokenization for Scalable PDE Transformers [7.092813236742509]
  MeshTokは、アダプティブメッシュリファインメント(AMR)にインスパイアされたトークン化とシーケンスモデリングフレームワークである。 MeshTokは、均一グリッドベースラインと比較して、効率と精度のトレードオフを一貫して改善することを示す。 これは、ニューラルネットワークPDEモデリングのためのスケーラブルで一般化可能な設計原理として、適応的なマルチスケールトークン化を提案する。
  論文  参考訳（メタデータ） (2026-06-03T02:29:04Z)
• Q-Zoom: Query-Aware Adaptive Perception for Efficient Multimodal Large Language Models [41.32939197803798]
  Q-Zoomはクエリ対応の適応型高解像度認識フレームワークである。 軽量ゲーティングネットワークは、粗いグローバルな特徴が十分である場合に、高解像度処理を安全にバイパスする。 自己蒸留領域ネットワークは、中間特徴空間からタスク関連領域を正確にローカライズする。
  論文  参考訳（メタデータ） (2026-04-08T10:12:30Z)
• Hybrid Dual-Path Linear Transformations for Efficient Transformer Architectures [0.0]
  本稿では,アフィン変換を2つのトポロジカルな経路に分解するHybrid Dual-Path Linear (HDPL)演算子について紹介する。 FineWeb-Eduデータセットの実験では、HDPLアーキテクチャが標準のLlamaスタイルのベースラインより優れていることが示されている。 本稿では,トランスフォーマーのバックボーン内での確率的潜在空間の明示的な物質化が,重要な建築的余裕として果たす役割について論じる。
  論文  参考訳（メタデータ） (2026-02-05T20:16:10Z)
• Head-wise Adaptive Rotary Positional Encoding for Fine-Grained Image Generation [35.66580960895196]
  RoPE (Rotary Position Embedding) は1次元領域で優れているが, 画像生成への応用には大きな限界がある。 HaroPEは、特異値分解によってパラメータ化される学習可能な線形変換を挿入する、ヘッドワイド適応拡張である。 HaroPEは強力なRoPEベースラインや他の拡張よりも一貫してパフォーマンスを改善している。
  論文  参考訳（メタデータ） (2025-10-12T07:46:28Z)
• Transformers as Support Vector Machines [54.642793677472724]
  自己アテンションの最適化幾何と厳密なSVM問題との間には,形式的等価性を確立する。 勾配降下に最適化された1層変圧器の暗黙バイアスを特徴付ける。 これらの発見は、最適なトークンを分離し選択するSVMの階層としてのトランスフォーマーの解釈を刺激していると信じている。
  論文  参考訳（メタデータ） (2023-08-31T17:57:50Z)
• DSVT: Dynamic Sparse Voxel Transformer with Rotated Sets [95.84755169585492]
  本研究では,屋外3次元知覚のためのシングルストライドウィンドウベースのボクセルトランスであるDynamic Sparse Voxel Transformer (DSVT)を提案する。 本モデルでは,3次元認識タスクを多岐にわたって行うことにより,最先端の性能を実現する。
  論文  参考訳（メタデータ） (2023-01-15T09:31:58Z)
• AdaStereo: An Efficient Domain-Adaptive Stereo Matching Approach [50.855679274530615]
  本稿では,AdaStereoというドメイン適応型アプローチを提案する。 我々のモデルは、KITTI、Middlebury、ETH3D、DrivingStereoなど、複数のベンチマークで最先端のクロスドメイン性能を実現している。 提案手法は,様々なドメイン適応設定に対して堅牢であり,迅速な適応アプリケーションシナリオや実環境展開に容易に組み込むことができる。
  論文  参考訳（メタデータ） (2021-12-09T15:10:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。