論文の概要: MeshTok: Efficient Multi-Scale Tokenization for Scalable PDE Transformers
- arxiv url: http://arxiv.org/abs/2606.04366v1
- Date: Wed, 03 Jun 2026 02:29:04 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-04 20:44:18.483031
- Title: MeshTok: Efficient Multi-Scale Tokenization for Scalable PDE Transformers
- Title（参考訳）: MeshTok: スケーラブルPDEトランスのための効率的なマルチスケールトークン化
- Authors: Yanshun Zhao, Xiaoyu Peng, Jiamin Jiang, Congcong Zhu, Jingrun Chen,
- Abstract要約: MeshTokは、アダプティブメッシュリファインメント(AMR)にインスパイアされたトークン化とシーケンスモデリングフレームワークである。
MeshTokは、均一グリッドベースラインと比較して、効率と精度のトレードオフを一貫して改善することを示す。
これは、ニューラルネットワークPDEモデリングのためのスケーラブルで一般化可能な設計原理として、適応的なマルチスケールトークン化を提案する。
- 参考スコア（独自算出の注目度）: 7.092813236742509
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: Conventional patchified Transformers operate on uniform spatial partitions, distributing computational effort evenly across the domain irrespective of local features. This inflexible tokenization scheme is inherently limited in its ability to efficiently represent and process solutions to complex PDEs. To address this, we propose MeshTok, an adaptive mesh refinement (AMR)-inspired tokenization and sequence modeling framework. This method selectively refines spatial regions exhibiting sharp gradients, transient features, or multiscale structures, generating a heterogeneous set of multiscale tokens defined on a fixed simulation grid. These tokens are processed within a unified Transformer sequence, enabling the model to simultaneously capture coarse-grained global context and fine-grained local details without requiring specialized architectural components. Although adaptive refinement moderately increases token count, it promotes a more targeted allocation of computational resources to physically informative regions, which we view as a practical inductive bias rather than a formal optimality guarantee. Experimental evaluations across multiple PDE families and benchmark datasets demonstrate that MeshTok consistently improves the efficiency-accuracy trade-off compared to uniform-grid baselines. This suggests adaptive multiscale tokenization as a scalable and generalizable design principle for neural PDE modeling. Code is available at https://github.com/SCAILab-USTC/MeshTok.
- Abstract（参考訳）: 従来のパッチ付きトランスフォーマーは均一な空間分割で動作し、局所的な特徴に関係なく、各領域に均等に計算処理を分散する。
この非フレキシブルなトークン化スキームは、複雑なPDEの解を効率的に表現し処理する能力に本質的に制限されている。
そこで我々は,AMR(Adaptive Mesh refinement)にヒントを得たトークン化およびシーケンスモデリングフレームワークであるMeshTokを提案する。
この方法は、鋭い勾配、過渡的特徴、またはマルチスケール構造を示す空間領域を選択的に洗練し、固定されたシミュレーショングリッド上に定義された多スケールトークンの異種集合を生成する。
これらのトークンは統合されたTransformerシーケンス内で処理され、特別なアーキテクチャコンポーネントを必要とせずに、粗いグローバルコンテキストときめ細かいローカル詳細を同時にキャプチャすることができる。
アダプティブ・リファインメントはトークンの数を適度に増やすが、計算資源を物理的に情報的領域に割り当てることを促進する。
複数のPDEファミリとベンチマークデータセットに対する実験的評価は、MeshTokが均一グリッドベースラインと比較して、効率と精度のトレードオフを一貫して改善していることを示している。
これは、ニューラルネットワークPDEモデリングのためのスケーラブルで一般化可能な設計原理として、適応的なマルチスケールトークン化を提案する。
コードはhttps://github.com/SCAILab-USTC/MeshTok.comで入手できる。
関連論文リスト
- Thinking with Images as Continuous Actions: Numerical Visual Chain-of-Thought [55.65577137924979]
本稿では,連続的な数値座標を用いたMLLM画像の推論を可能にするフレームワークを提案する。
NV-CoTはMLLM作用空間を離散語彙トークンから連続ユークリッド空間へと拡張する。
3つのベンチマーク実験により、NV-CoTは局所化精度と最終回答精度を大幅に向上することが示された。
論文 参考訳（メタデータ） (2026-02-27T12:04:07Z) - DInf-Grid: A Neural Differential Equation Solver with Differentiable Feature Grids [73.28614344779076]
我々は、微分方程式(DE)を効率的に解くための微分可能グリッドベース表現を提案する。
その結果,座標法よりも5～20倍の高速化を実現し,差分方程式を数秒または数分で解き,精度とコンパクト性を維持した。
論文 参考訳（メタデータ） (2026-01-15T18:59:57Z) - Adaptive Mesh-Quantization for Neural PDE Solvers [51.26961483962011]
グラフニューラルネットワークは複雑なジオメトリや境界条件に必要な不規則なメッシュを処理できるが、それでもすべてのノードで一様計算処理を適用できる。
適応メッシュ量子化(Adaptive Mesh Quantization): メッシュノード,エッジ,クラスタ特徴間の空間適応量子化であり,量子化モデルで使用されるビット幅を動的に調整する。
我々は,MP-PDEとGraphViTという2つの最先端モデルと統合して,複数のタスクのパフォーマンスを評価することで,フレームワークの有効性を実証する。
論文 参考訳（メタデータ） (2025-11-23T14:47:24Z) - A domain decomposition-based autoregressive deep learning model for unsteady and nonlinear partial differential equations [2.7755345520127936]
非定常・非線形偏微分方程式(PDE)を正確にモデル化するためのドメイン分割型ディープラーニング(DL)フレームワークCoMLSimを提案する。
このフレームワークは、(a)畳み込みニューラルネットワーク(CNN)ベースのオートエンコーダアーキテクチャと(b)完全に接続された層で構成される自己回帰モデルという、2つの重要なコンポーネントで構成されている。
論文 参考訳（メタデータ） (2024-08-26T17:50:47Z) - AROMA: Preserving Spatial Structure for Latent PDE Modeling with Local Neural Fields [14.219495227765671]
本稿では、局所的なニューラルネットワークを用いた偏微分方程式(PDE)のモデリングを強化するためのフレームワークであるAROMAを提案する。
我々のフレキシブルエンコーダ・デコーダアーキテクチャは、様々なデータタイプから空間物理場のスムーズな遅延表現を得ることができる。
拡散型定式化を用いることで、従来のMSEトレーニングと比較して安定性が向上し、ロールアウトが長くなる。
論文 参考訳（メタデータ） (2024-06-04T10:12:09Z) - Ensemble Kalman Filtering Meets Gaussian Process SSM for Non-Mean-Field and Online Inference [47.460898983429374]
我々は,非平均場(NMF)変動推定フレームワークにアンサンブルカルマンフィルタ(EnKF)を導入し,潜在状態の後方分布を近似する。
EnKFとGPSSMのこの新しい結婚は、変分分布の学習における広範なパラメータ化の必要性をなくすだけでなく、エビデンスの下限(ELBO)の解釈可能でクローズドな近似を可能にする。
得られたEnKF支援オンラインアルゴリズムは、データ適合精度を確保しつつ、モデル正規化を組み込んで過度適合を緩和し、目的関数を具現化する。
論文 参考訳（メタデータ） (2023-12-10T15:22:30Z) - CSformer: Bridging Convolution and Transformer for Compressive Sensing [65.22377493627687]
本稿では,CNNからの詳細な空間情報を活用するためのハイブリッドフレームワークと,表現学習の強化を目的としたトランスフォーマーが提供するグローバルコンテキストを統合することを提案する。
提案手法は、適応的なサンプリングとリカバリからなるエンドツーエンドの圧縮画像センシング手法である。
実験により, 圧縮センシングにおける専用トランスアーキテクチャの有効性が示された。
論文 参考訳（メタデータ） (2021-12-31T04:37:11Z) - LevelSet R-CNN: A Deep Variational Method for Instance Segmentation [79.20048372891935]
現在、多くのアートモデルはMask R-CNNフレームワークに基づいている。
本稿では,両世界の長所を結合したR-CNNを提案する。
我々はCOCOおよびCityscapesデータセットに対するアプローチの有効性を示す。
論文 参考訳（メタデータ） (2020-07-30T17:52:18Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。