論文の概要: Mondrian: Transformer Operators via Domain Decomposition

• arxiv url: http://arxiv.org/abs/2506.08226v1
• Date: Mon, 09 Jun 2025 20:52:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-11 15:11:40.756103
• Title: Mondrian: Transformer Operators via Domain Decomposition
• Title（参考訳）: Mondrian: ドメイン分割によるトランスフォーマー演算子
• Authors: Arthur Feeney, Kuei-Hsiang Huang, Aparna Chandramowlishwaran,
• Abstract要約: ドメインを重複しないテキストに分解する変換演算子bfMondrianを導入する。 各サブドメイン内では、標準的なレイヤを表現力のあるニューラル演算子に置き換え、関数上のソフトマックスベースの内部積によって注意が計算される。 Mondrianは、Allen-Cahn と Navier-Stokes PDE 上で強力なパフォーマンスを実現し、再トレーニングせずに解像度のスケーリングを実証している。
• 参考スコア（独自算出の注目度）: 2.1392064955842014
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Operator learning enables data-driven modeling of partial differential equations (PDEs) by learning mappings between function spaces. However, scaling transformer-based operator models to high-resolution, multiscale domains remains a challenge due to the quadratic cost of attention and its coupling to discretization. We introduce \textbf{Mondrian}, transformer operators that decompose a domain into non-overlapping subdomains and apply attention over sequences of subdomain-restricted functions. Leveraging principles from domain decomposition, Mondrian decouples attention from discretization. Within each subdomain, it replaces standard layers with expressive neural operators, and attention across subdomains is computed via softmax-based inner products over functions. The formulation naturally extends to hierarchical windowed and neighborhood attention, supporting both local and global interactions. Mondrian achieves strong performance on Allen-Cahn and Navier-Stokes PDEs, demonstrating resolution scaling without retraining. These results highlight the promise of domain-decomposed attention for scalable and general-purpose neural operators.
• Abstract（参考訳）: 演算子学習は、関数空間間の写像を学習することで、偏微分方程式(PDE)のデータ駆動モデリングを可能にする。 しかし、変換器をベースとした演算子モデルを高分解能なマルチスケール領域に拡張することは、注意の二次的コストと離散化への結合のため、依然として課題である。 ドメインを重複しないサブドメインに分解し、サブドメイン制限関数の列に注意を向ける変換子演算子である \textbf{Mondrian} を導入する。 ドメイン分解から原則を取り入れたモンドリアンは、差別化から注意を引き離す。 各サブドメイン内では、標準的なレイヤを表現力のあるニューラル演算子に置き換え、サブドメインをまたいだ注意は、関数上のソフトマックスベースの内部積によって計算される。 この定式化は自然に階層的な窓と近隣の注意に拡張され、局所的およびグローバルな相互作用をサポートする。 Mondrianは、Allen-Cahn と Navier-Stokes PDE 上で強力なパフォーマンスを実現し、再トレーニングせずに解像度のスケーリングを実証している。 これらの結果は、スケーラブルで汎用的なニューラル演算子に対するドメイン分解された注意力の約束を浮き彫りにしている。

関連論文リスト

• A general reduced-order neural operator for spatio-temporal predictive learning on complex spatial domains [1.708086375224371]
  本稿では,複雑なプロセス(PL-STP)の予測学習における不等領域マッピングに着目した。 近年のディープラーニングの進歩は、観測データから直接演算子を学習する神経演算子(NO)の大きな可能性を明らかにしている。 既存のNOは入力空間と出力空間を同じ領域とする必要があり、不等領域写像の予測精度と安定性を確保することが課題となる。
  論文  参考訳（メタデータ） (2024-09-09T11:02:27Z)
• Learning the boundary-to-domain mapping using Lifting Product Fourier Neural Operators for partial differential equations [5.5927988408828755]
  我々は、任意の境界関数を領域全体の解にマッピングできる新しいFNOベースのアーキテクチャ、Lifting Product FNO(LP-FNO)を提案する。 2次元ポアソン方程式に対して提案したLP-FNOの有効性と分解能の独立性を実証する。
  論文  参考訳（メタデータ） (2024-06-24T15:45:37Z)
• StyDeSty: Min-Max Stylization and Destylization for Single Domain Generalization [85.18995948334592]
  単一のドメインの一般化(単一DG)は、単一のトレーニングドメインからのみ見えないドメインに一般化可能な堅牢なモデルを学ぶことを目的としている。 最先端のアプローチは、主に新しいデータを合成するために、敵対的な摂動やスタイルの強化といったデータ拡張に頼っている。 データ拡張の過程で、ソースと擬似ドメインのアライメントを明示的に考慮したemphStyDeStyを提案する。
  論文  参考訳（メタデータ） (2024-06-01T02:41:34Z)
• Neural Operators with Localized Integral and Differential Kernels [77.76991758980003]
  本稿では,2つのフレームワークで局所的な特徴をキャプチャできる演算子学習の原理的アプローチを提案する。 我々はCNNのカーネル値の適切なスケーリングの下で微分演算子を得ることを示す。 局所積分演算子を得るには、離散連続的畳み込みに基づくカーネルの適切な基底表現を利用する。
  論文  参考訳（メタデータ） (2024-02-26T18:59:31Z)
• Multi-Grid Tensorized Fourier Neural Operator for High-Resolution PDEs [93.82811501035569]
  本稿では,メモリ要求を低減し,より一般化したデータ効率・並列化可能な演算子学習手法を提案する。 MG-TFNOは、実世界の実世界の現象の局所的構造と大域的構造を活用することで、大規模な分解能にスケールする。 乱流ナビエ・ストークス方程式において150倍以上の圧縮で誤差の半分以下を達成できる優れた性能を示す。
  論文  参考訳（メタデータ） (2023-09-29T20:18:52Z)
• A Generalized Schwarz-type Non-overlapping Domain Decomposition Method using Physics-constrained Neural Networks [0.9137554315375919]
  ニューラルネットワークに基づくメッシュレスシュワルツ型非重複領域分解を提案する。 この方法は、ラプラス方程式とヘルムホルツ方程式の両方に適用できる。
  論文  参考訳（メタデータ） (2023-07-23T21:18:04Z)
• Neural Operator: Learning Maps Between Function Spaces [75.93843876663128]
  本稿では,無限次元関数空間間を写像する演算子,いわゆるニューラル演算子を学習するためのニューラルネットワークの一般化を提案する。 提案したニューラル作用素に対して普遍近似定理を証明し、任意の非線形連続作用素を近似することができることを示す。 ニューラル作用素に対する重要な応用は、偏微分方程式の解作用素に対する代理写像を学習することである。
  論文  参考訳（メタデータ） (2021-08-19T03:56:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。