論文の概要: Zero-shot generalization of transformer neural operators to larger domains

• arxiv url: http://arxiv.org/abs/2606.14597v1
• Date: Fri, 12 Jun 2026 16:17:31 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-15 16:00:42.981361
• Title: Zero-shot generalization of transformer neural operators to larger domains
• Title（参考訳）: 変圧器ニューラル作用素の大域へのゼロショット一般化
• Authors: Armand de Villeroché, Sibo Cheng, Vincent Le Guen, Marc Bocquet, Rem-Sophia Mouradi, Patrick Armand, Alban Farchi, Patrick Massin,
• Abstract要約: 変圧器に基づくニューラル演算子は、複素幾何学上の偏微分方程式の近似解演算子に対して顕著な性能を示した。 既存のアプローチは暗黙的に固定されたドメインサイズを仮定し、推論時に一般化する能力を制限する。 本研究では,訓練中に遭遇した領域よりもはるかに大きい空間領域に対するゼロショット推論の領域拡張について検討する。
• 参考スコア（独自算出の注目度）: 5.254567635692465
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Transformer-based neural operators have shown remarkable performance for approximating solution operators of partial differential equations on complex geometries. However, existing approaches implicitly assume a fixed domain size, which limits their ability to generalize at inference. In this work, we investigate domain extension, namely zero-shot inference on spatial domains that are significantly larger than those encountered during training. We argue that this setting fundamentally requires spatial locality and translation equivariance. We propose to implement this locality via a decomposable bias in the attention logits computation, enabling finely controllable locality while remaining fully decomposable into query-key inner products and directly compatible with optimized attention kernels. Combined with rotary positional embeddings, it enables expressive embeddings with controllable spatial support without altering the transformer architecture. We empirically show that our approach substantially improves zero-shot generalization to larger domains across two PDE benchmarks and a 3D industrial atmospheric flow application. Our code and datasets are available at https://github.com/cerea-daml/domain-extension.
• Abstract（参考訳）: 変圧器に基づくニューラル演算子は、複素幾何学上の偏微分方程式の解演算子を近似する際、顕著な性能を示した。 しかし、既存のアプローチは暗黙的に固定されたドメインサイズを仮定し、推論時に一般化する能力を制限する。 本研究では,訓練中に遭遇した領域よりもはるかに大きい空間領域に対するゼロショット推論の領域拡張について検討する。 この設定は、基本的に空間的局所性と変換の同値性を必要とすると論じる。 本稿では、アテンションロジット計算における分解可能なバイアスにより、クエリキー内部の製品に完全に分解可能で、最適化されたアテンションカーネルと直接互換性を持ちながら、きめ細かな制御が可能なローカリティを実現することを提案する。 回転位置埋め込みと組み合わせることで、トランスアーキテクチャを変更することなく、制御可能な空間サポートを備えた表現的埋め込みを可能にする。 提案手法は,2つのPDEベンチマークと3次元産業用大気流アプリケーションを用いて,大規模領域へのゼロショット一般化を大幅に改善することを示す。 コードとデータセットはhttps://github.com/cerea-daml/ domain-extension.comで公開しています。

関連論文リスト

• EqGINO: Equivariant Geometry-Informed Fourier Neural Operators for 3D PDEs [12.013314817711054]
  スペクトル領域における等方性を強制する幾何的に堅牢なフレームワークであるEqGINOを紹介する。 複素不規則な3次元幾何学上の座標不変物理法則を強固にモデル化する。
  論文  参考訳（メタデータ） (2026-06-02T07:23:06Z)
• From Local Interactions to Global Operators: Scalable Gaussian Process Operator for Physical Systems [7.807210884802377]
  本稿では,カーネル設計による空間性,局所性,構造情報を活かした,新しいスケーラブルなGPOを提案する。 我々のフレームワークは、様々な離散化スケールで常に高い精度を達成できることを実証する。
  論文  参考訳（メタデータ） (2025-06-18T22:40:52Z)
• Mondrian: Transformer Operators via Domain Decomposition [2.1392064955842014]
  ドメインを重複しないテキストに分解する変換演算子bfMondrianを導入する。 各サブドメイン内では、標準的なレイヤを表現力のあるニューラル演算子に置き換え、関数上のソフトマックスベースの内部積によって注意が計算される。 Mondrianは、Allen-Cahn と Navier-Stokes PDE 上で強力なパフォーマンスを実現し、再トレーニングせずに解像度のスケーリングを実証している。
  論文  参考訳（メタデータ） (2025-06-09T20:52:04Z)
• GMapLatent: Geometric Mapping in Latent Space [51.317738404571514]
  エンコーダ-デコーダAIアーキテクチャに基づくドメイン間の生成モデルは、現実的な画像の生成に大きな注目を集めている。 幾何学的マッピングに基づく正準潜在空間表現を導入し、領域間潜在空間を厳密かつ正確に整列する。 グレースケールおよびカラー画像の実験は、GMapLatentの有効性、有効性および適用性を検証する。
  論文  参考訳（メタデータ） (2025-03-30T12:02:36Z)
• A general reduced-order neural operator for spatio-temporal predictive learning on complex spatial domains [1.708086375224371]
  本稿では,複雑なプロセス(PL-STP)の予測学習における不等領域マッピングに着目した。 近年のディープラーニングの進歩は、観測データから直接演算子を学習する神経演算子(NO)の大きな可能性を明らかにしている。 既存のNOは入力空間と出力空間を同じ領域とする必要があり、不等領域写像の予測精度と安定性を確保することが課題となる。
  論文  参考訳（メタデータ） (2024-09-09T11:02:27Z)
• Neural Operators with Localized Integral and Differential Kernels [77.76991758980003]
  本稿では,2つのフレームワークで局所的な特徴をキャプチャできる演算子学習の原理的アプローチを提案する。 我々はCNNのカーネル値の適切なスケーリングの下で微分演算子を得ることを示す。 局所積分演算子を得るには、離散連続的畳み込みに基づくカーネルの適切な基底表現を利用する。
  論文  参考訳（メタデータ） (2024-02-26T18:59:31Z)
• Multi-Grid Tensorized Fourier Neural Operator for High-Resolution PDEs [93.82811501035569]
  本稿では,メモリ要求を低減し,より一般化したデータ効率・並列化可能な演算子学習手法を提案する。 MG-TFNOは、実世界の実世界の現象の局所的構造と大域的構造を活用することで、大規模な分解能にスケールする。 乱流ナビエ・ストークス方程式において150倍以上の圧縮で誤差の半分以下を達成できる優れた性能を示す。
  論文  参考訳（メタデータ） (2023-09-29T20:18:52Z)
• Domain-aware Triplet loss in Domain Generalization [0.0]
  ドメインシフトは、テストとトレーニングデータの分布の相違によって引き起こされる。 ドメイン一般化のためのドメイン認識三重項損失を設計し、モデルが類似のセマンティックな特徴をクラスタリングするのを助ける。 本アルゴリズムは,埋め込み空間におけるドメイン情報を分散するように設計されている。
  論文  参考訳（メタデータ） (2023-03-01T14:02:01Z)
• Exploring Sequence Feature Alignment for Domain Adaptive Detection Transformers [141.70707071815653]
  本稿では,検出変圧器の適応に特化して設計された新しいシーケンス特徴アライメント(SFA)法を提案する。 SFAはドメインクエリベースの機能アライメント(DQFA)モジュールとトークンワイド機能アライメント(TDA)モジュールで構成される。 3つの挑戦的なベンチマーク実験により、SFAは最先端のドメイン適応オブジェクト検出方法より優れていることが示された。
  論文  参考訳（メタデータ） (2021-07-27T07:17:12Z)
• Bi-Directional Generation for Unsupervised Domain Adaptation [61.73001005378002]
  教師なしのドメイン適応は、確立されたソースドメイン情報に依存するラベルなしのターゲットドメインを促進する。 従来の手法では、潜在空間におけるドメインの不一致を強制的に低減することで、本質的なデータ構造が破壊される。 本稿では、2つの中間領域をブリッジソースとターゲットドメインに補間する一貫した分類器を用いた双方向生成ドメイン適応モデルを提案する。
  論文  参考訳（メタデータ） (2020-02-12T09:45:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。