論文の概要: Disentangling Attention in Deep Operator Learning: A Controlled Study of Data-Driven and Physics-Informed Architectures

• arxiv url: http://arxiv.org/abs/2609.04407v1
• Date: Thu, 03 Sep 2026 19:17:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-07 18:15:23.801361
• Title: Disentangling Attention in Deep Operator Learning: A Controlled Study of Data-Driven and Physics-Informed Architectures
• Title（参考訳）: ディープ・オペレーター・ラーニングにおけるディペンタングリングの注意:データ駆動型および物理インフォームド・アーキテクチャの制御された研究
• Abstract要約: 注意機構は神経オペレーターに導入されたが、ほとんどの研究は一度にいくつかのアーキテクチャコンポーネントを変更する。 この研究は、データ駆動型と物理インフォームド型の両方で訓練された、異なる注意機構を持つ5つのディープオペレータネットワーク(DeepONet)の制御および体系的な研究を示す。
• 参考スコア（独自算出の注目度）: 0.25489046505746704
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Deep neural operators learn mappings between input functions and complete PDE solution fields, enabling forward evaluations of new problem instances orders of magnitude faster than conventional numerical solvers. Attention mechanisms have recently been introduced into neural operators, but most studies change several architectural components at once, making it difficult to identify what actually improves accuracy. This work presents a controlled and systematic study of five deep operator network (DeepONet) variants with distinct attention mechanisms, trained under both data-driven and physics-informed regimes, to isolate the effects of cross-attention, self-attention, tokenization, and attention depth. We evaluate them on a source-driven transient one-dimensional nonlinear diffusion-reaction equation, a transient one-dimensional viscous Burgers equation with variable initial conditions, and a two-dimensional Poisson heat-conduction problem with heterogeneous source fields. Per-sensor tokenization with cross-attention reduces the mean relative L_2 error of the classical DeepONet in all benchmark-training combinations by factors of 2.4-28.0, while the best attention configurations reach 3.5-32.3. Branch self-attention paired only with dot-product fusion is inconsistent, degrading the one-dimensional problems while helping the more complex two-dimensional source field; added on top of cross-attention it improves all six cases, though by less than cross-attention fusion alone. Global pre-mixing provides no consistent benefit. Increasing cross-attention depth further improves accuracy, but with diminishing returns and a substantially higher cost under physics-informed training. Overall, query-dependent cross-attention is the most reliable mechanism, whereas branch self-attention is most useful for large, spatially complex functional inputs.
• Abstract（参考訳）: ディープニューラル演算子は入力関数と完全PDE解場の間の写像を学習し、従来の数値解法よりもはるかに高速に新しい問題インスタンスの順序の前方評価を可能にする。 近年、ニューラル演算子に注意機構が導入されたが、ほとんどの研究は一度にいくつかのアーキテクチャコンポーネントを変更するため、実際に何が正確かを特定することは困難である。 この研究は、データ駆動型と物理インフォームド型の両方で訓練され、クロスアテンション、自己アテンション、トークン化、アテンション深さの影響を分離するために、異なる注意機構を持つ5つのディープオペレータネットワーク(DeepONet)の制御および体系的な研究を示す。 本研究では, ソース駆動型過渡一次元非線形拡散反応方程式, 可変初期条件をもつ過渡一次元粘性バーガース方程式, 異種音源場をもつポアソン熱伝導問題について検討した。 クロスアテンションによるセンサー単位のトークン化は、すべてのベンチマークトレーニングの組み合わせにおける古典的なDeepONetの平均相対的なL_2エラーを2.4-28.0因子で低減し、最も注目される構成は3.5-32.3である。 ドット積の融合のみと組み合わせた分岐自己注意は矛盾せず、より複雑な2次元のソースフィールドを補助しながら1次元の問題を分解する。 グローバルなプレミックスは、一貫した利益をもたらす。 クロスアテンション深さの増大により精度が向上するが、物理インフォームドトレーニングではリターンが低下し、大幅なコストがかかる。 全体として、クエリ依存のクロスアテンションが最も信頼性の高いメカニズムであるが、分岐自己アテンションは大規模で空間的に複雑な機能入力に最も有用である。

関連論文リスト

• ShortcutBreaker: Low-Rank Noisy Bottleneck with Global Perturbation Attention for Multi-Class Unsupervised Anomaly Detection [59.89803740308262]
  ShortcutBreakerはMUADタスクのための新しい統合された機能再構成フレームワークである。 ショートカットの問題に対処する2つの重要なイノベーションが特徴だ。 提案手法は,4つのデータセットに対して,99.8%,98.9%,90.6%,87.8%の顕著な画像レベルのAUROCを実現する。
  論文  参考訳（メタデータ） (2025-10-21T06:51:30Z)
• When Network Architecture Meets Physics: Deep Operator Learning for Coupled Multiphysics [0.36651088217486427]
  本稿では, 単一物理系, 弱い結合系, 強く結合した多物理系という三つの状態におけるDeepONet変種を包括的に評価する。 本研究では, 双対空間入力を持つ反応拡散方程式, 温度依存性の導電率による双方向結合を有する非線形熱電問題, 過渡相駆動相互作用によって制御される鋼凝固の粘塑性熱-機械モデルについて考察する。 物理カップリングによるアーキテクチャの整合性が重要であるのに対し,マルチブランチ符号化は疎結合や単一物理問題に有利であることを示す。
  論文  参考訳（メタデータ） (2025-07-04T15:36:15Z)
• USAD: End-to-End Human Activity Recognition via Diffusion Model with Spatiotemporal Attention [8.061018589897277]
  人間の活動認識は、健康モニタリング、安全保護、スポーツ分析に幅広い応用を見出すタスクである。 研究の進展にもかかわらず、ヒトの活動認識は、稀な活動のためのラベル付きサンプルの不足など、依然として重要な課題に直面している。 本稿では,マルチアテンション相互作用機構に着目した包括的な最適化手法を提案する。
  論文  参考訳（メタデータ） (2025-07-03T17:38:44Z)
• Gated Attention for Large Language Models: Non-linearity, Sparsity, and Attention-Sink-Free [81.65559031466452]
  我々は、ゲーティング強化ソフトマックスアテンションの変種を調べる実験を行った。 SDPA(Scaled Dot-Product Attention)後の頭部特異的シグモイドゲートを簡易に修正することで,性能が向上することがわかった。
  論文  参考訳（メタデータ） (2025-05-10T17:15:49Z)
• Localized Gaussians as Self-Attention Weights for Point Clouds Correspondence [92.07601770031236]
  本稿では,エンコーダのみのトランスフォーマーアーキテクチャのアテンションヘッドにおける意味的意味パターンについて検討する。 注意重みの修正はトレーニングプロセスの促進だけでなく,最適化の安定性の向上にも寄与する。
  論文  参考訳（メタデータ） (2024-09-20T07:41:47Z)
• Nonlocal Attention Operator: Materializing Hidden Knowledge Towards Interpretable Physics Discovery [25.75410883895742]
  非局所注意演算子(NAO)を作製するアテンション機構に基づく新しいニューラル演算子アーキテクチャを提案する。 NAOは正規化を符号化し、一般化性を達成することで、逆PDE問題における不備とランク不足に対処することができる。
  論文  参考訳（メタデータ） (2024-08-14T05:57:56Z)
• AttNS: Attention-Inspired Numerical Solving For Limited Data Scenarios [51.94807626839365]
  限定データによる微分方程式の解法として,注目型数値解法(AttNS)を提案する。 AttNSは、モデル一般化とロバスト性の向上におけるResidual Neural Networks(ResNet)のアテンションモジュールの効果にインスパイアされている。
  論文  参考訳（メタデータ） (2023-02-05T01:39:21Z)
• Improved generalization with deep neural operators for engineering systems: Path towards digital twin [0.4551615447454769]
  我々は,ブランチ/トランクアーキテクチャを用いた Onets 実装である Deep Operator Networks (DeepONets) の性能評価を行った。 DeepONets は解演算子を正確に学習することができ、ODE および拡散問題に対して 0.96 以上の予測精度のスコアを得ることができる。 さらに、目に見えないシナリオ(ゼロショットの特徴)で評価すると、訓練されたモデルは優れた一般化能力を示す。
  論文  参考訳（メタデータ） (2023-01-17T04:57:31Z)
• A Generic Shared Attention Mechanism for Various Backbone Neural Networks [53.36677373145012]
  自己注意モジュール(SAM)は、異なる層にまたがる強い相関した注意マップを生成する。 Dense-and-Implicit Attention (DIA)はSAMをレイヤ間で共有し、長期間のメモリモジュールを使用する。 我々のシンプルで効果的なDIAは、様々なネットワークバックボーンを一貫して拡張できます。
  論文  参考訳（メタデータ） (2022-10-27T13:24:08Z)
• Choose a Transformer: Fourier or Galerkin [0.0]
  我々は,データ駆動型演算子学習問題に対して,最新技術であるTransformer in Attention Is All You Needの自己注意を適用した。 スケールしたドット積の注意におけるソフトマックス正規化は十分であるが必要ではないことを示し、ペトロフ・ガレルキン射影として線形変項の近似能力を証明した。 本稿では,ビルガース方程式,インターフェースダーシー流,および逆インターフェース係数同定問題を含む3つの演算子学習実験について述べる。
  論文  参考訳（メタデータ） (2021-05-31T14:30:53Z)
• A neural anisotropic view of underspecification in deep learning [60.119023683371736]
  ニューラルネットが問題の未特定化を扱う方法が,データ表現に大きく依存していることを示す。 深層学習におけるアーキテクチャ的インダクティブバイアスの理解は,これらのシステムの公平性,堅牢性,一般化に対処する上で基本的であることを強調した。
  論文  参考訳（メタデータ） (2021-04-29T14:31:09Z)
• Communication-Efficient Distributed Stochastic AUC Maximization with Deep Neural Networks [50.42141893913188]
  本稿では,ニューラルネットワークを用いた大規模AUCのための分散変数について検討する。 我々のモデルは通信ラウンドをはるかに少なくし、理論上はまだ多くの通信ラウンドを必要としています。 いくつかのデータセットに対する実験は、我々の理論の有効性を示し、我々の理論を裏付けるものである。
  論文  参考訳（メタデータ） (2020-05-05T18:08:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。