論文の概要: Efficient Transformer-Inspired Variants of Physics-Informed Deep Operator Networks
- arxiv url: http://arxiv.org/abs/2509.01679v1
- Date: Mon, 01 Sep 2025 18:01:23 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-09-04 15:17:03.812189
- Title: Efficient Transformer-Inspired Variants of Physics-Informed Deep Operator Networks
- Title（参考訳）: 物理インフォームド・ディープ・オペレーターネットワークの効率的な変圧器インスパイアされた可変体
- Authors: Zhi-Feng Wei, Wenqian Chen, Panos Stinis,
- Abstract要約: トランスフォーマーにインスパイアされたDeepONetは、DeepONetのブランチとトランクネットワーク間の双方向のクロスコンディションを導入している。
4つのPDEベンチマークの実験では、それぞれのケースに対して、修正されたDeepONetの正確さにマッチまたは超える変種が存在することが示されている。
- 参考スコア（独自算出の注目度）: 0.509780930114934
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Operator learning has emerged as a promising tool for accelerating the solution of partial differential equations (PDEs). The Deep Operator Networks (DeepONets) represent a pioneering framework in this area: the "vanilla" DeepONet is valued for its simplicity and efficiency, while the modified DeepONet achieves higher accuracy at the cost of increased training time. In this work, we propose a series of Transformer-inspired DeepONet variants that introduce bidirectional cross-conditioning between the branch and trunk networks in DeepONet. Query-point information is injected into the branch network and input-function information into the trunk network, enabling dynamic dependencies while preserving the simplicity and efficiency of the "vanilla" DeepONet in a non-intrusive manner. Experiments on four PDE benchmarks -- advection, diffusion-reaction, Burgers', and Korteweg-de Vries equations -- show that for each case, there exists a variant that matches or surpasses the accuracy of the modified DeepONet while offering improved training efficiency. Moreover, the best-performing variant for each equation aligns naturally with the equation's underlying characteristics, suggesting that the effectiveness of cross-conditioning depends on the characteristics of the equation and its underlying physics. To ensure robustness, we validate the effectiveness of our variants through a range of rigorous statistical analyses, among them the Wilcoxon Two One-Sided Test, Glass's Delta, and Spearman's rank correlation.
- Abstract（参考訳）: 演算子学習は偏微分方程式(PDE)の解を加速するための有望なツールとして登場した。
DeepOperator Networks(DeepONets)は、この領域における先駆的なフレームワークである。"vanilla" DeepONetは、そのシンプルさと効率性から評価され、修正されたDeepONetは、トレーニング時間を増やすコストでより高い精度を達成する。
本稿では,DeepONetの分岐ネットワークとトランクネットワーク間の双方向のクロスコンディショニングを実現する,Transformerにインスパイアされた一連のDeepONet変種を提案する。
クエリポイント情報は、ブランチネットワークとトランクネットワークにインプットファンクション情報を注入し、非侵襲的な方法で"バニラ"DeepONetの単純さと効率を保ちながら動的依存関係を可能にする。
4つのPDEベンチマーク(Advection,fusion-reaction, Burgers', Korteweg-de Vries equations)での実験では、それぞれのケースに対して、修正されたDeepONetの精度に適合または超え、トレーニング効率の向上を提供する変種が存在することが示されている。
さらに、各方程式の最良の性能の変種は、方程式の基本特性と自然に一致し、クロスコンディショニングの有効性は方程式の特性とその基礎物理学に依存することを示唆している。
厳密性を確保するため,ウィルコクソン2次元試験,ガラスのデルタ,スピアマンのランク相関など,厳密な統計分析を通じて,我々の変種の有効性を検証する。
関連論文リスト
- Fractional Spike Differential Equations Neural Network with Efficient Adjoint Parameters Training [63.3991315762955]
スパイキングニューラルネットワーク(SNN)は、生物学的ニューロンからインスピレーションを得て、脳に似た計算の現実的なモデルを作成する。
既存のほとんどのSNNは、マルコフ特性を持つ一階常微分方程式(ODE)によってモデル化された、神経細胞膜電圧ダイナミクスの単一時間定数を仮定している。
本研究では, 膜電圧およびスパイク列車の長期依存性を分数次力学により捉えるフラクタルSPIKE微分方程式ニューラルネットワーク (fspikeDE) を提案する。
論文 参考訳（メタデータ） (2025-07-22T18:20:56Z) - SetONet: A Deep Set-based Operator Network for Solving PDEs with permutation invariant variable input sampling [2.95983424663256]
我々は、Deep Setsの原則をDeepONetフレームワークに統合する新しいアーキテクチャであるSetONet(SetONet)を紹介します。
中心となるイノベーションはSetONetブランチネットワークにあり、これは入力関数を位置値対の非順序のアンフセットとして処理する。
本稿では, 微分・反微分演算子, 1次元ダーシー流, 2次元弾性などのベンチマーク問題に対して, SetONetの有効性を示す。
論文 参考訳（メタデータ） (2025-05-07T18:50:05Z) - On the Role of Feedback in Test-Time Scaling of Agentic AI Workflows [71.92083784393418]
エージェントAI(自律的な計画と行動を行うシステム)は広く普及しているが、複雑なタスクにおけるタスクの成功率は低いままである。
推論時のアライメントは、サンプリング、評価、フィードバックの3つのコンポーネントに依存します。
本稿では,様々な形態の批判から抽出されたフィードバックを繰り返し挿入するIterative Agent Decoding(IAD)を紹介する。
論文 参考訳（メタデータ） (2025-04-02T17:40:47Z) - DeepONet Augmented by Randomized Neural Networks for Efficient Operator Learning in PDEs [5.84093922354671]
精度と効率のバランスをとるために設計されたハイブリッドアーキテクチャであるRaNN-DeepONetsを提案する。
RaNN-DeepONetsは計算コストを桁違いに削減しながら、同等の精度を達成する。
これらの結果は、PDEシステムにおける演算子学習の効率的な代替手段としてのRaNN-DeepONetsの可能性を強調している。
論文 参考訳（メタデータ） (2025-03-01T03:05:29Z) - Toward Relative Positional Encoding in Spiking Transformers [52.62008099390541]
スパイキングニューラルネットワーク(スパイキングニューラルネット、英: Spiking Neural Network、SNN)は、脳内のニューロンが離散スパイクを通してどのように通信するかを模倣するバイオインスパイアネットワークである。
スパイキングトランスフォーマーにおける相対的位置符号化(RPE)を近似するためのいくつかの戦略を導入する。
論文 参考訳（メタデータ） (2025-01-28T06:42:37Z) - Alpha-VI DeepONet: A prior-robust variational Bayesian approach for enhancing DeepONets with uncertainty quantification [0.0]
一般化変分推論(GVI)を組み込んだ新しいディープオペレータネットワーク(DeepONet)を提案する。
分岐ネットワークとトランクネットワークのビルディングブロックとしてベイズニューラルネットワークを組み込むことで,不確実な定量化が可能なDeepONetを実現する。
変動目的関数の修正は平均二乗誤差を最小化する点で優れた結果をもたらすことを示す。
論文 参考訳（メタデータ） (2024-08-01T16:22:03Z) - WiNet: Wavelet-based Incremental Learning for Efficient Medical Image Registration [68.25711405944239]
深部画像登録は異常な精度と高速な推測を示した。
近年の進歩は、粗大から粗大の方法で密度変形場を推定するために、複数のカスケードまたはピラミッドアーキテクチャを採用している。
本稿では,様々なスケールにわたる変位/速度場に対して,スケールワイブレット係数を漸進的に推定するモデル駆動WiNetを提案する。
論文 参考訳（メタデータ） (2024-07-18T11:51:01Z) - SWAP: Sparse Entropic Wasserstein Regression for Robust Network Pruning [9.60349706518775]
本研究では,ニューラルネットワークプルーニングにおける経験的漁獲情報行列の計算における不正確な勾配問題に対処する。
本稿では,最適輸送問題の幾何学的特性を活かした,エントロピー的ワッサースタイン回帰(EWR)の定式化であるSWAPを紹介する。
提案手法は,ネットワークパラメータの4分の1未満のMobileNetV1において,精度が6%向上し,テスト損失が8%向上した。
論文 参考訳（メタデータ） (2023-10-07T21:15:32Z) - Accelerated replica exchange stochastic gradient Langevin diffusion
enhanced Bayesian DeepONet for solving noisy parametric PDEs [7.337247167823921]
本稿では,DeepONetsのニューラルネットワークアーキテクチャを利用したレプリカ交換型Langevin拡散のトレーニングフレームワークを提案する。
提案するフレームワークの探索と活用機能により,ノイズの多いシナリオにおけるDeepONetsのトレーニング収束性の向上が期待できることを示す。
また,レプリカ交換型Langeving Diffusionにより,雑音のシナリオにおけるDeepONetの平均予測精度も向上することを示す。
論文 参考訳（メタデータ） (2021-11-03T19:23:59Z) - Pairwise Supervised Hashing with Bernoulli Variational Auto-Encoder and
Self-Control Gradient Estimator [62.26981903551382]
バイナリ潜在変数を持つ変分自動エンコーダ(VAE)は、文書検索の精度の観点から最先端のパフォーマンスを提供する。
本稿では、クラス内類似度とクラス間類似度に報いるために、個別潜伏型VAEを用いたペアワイズ損失関数を提案する。
この新しいセマンティックハッシュフレームワークは、最先端技術よりも優れたパフォーマンスを実現する。
論文 参考訳（メタデータ） (2020-05-21T06:11:33Z) - Faster Depth-Adaptive Transformers [71.20237659479703]
深さ適応型ニューラルネットワークは入力単語の硬さに応じて動的に深さを調整することができる。
従来の作業は一般的に、計算が各レイヤで続行するか停止するかを決定するために停止ユニットを構築する。
本稿では,停止ユニットを除去し,必要な深さを事前に推定し,より高速な深度適応モデルを生成する。
論文 参考訳（メタデータ） (2020-04-27T15:08:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。