論文の概要: The Error of Deep Operator Networks Is the Sum of Its Parts: Branch-Trunk and Mode Error Decompositions

• arxiv url: http://arxiv.org/abs/2602.21910v1
• Date: Wed, 25 Feb 2026 13:38:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-26 18:19:16.846842
• Title: The Error of Deep Operator Networks Is the Sum of Its Parts: Branch-Trunk and Mode Error Decompositions
• Title（参考訳）: ディープ・オペレーター・ネットワークの誤差はその部分の総和である:ブランチ・トランクとモード・エラーの分解
• Authors: Alexander Heinlein, Johannes Taraz,
• Abstract要約: 演算子学習は、微分方程式の解演算子を学習することによって、科学計算に強い影響を与える可能性がある。 普遍近似特性が証明されているにもかかわらず、ディープ作用素ネットワーク(DeepONets)は、実際は限られた精度と一般化を示すことが多い。 この研究は、古典的なDeepONetアーキテクチャのパフォーマンス制限を分析する。
• 参考スコア（独自算出の注目度）: 45.88028371034407
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Operator learning has the potential to strongly impact scientific computing by learning solution operators for differential equations, potentially accelerating multi-query tasks such as design optimization and uncertainty quantification by orders of magnitude. Despite proven universal approximation properties, deep operator networks (DeepONets) often exhibit limited accuracy and generalization in practice, which hinders their adoption. Understanding these limitations is therefore crucial for further advancing the approach. This work analyzes performance limitations of the classical DeepONet architecture. It is shown that the approximation error is dominated by the branch network when the internal dimension is sufficiently large, and that the learned trunk basis can often be replaced by classical basis functions without a significant impact on performance. To investigate this further, a modified DeepONet is constructed in which the trunk network is replaced by the left singular vectors of the training solution matrix. This modification yields several key insights. First, a spectral bias in the branch network is observed, with coefficients of dominant, low-frequency modes learned more effectively. Second, due to singular-value scaling of the branch coefficients, the overall branch error is dominated by modes with intermediate singular values rather than the smallest ones. Third, using a shared branch network for all mode coefficients, as in the standard architecture, improves generalization of small modes compared to a stacked architecture in which coefficients are computed separately. Finally, strong and detrimental coupling between modes in parameter space is identified.
• Abstract（参考訳）: 演算子学習は、微分方程式の解演算子を学習することで科学計算に強い影響を与える可能性があり、設計最適化や等級による不確実性定量化といったマルチクエリタスクを加速させる可能性がある。 普遍近似特性が証明されているにもかかわらず、ディープ・オペレーター・ネットワーク(DeepONets)は、実際は精度と一般化が限られており、採用を妨げている。 したがって、これらの制限を理解することは、アプローチをさらに進めるために重要である。 この研究は、古典的なDeepONetアーキテクチャのパフォーマンス制限を分析する。 内部次元が十分に大きい場合,近似誤差は分岐ネットワークに支配され,学習されたトランク基底は性能に大きな影響を与えることなく,古典的基底関数に置き換えられることが示されている。 これをさらに調査するため、トレーニングソリューション行列の左特異ベクトルにトランクネットワークを置き換えた修正されたDeepONetを構築した。 この修正はいくつかの重要な洞察をもたらす。 まず、分岐ネットワークのスペクトルバイアスが観測され、支配的な低周波モードの係数がより効果的に学習される。 第二に、分岐係数の特異値スケーリングにより、全体の分岐誤差は最小値ではなく中間特異値のモードによって支配される。 第3に、すべてのモード係数に対して共有分岐ネットワークを用いることで、標準アーキテクチャのように、係数を別々に計算するスタックアーキテクチャと比較して、小さなモードの一般化を改善する。 最後に,パラメータ空間のモード間の強い結合と有害結合を同定する。

関連論文リスト

• Neural Scaling Laws of Deep ReLU and Deep Operator Network: A Theoretical Study [8.183509993010983]
  深部演算子のネットワークにおけるニューラルネットワークのスケーリング法則をChenおよびChenスタイルアーキテクチャを用いて検討する。 我々は、その近似と一般化誤差を分析して、ニューラルネットワークのスケーリング法則を定量化する。 本結果は,演算子学習における神経スケーリング法則を部分的に説明し,その応用の理論的基盤を提供する。
  論文  参考訳（メタデータ） (2024-10-01T03:06:55Z)
• Minimizing Chebyshev Prototype Risk Magically Mitigates the Perils of Overfitting [1.6574413179773757]
  クラス内特徴相関を低減し,クラス間特徴距離を最大化する多成分損失関数を開発した。 我々は,Chebyshev Prototype Risk (CPR) という用語を明示的なCPR損失関数に限定して実装する。 トレーニングアルゴリズムは、多くの設定において、以前のアプローチの過度な適合を減らし、改善する。
  論文  参考訳（メタデータ） (2024-04-10T15:16:04Z)
• Structured Radial Basis Function Network: Modelling Diversity for Multiple Hypotheses Prediction [51.82628081279621]
  多重モード回帰は非定常過程の予測や分布の複雑な混合において重要である。 構造的放射基底関数ネットワークは回帰問題に対する複数の仮説予測器のアンサンブルとして提示される。 この構造モデルにより, このテッセルレーションを効率よく補間し, 複数の仮説対象分布を近似することが可能であることが証明された。
  論文  参考訳（メタデータ） (2023-09-02T01:27:53Z)
• Deep Negative Correlation Classification [82.45045814842595]
  既存のディープアンサンブル手法は、多くの異なるモデルをナビゲートし、予測を集約する。 深部負相関分類(DNCC)を提案する。 DNCCは、個々の推定器が正確かつ負の相関を持つ深い分類アンサンブルを生成する。
  論文  参考訳（メタデータ） (2022-12-14T07:35:20Z)
• On the Versatile Uses of Partial Distance Correlation in Deep Learning [47.11577420740119]
  本稿では、異なる次元の特徴空間間の相関を評価するために設計された距離相関(および部分変量)と呼ばれる統計学から(広く知られていない)再検討する。 本稿では,大規模モデルへの展開に必要なステップについて述べる。 これは、ある深いモデルw.r.t.を条件付けすること、非絡み合った表現を学習すること、および敵の攻撃に対してより堅牢な多様なモデルを最適化することなど、驚くべき一連のアプリケーションへの扉を開く。
  論文  参考訳（メタデータ） (2022-07-20T06:36:11Z)
• Deep Architecture Connectivity Matters for Its Convergence: A Fine-Grained Analysis [94.64007376939735]
  我々は、勾配降下訓練におけるディープニューラルネットワーク(DNN)の収束に対する接続パターンの影響を理論的に特徴づける。 接続パターンの単純なフィルタリングによって、評価対象のモデルの数を削減できることが示される。
  論文  参考訳（メタデータ） (2022-05-11T17:43:54Z)
• Deep Nonparametric Estimation of Operators between Infinite Dimensional Spaces [41.55700086945413]
  本稿では、ディープニューラルネットワークを用いたリプシッツ作用素の非パラメトリック推定について検討する。 対象作用素が低次元構造を示すという仮定の下では、トレーニングサンプルサイズが大きくなるにつれて誤差は減衰する。 この結果から,演算子推定における低次元データ構造の利用による高速化が期待できる。
  論文  参考訳（メタデータ） (2022-01-01T16:33:44Z)
• Towards an Understanding of Benign Overfitting in Neural Networks [104.2956323934544]
  現代の機械学習モデルは、しばしば膨大な数のパラメータを使用し、通常、トレーニング損失がゼロになるように最適化されている。 ニューラルネットワークの2層構成において、これらの良質な過適合現象がどのように起こるかを検討する。 本稿では,2層型ReLUネットワーク補間器を極小最適学習率で実現可能であることを示す。
  論文  参考訳（メタデータ） (2021-06-06T19:08:53Z)
• A Convergence Theory Towards Practical Over-parameterized Deep Neural Networks [56.084798078072396]
  ネットワーク幅と収束時間の両方で既知の理論境界を大幅に改善することにより、理論と実践のギャップを埋める一歩を踏み出します。 本研究では, サンプルサイズが2次幅で, 両者の時間対数で線形なネットワークに対して, 地球最小値への収束が保証されていることを示す。 私たちの分析と収束境界は、いつでも合理的なサイズの同等のRELUネットワークに変換できる固定アクティベーションパターンを備えたサロゲートネットワークの構築によって導出されます。
  論文  参考訳（メタデータ） (2021-01-12T00:40:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。