論文の概要: Self-Composing Neural Operators with Depth and Accuracy Scaling via Adaptive Train-and-Unroll Approach

• arxiv url: http://arxiv.org/abs/2508.20650v1
• Date: Thu, 28 Aug 2025 10:53:00 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-29 18:12:02.3494
• Title: Self-Composing Neural Operators with Depth and Accuracy Scaling via Adaptive Train-and-Unroll Approach
• Title（参考訳）: アダプティブ・トレイン・アンド・ロール・アプローチによる深さ・精度スケーリングによる自己補完型ニューラル演算子
• Authors: Juncai He, Xinliang Liu, Jinchao Xu,
• Abstract要約: 本稿では,自己合成によるニューラル演算子の効率性と精度を高める新しい枠組みを提案する。 数値偏微分方程式 (PDE) を解くための反復的手法に着想を得て, 1つのニューラル演算子ブロックを繰り返し適用して, 特定のニューラル演算子を設計する。 適応型トレイン・アンド・アンロールアプローチを導入し、トレーニング中にニューラル演算子の深さが徐々に増加する。
• 参考スコア（独自算出の注目度）: 12.718377513965912
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In this work, we propose a novel framework to enhance the efficiency and accuracy of neural operators through self-composition, offering both theoretical guarantees and practical benefits. Inspired by iterative methods in solving numerical partial differential equations (PDEs), we design a specific neural operator by repeatedly applying a single neural operator block, we progressively deepen the model without explicitly adding new blocks, improving the model's capacity. To train these models efficiently, we introduce an adaptive train-and-unroll approach, where the depth of the neural operator is gradually increased during training. This approach reveals an accuracy scaling law with model depth and offers significant computational savings through our adaptive training strategy. Our architecture achieves state-of-the-art (SOTA) performance on standard benchmarks. We further demonstrate its efficacy on a challenging high-frequency ultrasound computed tomography (USCT) problem, where a multigrid-inspired backbone enables superior performance in resolving complex wave phenomena. The proposed framework provides a computationally tractable, accurate, and scalable solution for large-scale data-driven scientific machine learning applications.
• Abstract（参考訳）: 本研究では,理論的保証と実用的利益の両方を提供する自己構成により,ニューラル演算子の効率性と精度を高める新しい枠組みを提案する。 数値偏微分方程式 (PDE) を解く反復的手法に着想を得て, 1つのニューラル演算子ブロックを繰り返し適用することで, モデルを徐々に深化させ, 新しいブロックを明示的に加えることなく, モデルのキャパシティを向上する。 これらのモデルを効率的に訓練するために、我々は適応型トレイン・アンド・アンロールアプローチを導入し、トレーニング中にニューラル演算子の深さが徐々に増加するようにした。 このアプローチは,モデル深度による精度のスケーリング法則を明らかにし,適応的学習戦略を通じて計算量を大幅に削減する。 我々のアーキテクチャは、標準ベンチマーク上での最先端(SOTA)性能を達成する。 さらに,マルチグリッドインスパイアされたバックボーンにより,複雑な波動現象の解消に優れた性能が期待できる,超高周波超音波CT(USCT)問題に対して,その有効性を示す。 提案するフレームワークは、大規模データ駆動科学機械学習アプリケーションに対して、計算可能で正確でスケーラブルなソリューションを提供する。

関連論文リスト

• PMNO: A novel physics guided multi-step neural operator predictor for partial differential equations [23.04840527974364]
  本稿では,複雑な物理系の長期予測における課題に対処する物理誘導多段階ニューラル演算子(PMNO)アーキテクチャを提案する。 PMNOフレームワークは、シングルステップ入力をフォワードパス内の複数ステップの履歴データに置き換え、バックプロパゲーション中に暗黙のタイムステッピングスキームを導入する。 様々な物理系におけるPMNO予測器の優れた予測性能を示す。
  論文  参考訳（メタデータ） (2025-06-02T12:33:50Z)
• Efficient Training of Deep Neural Operator Networks via Randomized Sampling [0.0]
  本稿では,DeepONetのトレーニングに採用するランダムサンプリング手法を提案する。 従来のトレーニングアプローチと比較して、テスト全体のエラーを同等あるいは低いものにしながら、トレーニング時間の大幅な削減を実証する。 この結果から,訓練中のトランクネットワーク入力にランダム化を組み込むことで,DeepONetの効率性とロバスト性を高めることが示唆された。
  論文  参考訳（メタデータ） (2024-09-20T07:18:31Z)
• Adaptive Anomaly Detection in Network Flows with Low-Rank Tensor Decompositions and Deep Unrolling [9.20186865054847]
  異常検出(AD)は、将来の通信システムのレジリエンスを確保するための重要な要素として、ますます認識されている。 この研究は、不完全測定を用いたネットワークフローにおけるADについて考察する。 本稿では,正規化モデル適合性に基づくブロック帰属凸近似アルゴリズムを提案する。 ベイズ的アプローチに触発されて、我々はモデルアーキテクチャを拡張し、フローごとのオンライン適応とステップごとの統計処理を行う。
  論文  参考訳（メタデータ） (2024-09-17T19:59:57Z)
• Efficient and Flexible Neural Network Training through Layer-wise Feedback Propagation [49.44309457870649]
  レイヤワイドフィードバックフィードバック(LFP)は、ニューラルネットワークのような予測器のための新しいトレーニング原則である。 LFPはそれぞれの貢献に基づいて個々のニューロンに報酬を分解する。 提案手法は,ネットワークの有用な部分と有害な部分の弱体化を両立させる手法である。
  論文  参考訳（メタデータ） (2023-08-23T10:48:28Z)
• End-to-End Meta-Bayesian Optimisation with Transformer Neural Processes [52.818579746354665]
  本稿では,ニューラルネットワークを一般化し,トランスフォーマーアーキテクチャを用いて獲得関数を学習する,エンド・ツー・エンドの差別化可能な最初のメタBOフレームワークを提案する。 我々は、この強化学習(RL)によるエンドツーエンドのフレームワークを、ラベル付き取得データの欠如に対処できるようにします。
  論文  参考訳（メタデータ） (2023-05-25T10:58:46Z)
• Gone Fishing: Neural Active Learning with Fisher Embeddings [55.08537975896764]
  ディープニューラルネットワークと互換性のあるアクティブな学習アルゴリズムの必要性が高まっている。 本稿では,ニューラルネットワークのための抽出可能かつ高性能な能動学習アルゴリズムBAITを紹介する。
  論文  参考訳（メタデータ） (2021-06-17T17:26:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。