論文の概要: From Uniform to Adaptive: General Skip-Block Mechanisms for Efficient PDE Neural Operators

• arxiv url: http://arxiv.org/abs/2511.00032v2
• Date: Tue, 04 Nov 2025 14:03:14 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-05 16:37:26.525571
• Title: From Uniform to Adaptive: General Skip-Block Mechanisms for Efficient PDE Neural Operators
• Title（参考訳）: 一様から適応へ:効率的なPDEニューラル演算子のための一般的なスキップ・ブロック機構
• Authors: Lei Liu, Zhongyi Yu, Hong Wang, Huanshuo Dong, Haiyang Xin, Hongwei Zhao, Bin Li,
• Abstract要約: 我々は,Transformerベースのニューラル演算子用に設計された一般的なフレームワークであるSkip-Block Routing(SBR)を紹介する。 SBRはルーティングメカニズムを使用してトークンの複雑さとランキングを学習し、推論中に適用される。 本手法は浮動小数点演算(FLOP)の計算コストを約50%削減する。
• 参考スコア（独自算出の注目度）: 14.52312990532001
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In recent years, Neural Operators(NO) have gradually emerged as a popular approach for solving Partial Differential Equations (PDEs). However, their application to large-scale engineering tasks suffers from significant computational overhead. And the fact that current models impose a uniform computational cost while physical fields exhibit vastly different complexities constitutes a fundamental mismatch, which is the root of this inefficiency. For instance, in turbulence flows, intricate vortex regions require deeper network processing compared to stable flows. To address this, we introduce a framework: Skip-Block Routing (SBR), a general framework designed for Transformer-based neural operators, capable of being integrated into their multi-layer architectures. First, SBR uses a routing mechanism to learn the complexity and ranking of tokens, which is then applied during inference. Then, in later layers, it decides how many tokens are passed forward based on this ranking. This way, the model focuses more processing capacity on the tokens that are more complex. Experiments demonstrate that SBR is a general framework that seamlessly integrates into various neural operators. Our method reduces computational cost by approximately 50% in terms of Floating Point Operations (FLOPs), while still delivering up to 2x faster inference without sacrificing accuracy.
• Abstract（参考訳）: 近年,部分微分方程式(PDE)の解法として,ニューラル演算子(NO)が徐々に出現している。 しかし、大規模なエンジニアリングタスクへのそれらの応用は、計算上のオーバーヘッドに悩まされている。 そして、現在のモデルが計算コストを均一に課しているのに対し、物理場は非常に異なる複雑さを示すという事実は、この非効率性の根源である基本的なミスマッチを構成する。 例えば乱流の場合、複雑な渦領域は安定した流れよりも深いネットワーク処理を必要とする。 これを解決するために、トランスフォーマーベースのニューラル演算子用に設計された一般的なフレームワークであるSkip-Block Routing (SBR)を導入し、その多層アーキテクチャに統合する。 まず、SBRはルーティングメカニズムを使用してトークンの複雑さとランキングを学習し、推論中に適用される。 次に、後続のレイヤで、このランキングに基づいて、どれくらいのトークンが転送されるかを決定する。 このようにして、モデルはより複雑なトークンにより多くの処理能力に焦点を当てる。 実験により、SBRは様々なニューラル演算子にシームレスに統合される一般的なフレームワークであることが示された。 提案手法は,Floating Point Operations (FLOPs) の計算コストを約50%削減すると同時に,精度を犠牲にすることなく,最大2倍高速な推論を実現する。

関連論文リスト

• A projection-based framework for gradient-free and parallel learning [50.96641619247761]
  私たちはこのパラダイムを実現するJAXベースのソフトウェアフレームワークであるPJAXを紹介します。 PJAXは基本演算に対する射影演算子を構成し、実現可能性問題に対する解演算子を自動的に導出する。 各種アーキテクチャ(MLP、CNN、RNN)を標準ベンチマークでPJAXを用いてトレーニングし、その汎用性を実証する。
  論文  参考訳（メタデータ） (2025-06-06T08:44:56Z)
• An Efficient Sparse Fine-Tuning with Low Quantization Error via Neural Network Pruning [9.208007322096535]
  ニューラルネットワークプルーニングのアイデアに基づく新しいSpFTフレームワークを開発した。 提案手法は,LoRAの変種のような最先端手法の精度に適合しながら,SpFTのメモリ効率を20～50%向上することを示す。
  論文  参考訳（メタデータ） (2025-02-17T04:54:42Z)
• Input Convex Lipschitz RNN: A Fast and Robust Approach for Engineering Tasks [14.835081385422653]
  入力凸リプシッツリカレントニューラルネットワーク(ICLRNN)と呼ばれる新しいネットワークアーキテクチャを導入する。 このアーキテクチャは、凸性とリプシッツ連続性の利点をシームレスに統合し、高速で堅牢なニューラルネットワークベースのモデリングと最適化を可能にする。 化学プロセスのモデリングと制御、ソーラーPVシステム計画のための実世界の太陽放射予測など、実用的な技術シナリオにうまく応用されている。
  論文  参考訳（メタデータ） (2024-01-15T06:26:53Z)
• Iterative Soft Shrinkage Learning for Efficient Image Super-Resolution [91.3781512926942]
  画像超解像(SR)は、CNNからトランスフォーマーアーキテクチャへの広範なニューラルネットワーク設計を目撃している。 本研究は,市販のネットワーク設計を生かし,基礎となる計算オーバーヘッドを低減するため,超高解像度イテレーションにおけるネットワークプルーニングの可能性について検討する。 本研究では, ランダムネットワークのスパース構造を最適化し, 重要でない重みを小さめに微調整することにより, 反復型軟収縮率(ISS-P)法を提案する。
  論文  参考訳（メタデータ） (2023-03-16T21:06:13Z)
• Biologically Plausible Learning on Neuromorphic Hardware Architectures [27.138481022472]
  ニューロモルフィックコンピューティング(Neuromorphic Computing)は、アナログメモリの計算によってこの不均衡に直面している新興パラダイムである。 この研究は、異なる学習アルゴリズムがCompute-In-Memoryベースのハードウェアに与える影響を初めて比較し、その逆も行った。
  論文  参考訳（メタデータ） (2022-12-29T15:10:59Z)
• Complexity-Driven CNN Compression for Resource-constrained Edge AI [1.6114012813668934]
  本稿では,CNNの層レベルでの複雑さを生かして,新しい,計算効率の高いプルーニングパイプラインを提案する。 パラメータ認識(PA)、FLOP認識(FA)、メモリ認識(MA)の3つのモードを定義し、CNNの汎用圧縮を導入する。
  論文  参考訳（メタデータ） (2022-08-26T16:01:23Z)
• An Adaptive Device-Edge Co-Inference Framework Based on Soft Actor-Critic [72.35307086274912]
  高次元パラメータモデルと大規模数学的計算は、特にIoT(Internet of Things)デバイスにおける実行効率を制限する。 本稿では,ソフトポリシーの繰り返しによるエフェキシット点,エフェキシット点,エンフェキシット点を生成する離散的(SAC-d)のための新しい深層強化学習(DRL)-ソフトアクタ批判法を提案する。 レイテンシと精度を意識した報酬設計に基づいて、そのような計算は動的無線チャンネルや任意の処理のような複雑な環境によく適応でき、5G URLをサポートすることができる。
  論文  参考訳（メタデータ） (2022-01-09T09:31:50Z)
• GradInit: Learning to Initialize Neural Networks for Stable and Efficient Training [59.160154997555956]
  ニューラルネットワークを初期化するための自動化およびアーキテクチャ手法であるgradinitを提案する。 各ネットワーク層の分散は、SGDまたはAdamの単一ステップが最小の損失値をもたらすように調整される。 また、学習率のウォームアップを伴わずに、オリジナルのPost-LN Transformerを機械翻訳用にトレーニングすることもできる。
  論文  参考訳（メタデータ） (2021-02-16T11:45:35Z)
• Self Normalizing Flows [65.73510214694987]
  本稿では,各層における学習された近似逆数により,勾配の高価な項を置き換えることで,フローの正規化を訓練するための柔軟なフレームワークを提案する。 これにより、各レイヤの正確な更新の計算複雑性が$mathcalO(D3)$から$mathcalO(D2)$に削減される。 実験により,これらのモデルは非常に安定であり,正確な勾配値と類似したデータ可能性値に最適化可能であることが示された。
  論文  参考訳（メタデータ） (2020-11-14T09:51:51Z)
• Iterative Algorithm Induced Deep-Unfolding Neural Networks: Precoding Design for Multiuser MIMO Systems [59.804810122136345]
  本稿では,AIIDNN(ディープ・アンフォールディング・ニューラルネット)を一般化した,ディープ・アンフォールディングのためのフレームワークを提案する。 古典的重み付き最小二乗誤差(WMMSE)反復アルゴリズムの構造に基づく効率的なIAIDNNを提案する。 提案したIAIDNNは,計算複雑性を低減した反復WMMSEアルゴリズムの性能を効率よく向上することを示す。
  論文  参考訳（メタデータ） (2020-06-15T02:57:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。