論文の概要: FTD-GNO: Memory-Efficient Graph Neural Operators through Functional Tensor Decomposition of the Kernel
- arxiv url: http://arxiv.org/abs/2610.04212v1
- Date: Sat, 03 Oct 2026 01:59:27 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-12 19:18:09.160401
- Title: FTD-GNO: Memory-Efficient Graph Neural Operators through Functional Tensor Decomposition of the Kernel
- Title(参考訳): FTD-GNO:カーネルの機能的テンソル分解によるメモリ効率の良いグラフニューラル演算子
- Abstract要約: グラフニューラル演算子(GNO)は偏微分方程式(PDE)の解演算子を学習するための柔軟な代理モデルを提供する
標準GNOは通常、積分カーネルをモノリシックニューラルネットワークでパラメータ化し、グラフエッジ上でのカーネルの相互作用を評価する。
本稿では,高次元連続積分カーネルを低次元モードワイド関数に分解するメモリ効率のGNOフレームワークである,関数分解グラフニューラル演算子(FTD-GNO)を提案する。
- 参考スコア(独自算出の注目度): 31.794072607750596
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Graph Neural Operators (GNOs) provide flexible surrogate models for learning solution operators of partial differential equations (PDEs). However, standard GNOs typically parameterize the integral kernel with a monolithic neural network and evaluate kernel interactions over graph edges, leading to substantial computational and memory overhead at high resolutions or with large neighborhoods. To address these limitations, we propose Functional Tensor Decomposition Graph Neural Operator (FTD-GNO), a memory-efficient GNO framework that decouples the high-dimensional continuous integral kernel into low-dimensional mode-wise functions. By instantiating the kernel with classical tensor decomposition formats, including CP, Tensor-Train, and Tucker decompositions, FTD-GNO enables algebraic reconstruction of the integral operator without explicitly materializing full edge-wise kernel tensors. This factorized formulation reduces the memory footprint of kernel evaluation and aggregation while retaining the continuous operator-learning structure of GNOs. Theoretical complexity analysis shows that FTD-GNO substantially lowers parameter and activation-memory costs associated with high-dimensional kernel construction. Experiments show lower peak memory than the corresponding unfactorized graph-integral baselines, with shorter recorded training times. Fourier-graph experiments further demonstrate that FTD can improve the efficiency of a graph-integral layer within a hybrid operator and has good scalability.
- Abstract(参考訳): グラフニューラル演算子(GNO)は偏微分方程式(PDE)の解演算子を学習するための柔軟な代理モデルを提供する。
しかし、標準のGNOは典型的には、積分カーネルをモノリシックニューラルネットワークでパラメータ化し、グラフエッジ上でのカーネルの相互作用を評価し、高い解像度や大きな近傍での計算とメモリオーバーヘッドをかなり高める。
これらの制約に対処するために,高次元連続積分カーネルを低次元モードワイド関数に分解するメモリ効率のGNOフレームワークである,関数テンソル分解グラフニューラル演算子(FTD-GNO)を提案する。
CP、Tensor-Train、Tucker分解を含む古典的なテンソル分解形式でカーネルをインスタンス化することにより、FTD-GNOは完全なエッジワイドカーネルテンソルを明示的に具現化せずに積分作用素の代数的再構成を可能にする。
この因子化定式化は、GNOの連続演算子学習構造を維持しながら、カーネル評価と集約のメモリフットプリントを減少させる。
理論的複雑性解析により、FTD-GNOは高次元カーネル構築に伴うパラメータとアクティベーションメモリコストを大幅に低減することが示された。
実験によると、ピークメモリは対応する未リファクタリンググラフ積分ベースラインよりも低く、トレーニング時間は短い。
さらにフーリエグラフ実験により、FTDはハイブリッド演算子内のグラフ積分層の効率を向上し、スケーラビリティに優れることを示した。
関連論文リスト
- IKNO: Infinite-order Kernel Neural Operators [57.17011066621087]
Infinite-order Kernel Neural Operator (IKNO) を提案する。
我々は、Kronecker eigendecompositionを介して製品グリッドにフルカーネル分解剤を適用するIKNO-Vanillaと、軸あたりの分解剤を構成する代替テンソル積演算子であるIKNO-TPの2つの相補的な無限次ニューラル演算子を構築した。
論文 参考訳(メタデータ) (2026-05-21T08:52:36Z) - Neural Operators as Efficient Function Interpolators [0.764671395172401]
ニューラル作用素 (NOs) は無限次元関数空間間の写像を学習するために設計されている。
我々はNOが標準のマルチ層パーセプトロンとコルモゴロフ・アルノルドネットワークとを精度良くマッチングまたは上回ることを示す。
TFNOアンサンブルは198.2keVのホールドアウトされたルート平均二乗誤差に到達し、最新のニューラルネットワークアプローチの1つである。
論文 参考訳(メタデータ) (2026-05-08T14:30:12Z) - Simplifying Graph Kernels for Efficient [17.940972681488123]
単純化されたグラフカーネルを設計することで、新しい視点を導入する。
ディープ・レイヤ・スタックをK$ステップのメッセージ・アグリゲーション・プロセスに置き換える。
第2のカーネルはガウス過程理論から無限幅のGNNをモデル化する。
論文 参考訳(メタデータ) (2025-07-04T13:12:09Z) - Generalization Bound of Gradient Flow through Training Trajectory and Data-dependent Kernel [55.82768375605861]
我々は、カーネル法における古典的ラデマッハ複雑性と整合する勾配流の一般化を確立する。
NTKのような静的カーネルとは異なり、LPKはトレーニング軌跡全体をキャプチャし、データと最適化の両方に適応する。
論文 参考訳(メタデータ) (2025-06-12T23:17:09Z) - TensorGRaD: Tensor Gradient Robust Decomposition for Memory-Efficient Neural Operator Training [91.8932638236073]
textbfTensorGRaDは,重み付けに伴うメモリ問題に直接対処する新しい手法である。
SparseGRaD は総メモリ使用量を 50% 以上削減し,同時に精度も向上することを示した。
論文 参考訳(メタデータ) (2025-01-04T20:51:51Z) - Kernel Neural Operators (KNOs) for Scalable, Memory-efficient, Geometrically-flexible Operator Learning [11.165984223900104]
本稿では,KNO(Kernel Neural Operator)について紹介する。
KNOは、数値積分スキーム(四分数)からカーネルの選択を分離する
既存のベンチマークでは、KNOsのトレーニングとテストの精度は、一般的な演算子学習技術と同等かそれ以上であることを示す。
論文 参考訳(メタデータ) (2024-06-30T19:28:12Z) - Multi-Grid Tensorized Fourier Neural Operator for High-Resolution PDEs [93.82811501035569]
本稿では,メモリ要求を低減し,より一般化したデータ効率・並列化可能な演算子学習手法を提案する。
MG-TFNOは、実世界の実世界の現象の局所的構造と大域的構造を活用することで、大規模な分解能にスケールする。
乱流ナビエ・ストークス方程式において150倍以上の圧縮で誤差の半分以下を達成できる優れた性能を示す。
論文 参考訳(メタデータ) (2023-09-29T20:18:52Z) - Multipole Graph Neural Operator for Parametric Partial Differential
Equations [57.90284928158383]
物理系をシミュレーションするためのディープラーニングベースの手法を使用する際の大きな課題の1つは、物理ベースのデータの定式化である。
線形複雑度のみを用いて、あらゆる範囲の相互作用をキャプチャする、新しいマルチレベルグラフニューラルネットワークフレームワークを提案する。
実験により, 離散化不変解演算子をPDEに学習し, 線形時間で評価できることを確認した。
論文 参考訳(メタデータ) (2020-06-16T21:56:22Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。