論文の概要: MENO: Memory-Efficient Neural Operator
- arxiv url: http://arxiv.org/abs/2609.27739v1
- Date: Wed, 23 Sep 2026 11:54:03 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-25 00:05:18.005573
- Title: MENO: Memory-Efficient Neural Operator
- Title(参考訳): MENO: メモリ効率の良いニューラル演算子
- Abstract要約: MENOはメモリフットプリントが大幅に小さく、他の一般的なアーキテクチャよりも高速なトレーニング速度を持つ。
MENOは任意の幾何学的領域や任意の離散化を含む任意の形式のPDE入力を受け入れることができる。
MENOは強力な一般化能力を示し、テストしたベンチマークのほとんどで最高の精度を実現しています。
- 参考スコア(独自算出の注目度): 6.373414937904294
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We propose the Memory-Efficient Neural Operator (MENO) as a high-performance PDE neural solver based on the Manifold Function Encoder (MFE). MENO features three primary advantages: (1) MENO has a significantly smaller memory footprint and much faster training speed than other popular architectures, with the memory footprint being independent of the data resolution, and therefore holds the potential for scaling up to large-scale models. (2) MENO can accept PDE inputs of arbitrary form, including arbitrary geometric domains and arbitrary discretizations. In particular, it is capable of handling cross-geometry scenarios, i.e., where the input functions and the output solutions are defined on different manifolds. (3) MENO exhibits strong generalization capability, and achieves the best accuracy on most of the benchmarks we tested, compared with the results reported in the literature. The code is available on GitHub at https://github.com/jpzxshi/MENO, and all numerical examples in this paper can be run with a single command to reproduce the reported results.
- Abstract(参考訳): Manifold Function Encoder (MFE) に基づく高性能PDEニューラルソルバとして, メモリ効率の高いニューラル演算子(MENO)を提案する。
MENOには3つの大きな利点がある: 1) MENOは、他の一般的なアーキテクチャよりもはるかに少ないメモリフットプリントとはるかに高速なトレーニング速度を持ち、メモリフットプリントはデータ解像度とは独立しているため、大規模なモデルにスケールアップする可能性を持っている。
2) MENO は任意の幾何学的領域や任意の離散化を含む任意の形式の PDE 入力を受け入れることができる。
特に、入力関数と出力解が異なる多様体上で定義されるような、クロス幾何学のシナリオを扱うことができる。
(3) MENO は強い一般化能力を示し,テストしたベンチマークのほとんどにおいて,文献で報告した結果と比較して最高の精度を実現している。
コードはGitHubでhttps://github.com/jpzxshi/MENOで公開されている。
関連論文リスト
- Facet: highly efficient E(3)-equivariant networks for interatomic potentials [6.741915610607818]
計算材料発見は、第一原理計算の高コストによって制限される。
結晶構造からエネルギーを予測する機械学習のポテンシャルは有望だが、既存の手法では計算のボトルネックに直面している。
効率的なMLポテンシャルのためのGNNアーキテクチャであるFacetを提案する。
論文 参考訳(メタデータ) (2025-09-10T09:06:24Z) - Data-Efficient Time-Dependent PDE Surrogates: Graph Neural Simulators vs. Neural Operators [0.0]
時間依存偏微分方程式(PDE)の原理的代理モデルとしてニューラルグラフシミュレータ(GNS)を提案する。
GNSは、メッセージパッシングと数値的なタイムステッピングスキームを組み合わせて、瞬時微分をモデル化してPDEダイナミクスを学習する。
その結果, GNSはデータ効率が著しく高く, 比較的L2誤差が1%未満であり, 利用可能な軌道は3%に過ぎなかった。
論文 参考訳(メタデータ) (2025-09-07T17:54:23Z) - Stochastic Configuration Machines: FPGA Implementation [4.57421617811378]
コンフィグレーションネットワーク(SCN)は、データモデリングのメリットと実現可能性から、産業アプリケーションにおいて主要な選択肢である。
本稿では、フィールドプログラマブルゲートアレイ(FPGA)にSCMモデルを実装し、学習性能を向上させるためにバイナリコード入力を導入することを目的とする。
論文 参考訳(メタデータ) (2023-10-30T02:04:20Z) - Heterogenous Memory Augmented Neural Networks [84.29338268789684]
ニューラルネットワークのための新しいヘテロジニアスメモリ拡張手法を提案する。
学習可能なメモリトークンをアテンション機構付きで導入することにより、膨大な計算オーバーヘッドを伴わずに性能を効果的に向上させることができる。
In-distriion (ID) と Out-of-distriion (OOD) の両方の条件下での様々な画像およびグラフベースのタスクに対するアプローチを示す。
論文 参考訳(メタデータ) (2023-10-17T01:05:28Z) - Fine-Tuning Language Models with Just Forward Passes [92.04219196752007]
微調整言語モデル(LM)は、様々な下流タスクで成功したが、LMのサイズが大きくなるにつれて、バックプロパゲーションは大量のメモリを必要とする。
本稿では,メモリ効率の高いゼロソーダ(MeZO)を提案する。
論文 参考訳(メタデータ) (2023-05-27T02:28:10Z) - Convolutional Neural Operators for robust and accurate learning of PDEs [11.562748612983956]
本稿では、入力や出力として関数を処理する畳み込みニューラルネットワークの新しい適応法を提案する。
結果として生じるアーキテクチャは、畳み込みニューラル演算子(CNO)と呼ばれる。
普遍性定理を証明し、CNOが PDE で生じる作用素を所望の精度で近似できることを示す。
論文 参考訳(メタデータ) (2023-02-02T15:54:45Z) - Versatile Neural Processes for Learning Implicit Neural Representations [57.090658265140384]
本稿では,近似関数の能力を大幅に向上させるVersatile Neural Processs (VNP)を提案する。
具体的には、より少ない情報的コンテキストトークンを生成するボトルネックエンコーダを導入し、高い計算コストを軽減した。
提案したVNPが1D, 2D, 3D信号を含む様々なタスクに対して有効であることを示す。
論文 参考訳(メタデータ) (2023-01-21T04:08:46Z) - A Theory of I/O-Efficient Sparse Neural Network Inference [17.862408781750126]
機械学習モデルは、その精度を速い速度で向上させるため、エネルギーと計算資源の需要は増大する。
低レベルでは、これらのリソースの大部分は異なるメモリユニット間でのデータ移動によって消費されます。
我々は、スパースフィードフォワードニューラルネットワーク(FFNN)推論に必要なI/Oを厳密に理論的に分析する。
論文 参考訳(メタデータ) (2023-01-03T11:23:46Z) - Neural network relief: a pruning algorithm based on neural activity [47.57448823030151]
重要でない接続を非活性化する簡易な重要スコア計量を提案する。
MNIST上でのLeNetアーキテクチャの性能に匹敵する性能を実現する。
このアルゴリズムは、現在のハードウェアとソフトウェアの実装を考えるとき、FLOPを最小化するように設計されていない。
論文 参考訳(メタデータ) (2021-09-22T15:33:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。