論文の概要: Self-Supervised Learning of Universal Latent Spaces for Operator Learning

• arxiv url: http://arxiv.org/abs/2611.05735v1
• Date: Tue, 03 Nov 2026 23:10:27 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-06 03:25:57.899989
• Title: Self-Supervised Learning of Universal Latent Spaces for Operator Learning
• Title（参考訳）: 演算子学習のためのユニバーサル潜在空間の自己教師付き学習
• Abstract要約: ニューラル演算子は、訓練されたタスクに関数の表現を適合させるため、新しいタスクはすべてラベル付きデータから少ないスペースを再構築する。 機能的オートエンコーダは、解決器もラベルも無く、ハエで合成された解析関数で事前訓練される。 流体力学、固体力学、音響学、ヘルムホルツ・ポアソン方程式の28のタスクにおいて、このパラダイムは最先端のエンドツーエンドアーキテクチャの精度を超えることができる。
• 参考スコア（独自算出の注目度）: 11.928558263824213
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Neural operators fit their representation of functions to the task they are trained on, so every new task rebuilds a reduced space from labeled data. Following the self-supervised pre-training that made representations shareable in natural language processing and computer vision, we decouple representation learning from operator learning. A functional autoencoder is pre-trained on analytic functions synthesized on the fly, with no solver and no labels, to represent functions on arbitrary point clouds, and the latent space it induces is frozen and reused across tasks. The representation is exactly equivariant to translation, dilation, and amplitude, and reconstructs solutions of partial differential equations (PDEs) and natural images on geometries it never saw. Being task-agnostic, the latent space can be interpreted in its own right. The whole space is used and decodes to valid fields, it preserves the ordering of distances between physical fields, its geodesics interpolate physical evolutions, and edit directions transfer across fields. With frozen representation maps, a dataset is encoded once and a neural operator is trained entirely on cached embeddings, which saves memory and training time. On 28 tasks in fluid dynamics, solid mechanics, acoustics, and the Helmholtz and Poisson equations, this paradigm can exceed the accuracy of state-of-the-art end-to-end architectures, with up to an order of magnitude higher throughput and memory savings that fit models nearly two orders of magnitude larger on consumer-grade GPUs. At inference, latent rollouts run up to an order of magnitude faster than regular rollouts, and chunked inference processes functions of over half a billion points on a single consumer-grade GPU.
• Abstract（参考訳）: ニューラル演算子は、訓練されたタスクに関数の表現を適合させるため、新しいタスクはすべてラベル付きデータから少ないスペースを再構築する。 自然言語処理とコンピュータビジョンで表現を共有可能にした自己指導型事前学習に続いて,表現学習をオペレータ学習から切り離した。 関数型オートエンコーダは、任意の点雲上の関数を表現するために、ソルバもラベルも無く、ハエで合成された解析関数で事前訓練され、それが引き起こす潜在空間は、タスク全体で凍結して再利用される。 この表現は、翻訳、拡張、振幅と全く同じであり、偏微分方程式(PDE)の解と、それまで見たことのない幾何学上の自然像を再構成する。 タスクに依存しないので、潜在空間はそれ自身で解釈できる。 空間全体が有効フィールドにデコードされ、物理的フィールド間の距離の順序を保ち、その測地線は物理的進化を補間し、フィールド間の方向移動を編集する。 凍結した表現マップでは、データセットが一度エンコードされ、ニューラルネットワークが完全にキャッシュされた埋め込みに基づいてトレーニングされ、メモリとトレーニング時間を節約する。 流体力学、ソリッド力学、音響学、ヘルムホルツ・ポアソン方程式の28のタスクにおいて、このパラダイムは最先端のエンドツーエンドアーキテクチャの精度を超え、最大で2桁のスループットとメモリ節約を達成できる。 推論では、遅延ロールアウトは通常のロールアウトよりも桁違いに高速に動作し、チャンクされた推論処理は、1つのコンシューマグレードGPU上で50億ポイント以上機能する。

関連論文リスト

• Principled Approaches for Extending Neural Architectures to Function Spaces for Operator Learning [78.88684753303794]
  ディープラーニングは主にコンピュータビジョンと自然言語処理の応用を通じて進歩してきた。 ニューラル演算子は、関数空間間のマッピングにニューラルネットワークを一般化する原則的な方法である。 本稿では、無限次元関数空間間の写像の実践的な実装を構築するための鍵となる原理を同定し、蒸留する。
  論文  参考訳（メタデータ） (2025-06-12T17:59:31Z)
• Neural Interpretable PDEs: Harmonizing Fourier Insights with Attention for Scalable and Interpretable Physics Discovery [15.29112632863168]
  NIPS(Neural Interpretable PDE)は,非局所注意演算子(Nonlocal Attention Operators,NAO)を基盤とし,拡張するニューラル演算子アーキテクチャである。 NIPSは、スケーラブルな学習を可能にするために線形アテンション機構を採用し、フーリエ空間におけるチャネル非依存の畳み込みとして機能する学習可能なカーネルネットワークを統合する。 実証的な評価は、NIPSがNAOや他のベースラインを多種多様なベンチマークで一貫して上回っていることを示している。
  論文  参考訳（メタデータ） (2025-05-29T05:18:30Z)
• TensorGRaD: Tensor Gradient Robust Decomposition for Memory-Efficient Neural Operator Training [91.8932638236073]
  textbfTensorGRaDは,重み付けに伴うメモリ問題に直接対処する新しい手法である。 SparseGRaD は総メモリ使用量を 50% 以上削減し,同時に精度も向上することを示した。
  論文  参考訳（メタデータ） (2025-01-04T20:51:51Z)
• Autoencoders in Function Space [4.933424018203232]
  オートエンコーダは、元の決定論的形式と変分的定式化(VAE)の両方に広く応用されている。 本稿では,自動エンコーダ(FAE)と変分自動エンコーダ(FVAE)の関数空間バージョンを導入し,解析し,展開する。
  論文  参考訳（メタデータ） (2024-08-02T16:13:51Z)
• Zero Coordinate Shift: Whetted Automatic Differentiation for Physics-informed Operator Learning [1.024113475677323]
  本稿では,物理インフォームド演算子学習のための新しい,軽量な自動微分(AD)アルゴリズムを提案する。 すべてのサンプル座標を葉変数とする代わりに、ZCSは空間的あるいは時間的次元ごとに1つのスカラー値の葉変数を導入する。 これは、関数の次元に沿った計算グラフの重複を避けることで、卓越した性能向上につながった。
  論文  参考訳（メタデータ） (2023-11-01T21:28:24Z)
• General Neural Gauge Fields [100.35916421218101]
  我々はゲージ変換とニューラルネットワークを協調的に最適化する学習フレームワークを開発した。 我々は、シーン情報を本質的に保存し、優れた性能を得ることができる情報不変ゲージ変換を導出する。
  論文  参考訳（メタデータ） (2023-05-05T12:08:57Z)
• Dynamic Inference with Neural Interpreters [72.90231306252007]
  本稿では,モジュールシステムとしての自己アテンションネットワークにおける推論を分解するアーキテクチャであるNeural Interpretersを提案する。 モデルへの入力は、エンドツーエンドの学習方法で一連の関数を通してルーティングされる。 ニューラル・インタープリタは、より少ないパラメータを用いて視覚変換器と同等に動作し、サンプル効率で新しいタスクに転送可能であることを示す。
  論文  参考訳（メタデータ） (2021-10-12T23:22:45Z)
• End-to-End Egospheric Spatial Memory [32.42361470456194]
  Egospheric Spatial Memory (ESM) と呼ばれるパラメータフリーのモジュールを提案し、エージェントの周りの自我圏内のメモリをエンコードする。 ESMは模倣あるいは強化学習を通じてエンドツーエンドでトレーニングすることができる。 ScanNetデータセット上でのセマンティックセグメンテーションへの適用を示す。ESMは画像レベルとマップレベルの推論モダリティを自然に組み合わせている。
  論文  参考訳（メタデータ） (2021-02-15T18:59:07Z)
• Deep Parametric Continuous Convolutional Neural Networks [92.87547731907176]
  Parametric Continuous Convolutionは、非グリッド構造化データ上で動作する、新たな学習可能な演算子である。 室内および屋外シーンの点雲セグメンテーションにおける最先端技術よりも顕著な改善が見られた。
  論文  参考訳（メタデータ） (2021-01-17T18:28:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。