論文の概要: Do Neural Operators Forget Geometry? The Forgetting Hypothesis in Deep Operator Learning
- arxiv url: http://arxiv.org/abs/2605.05862v1
- Date: Thu, 07 May 2026 08:31:33 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-08 22:27:11.630639
- Title: Do Neural Operators Forget Geometry? The Forgetting Hypothesis in Deep Operator Learning
- Title(参考訳): ニューラル・オペレーターは幾何学を忘れるのか? : ディープ・オペレーター・ラーニングにおける仮説
- Authors: Yanming Xia, Angelica I. Aviles-Rivero,
- Abstract要約: ニューラル作用素は、構造された領域ではよく機能するが、不規則なジオメトリー上での挙動はよく分かっていない。
我々は幾何予測仮説を定式化する: 作用素層のマルコフ構造のため、ニューラル作用素は深度が増加するにつれて領域幾何学へのアクセスを徐々に失う。
アーキテクチャ上のオーバーヘッドを最小限に抑えながら、中間の深さで幾何学的制約を復元する軽量な幾何学的メモリインジェクション機構を導入する。
- 参考スコア(独自算出の注目度): 0.2581652423269287
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Neural operators perform well on structured domains, yet their behaviour on irregular geometries remains poorly understood. We show that this limitation is not merely an encoding issue, but a depth-wise failure mode inherent to deep operator architectures. We formalise the Geometric Forgetting Hypothesis: due to the Markovian structure of operator layers and their reliance on global mixing mechanisms, neural operators progressively lose access to domain geometry as depth increases. Using layer-wise geometric probing, we demonstrate that both spectral and attention-based operators systematically lose geometric fidelity. We show that this geometric forgetting degrades accuracy, stability, and generalisation. To counteract it, we introduce a lightweight geometry memory injection mechanism that restores geometric constraints at intermediate depths with minimal architectural overhead. This simple intervention consistently mitigates forgetting and exposes a geometric shortcut instability in transformer-based operators, revealing that geometric retention is a structural requirement rather than a design choice.
- Abstract(参考訳): ニューラル作用素は、構造化された領域でよく機能するが、不規則な幾何学におけるそれらの振舞いはよく分かっていない。
この制限は単なる符号化の問題ではなく、深層演算子のアーキテクチャに固有の奥行き障害モードであることを示す。
作用素層のマルコフ構造と、その大域混合機構への依存により、ニューラル作用素は、深度が増加するにつれてドメイン幾何学へのアクセスを徐々に失う。
層単位での幾何学的探索を用いて、スペクトルと注意に基づく演算子の両方が、幾何学的忠実さを体系的に失うことを示した。
この幾何的忘れは精度、安定性、一般化を低下させる。
そこで本研究では,設計上のオーバーヘッドを最小限に抑えつつ,中間の深さで幾何学的制約を復元する軽量な幾何学的メモリインジェクション機構を提案する。
この単純な介入は、変圧器をベースとした演算子における幾何学的ショートカット不安定性を常に緩和し、幾何学的保持が設計選択というよりも構造的要求であることを明らかにする。
関連論文リスト
- LG-HCC: Local Geometry-Aware Hierarchical Context Compression for 3D Gaussian Splatting [77.81227097905865]
アンカーベースの3DGS圧縮スキームは、いくつかの高度な文脈モデルを通してガウスの冗長性を減少させる。
本稿では, アンカープルーニングとエントロピー符号化にアンカー幾何学的相関を組み込んだ3DGSのための局所幾何学的階層型コンテキスト圧縮フレームワークを提案する。
実験の結果、LG-HCCは構造保存の問題を効果的に緩和し、Mip-NeRF360データセット上のScaffold-GSベースラインと比較して最大30.85倍のストレージを削減した。
論文 参考訳(メタデータ) (2026-03-30T13:39:35Z) - ArGEnT: Arbitrary Geometry-encoded Transformer for Operator Learning [2.757490632589873]
本稿では、任意のドメイン上での演算子学習のための幾何認識型アテンションベースアーキテクチャであるArbitrary Geometry-encoded Transformer (ArGEnT)を提案する。
柔軟な幾何符号化と演算子学習機能を組み合わせることで、ArGEnTは複雑な物理システムの最適化、不確実性、データ駆動モデリングのためのスケーラブルな代理モデリングフレームワークを提供する。
論文 参考訳(メタデータ) (2026-02-12T06:22:59Z) - Geometric and Dynamic Scaling in Deep Transformers [13.697614668609205]
我々は、ディープトランスフォーマーの崩壊は基本的に幾何学的な問題であると主張する。
2つの原則によりこれらの障害に対処する統一的な幾何学的枠組みを提案する。
超深層ネットワークにおけるランク崩壊を回避するためには, 動的消去を許容しながら幾何的妥当性を強制することが重要であると予測した。
論文 参考訳(メタデータ) (2026-01-03T00:41:46Z) - Deep sequence models tend to memorize geometrically; it is unclear why [42.53849315139079]
このような幾何学の台頭は、単なる局所的な関係を最適化するにも拘わらず、典型的な建築的あるいは最適化的な圧力による直接の帰結はあり得ない、と我々は論じる。
我々は、この幾何学が(一般的な理論とは対照的に)様々な圧力の欠如にもかかわらず自然に現れるスペクトルバイアスに由来することを実証する。
論文 参考訳(メタデータ) (2025-10-30T17:40:22Z) - The Neural Differential Manifold: An Architecture with Explicit Geometric Structure [8.201374511929538]
本稿では,その基本設計に幾何学的構造を明示的に組み込んだニューラルネットワークアーキテクチャであるニューラル微分マニフォールド(NDM)を紹介する。
我々は、より効率的な最適化の可能性、継続学習の強化、科学的発見と制御可能な生成モデルへの応用など、このアプローチの理論的利点を分析する。
論文 参考訳(メタデータ) (2025-10-29T02:24:27Z) - Fully Geometric Multi-Hop Reasoning on Knowledge Graphs with Transitive Relations [50.05281461410368]
マルチホップ推論のための幾何学的埋め込み手法GeometrEを紹介する。
論理演算を学習する必要はなく、完全に幾何学的解釈可能である。
実験の結果,GeometrEは標準ベンチマークデータセットの最先端手法よりも優れていることがわかった。
論文 参考訳(メタデータ) (2025-05-18T11:17:50Z) - Adaptive Surface Normal Constraint for Geometric Estimation from Monocular Images [56.86175251327466]
本稿では,幾何学的文脈を取り入れつつ,画像から深度や表面正規度などの測地を学習するための新しい手法を提案する。
提案手法は,入力画像に存在する幾何学的変動を符号化した幾何学的文脈を抽出し,幾何的制約と深度推定を相関付ける。
本手法は,画像から高品質な3次元形状を生成可能な密着型フレームワーク内での深度と表面の正規分布推定を統一する。
論文 参考訳(メタデータ) (2024-02-08T17:57:59Z) - Exploring Data Geometry for Continual Learning [64.4358878435983]
非定常データストリームのデータ幾何を探索することにより,新しい視点から連続学習を研究する。
提案手法は,新しいデータによって引き起こされる幾何構造に対応するために,基底空間の幾何学を動的に拡張する。
実験により,本手法はユークリッド空間で設計したベースライン法よりも優れた性能が得られることが示された。
論文 参考訳(メタデータ) (2023-04-08T06:35:25Z) - DSG-Net: Learning Disentangled Structure and Geometry for 3D Shape
Generation [98.96086261213578]
DSG-Netは3次元形状の非交叉構造と幾何学的メッシュ表現を学習するディープニューラルネットワークである。
これは、幾何(構造)を不変に保ちながら構造(幾何学)のような不整合制御を持つ新しい形状生成アプリケーションの範囲をサポートする。
本手法は,制御可能な生成アプリケーションだけでなく,高品質な合成形状を生成できる。
論文 参考訳(メタデータ) (2020-08-12T17:06:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。