論文の概要: Improved Operator Learning by Orthogonal Attention

• arxiv url: http://arxiv.org/abs/2310.12487v3
• Date: Thu, 4 Jul 2024 07:20:40 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-09 00:52:08.577406
• Title: Improved Operator Learning by Orthogonal Attention
• Title（参考訳）: 直交注意によるオペレータ学習の改善
• Authors: Zipeng Xiao, Zhongkai Hao, Bokai Lin, Zhijie Deng, Hang Su,
• Abstract要約: 我々は、カーネル積分作用素の固有分解と固有関数のニューラル近似に基づいて注意を喚起する。 我々の手法は、競合するベースラインを十分なマージンで上回ることができる。
• 参考スコア（独自算出の注目度）: 17.394770071994145
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Neural operators, as an efficient surrogate model for learning the solutions of PDEs, have received extensive attention in the field of scientific machine learning. Among them, attention-based neural operators have become one of the mainstreams in related research. However, existing approaches overfit the limited training data due to the considerable number of parameters in the attention mechanism. To address this, we develop an orthogonal attention based on the eigendecomposition of the kernel integral operator and the neural approximation of eigenfunctions. The orthogonalization naturally poses a proper regularization effect on the resulting neural operator, which aids in resisting overfitting and boosting generalization. Experiments on six standard neural operator benchmark datasets comprising both regular and irregular geometries show that our method can outperform competing baselines with decent margins.
• Abstract（参考訳）: ニューラルネットワークは、PDEの解を学習するための効率的な代理モデルとして、科学機械学習の分野で広く注目を集めている。 それらの中で、注意に基づく神経オペレーターは、関連する研究の主流の1つになっている。 しかし、既存のアプローチは、注意機構のかなりの数のパラメータのため、限られたトレーニングデータに過度に適合する。 これを解決するために、カーネル積分作用素の固有分解と固有関数のニューラル近似に基づいて直交注意を発達させる。 直交化は自然に、結果として生じる神経オペレーターに適切な正則化効果を示し、過度な適合に抵抗し、一般化を促進するのに役立つ。 正規測地と不規則測地の両方からなる6つの標準ニューラル演算子ベンチマークデータセットの実験により、本手法は、競合するベースラインを十分なマージンで上回ることを示す。

関連論文リスト

• Towards Gaussian Process for operator learning: an uncertainty aware resolution independent operator learning algorithm for computational mechanics [8.528817025440746]
  本稿では、パラメトリック微分方程式を解くための新しいガウス過程(GP)に基づくニューラル演算子を提案する。 ニューラル演算子を用いて学習した潜在空間でGPカーネルを定式化するニューラル演算子埋め込みカーネル'を提案する。 本研究は, 不確実性評価におけるロバスト性を維持しつつ, 複雑なPDEを解く上で, この枠組みの有効性を強調した。
  論文  参考訳（メタデータ） (2024-09-17T08:12:38Z)
• Nonlocal Attention Operator: Materializing Hidden Knowledge Towards Interpretable Physics Discovery [25.75410883895742]
  非局所注意演算子(NAO)を作製するアテンション機構に基づく新しいニューラル演算子アーキテクチャを提案する。 NAOは正規化を符号化し、一般化性を達成することで、逆PDE問題における不備とランク不足に対処することができる。
  論文  参考訳（メタデータ） (2024-08-14T05:57:56Z)
• Axiomatic Causal Interventions for Reverse Engineering Relevance Computation in Neural Retrieval Models [20.29451537633895]
  本稿では,ニューラルランサーのリバースエンジニアリングにおける因果介入法を提案する。 本稿では, 項周波数公理を満たす成分を分離するために, 機械的解釈可能性法をどのように利用できるかを示す。
  論文  参考訳（メタデータ） (2024-05-03T22:30:15Z)
• Function-Space Regularization in Neural Networks: A Probabilistic Perspective [51.133793272222874]
  所望の予測関数に関する情報をニューラルネットワークトレーニングに明示的にエンコードできる、モチベーションの高い正規化手法を導出できることが示される。 本手法の有効性を実証的に評価し,提案手法がほぼ完全なセマンティックシフト検出と高度に校正された予測不確実性推定に繋がることを示す。
  論文  参考訳（メタデータ） (2023-12-28T17:50:56Z)
• Benign Overfitting in Deep Neural Networks under Lazy Training [72.28294823115502]
  データ分布が適切に分離された場合、DNNは分類のためのベイズ最適テスト誤差を達成できることを示す。 よりスムーズな関数との補間により、より一般化できることを示す。
  論文  参考訳（メタデータ） (2023-05-30T19:37:44Z)
• Learning Neural Eigenfunctions for Unsupervised Semantic Segmentation [12.91586050451152]
  スペクトルクラスタリング(英: Spectral clustering)は、異なるクラスタを構築するために画素のスペクトル埋め込みを計算する理論上の解である。 現在のアプローチは、まだスペクトル分解の非効率性と、試験データに適用する際の柔軟性に悩まされている。 この研究は、スペクトルクラスタリングをニューラルネットワークに基づく固有関数を用いてスペクトル埋め込みを生成するパラメトリックアプローチとしてキャストすることで、これらの問題に対処する。 実際には、神経固有関数は軽量であり、事前訓練されたモデルの特徴を入力とし、トレーニング効率を改善し、より密集した予測のための事前訓練されたモデルの可能性を解き放つ。
  論文  参考訳（メタデータ） (2023-04-06T03:14:15Z)
• TANGOS: Regularizing Tabular Neural Networks through Gradient Orthogonalization and Specialization [69.80141512683254]
  TANGOS(Tbular Neural Gradient Orthogonalization and gradient)を紹介する。 TANGOSは、潜在ユニット属性上に構築された表の設定を正規化するための新しいフレームワークである。 提案手法は,他の一般的な正規化手法よりも優れ,サンプル外一般化性能の向上につながることを実証する。
  論文  参考訳（メタデータ） (2023-03-09T18:57:13Z)
• INO: Invariant Neural Operators for Learning Complex Physical Systems with Momentum Conservation [8.218875461185016]
  基本保存法則が自動的に保証される物理モデルを学ぶために,新しい統合ニューラル演算子アーキテクチャを導入する。 応用例として、合成データセットと実験データセットの両方から複雑な物質挙動を学習する際のモデルの有効性と有効性を示す。
  論文  参考訳（メタデータ） (2022-12-29T16:40:41Z)
• Learning Neural Causal Models with Active Interventions [83.44636110899742]
  本稿では,データ生成プロセスの根底にある因果構造を素早く識別する能動的介入ターゲット機構を提案する。 本手法は,ランダムな介入ターゲティングと比較して,要求される対話回数を大幅に削減する。 シミュレーションデータから実世界のデータまで,複数のベンチマークにおいて優れた性能を示す。
  論文  参考訳（メタデータ） (2021-09-06T13:10:37Z)
• Neural Operator: Learning Maps Between Function Spaces [75.93843876663128]
  本稿では,無限次元関数空間間を写像する演算子,いわゆるニューラル演算子を学習するためのニューラルネットワークの一般化を提案する。 提案したニューラル作用素に対して普遍近似定理を証明し、任意の非線形連続作用素を近似することができることを示す。 ニューラル作用素に対する重要な応用は、偏微分方程式の解作用素に対する代理写像を学習することである。
  論文  参考訳（メタデータ） (2021-08-19T03:56:49Z)
• Provably Efficient Neural Estimation of Structural Equation Model: An Adversarial Approach [144.21892195917758]
  一般化構造方程式モデル(SEM)のクラスにおける推定について検討する。 線形作用素方程式をmin-maxゲームとして定式化し、ニューラルネットワーク(NN)でパラメータ化し、勾配勾配を用いてニューラルネットワークのパラメータを学習する。 提案手法は,サンプル分割を必要とせず,確固とした収束性を持つNNをベースとしたSEMの抽出可能な推定手順を初めて提供する。
  論文  参考訳（メタデータ） (2020-07-02T17:55:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。