論文の概要: Learning Operators with Coupled Attention
- arxiv url: http://arxiv.org/abs/2201.01032v1
- Date: Tue, 4 Jan 2022 08:22:03 GMT
- ステータス: 処理完了
- システム内更新日: 2022-01-05 13:38:17.405159
- Title: Learning Operators with Coupled Attention
- Title（参考訳）: 協調した注意を持つ学習オペレーター
- Authors: Georgios Kissas, Jacob Seidman, Leonardo Ferreira Guilhoto, Victor M.
Preciado, George J. Pappas and Paris Perdikaris
- Abstract要約: 本稿では,近年の注目機構の成功を動機とした,新しい演算子学習手法であるLOCAを提案する。
我々のアーキテクチャでは、入力関数は有限個の特徴にマッピングされ、その特徴は出力クエリの場所に依存する注意重みで平均化される。
これらの注意重みを積分変換と組み合わせることで、LOCAは目標出力関数の相関関係を明示的に学習することができる。
- 参考スコア（独自算出の注目度）: 9.715465024071333
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Supervised operator learning is an emerging machine learning paradigm with
applications to modeling the evolution of spatio-temporal dynamical systems and
approximating general black-box relationships between functional data. We
propose a novel operator learning method, LOCA (Learning Operators with Coupled
Attention), motivated from the recent success of the attention mechanism. In
our architecture, the input functions are mapped to a finite set of features
which are then averaged with attention weights that depend on the output query
locations. By coupling these attention weights together with an integral
transform, LOCA is able to explicitly learn correlations in the target output
functions, enabling us to approximate nonlinear operators even when the number
of output function in the training set measurements is very small. Our
formulation is accompanied by rigorous approximation theoretic guarantees on
the universal expressiveness of the proposed model. Empirically, we evaluate
the performance of LOCA on several operator learning scenarios involving
systems governed by ordinary and partial differential equations, as well as a
black-box climate prediction problem. Through these scenarios we demonstrate
state of the art accuracy, robustness with respect to noisy input data, and a
consistently small spread of errors over testing data sets, even for
out-of-distribution prediction tasks.
- Abstract（参考訳）: Supervised operator learningは、時空間力学系の進化をモデル化し、機能データ間の一般的なブラックボックス関係を近似するための応用のための、新しい機械学習パラダイムである。
本稿では,近年の注目機構の成功を動機とした,新たな演算子学習手法であるLOCAを提案する。
我々のアーキテクチャでは、入力関数は有限個の特徴にマッピングされ、その特徴は出力クエリの場所に依存する注意重みで平均化される。
これらの注意重みを積分変換と組み合わせることで、LOCAは目標出力関数の相関関係を明示的に学習することができ、トレーニングセットの測定における出力関数の数が非常に小さい場合でも非線形演算子を近似することができる。
この定式化には,提案モデルの普遍表現性に関する厳密な近似理論的保証が伴う。
実験により,常微分方程式と偏微分方程式に支配されるシステムと,ブラックボックス気候予測問題を含む演算子学習シナリオにおけるLOCAの性能を評価する。
これらのシナリオを通じて、分散予測タスクであっても、ノイズの多い入力データに対する技術精度、堅牢性、テストデータセット上で一貫して小さなエラーの拡散を示す。
関連論文リスト
- DeepONet as a Multi-Operator Extrapolation Model: Distributed Pretraining with Physics-Informed Fine-Tuning [6.635683993472882]
マルチオペレータ学習を実現するためのファインチューニング手法を提案する。
本手法は,事前学習における各種演算子からのデータを分散学習と組み合わせ,物理インフォームド手法によりゼロショット微調整が可能となる。
論文 参考訳（メタデータ） (2024-11-11T18:58:46Z) - LoRA-Ensemble: Efficient Uncertainty Modelling for Self-attention Networks [52.46420522934253]
本稿では,自己注意ネットワークのためのパラメータ効率の高いディープアンサンブル手法であるLoRA-Ensembleを紹介する。
全メンバー間で重みを共有できる1つの事前学習型自己注意ネットワークを利用することで、注意投影のために、メンバー固有の低ランク行列を訓練する。
提案手法は明示的なアンサンブルよりも優れたキャリブレーションを示し,様々な予測タスクやデータセットに対して類似あるいは良好な精度を実現する。
論文 参考訳（メタデータ） (2024-05-23T11:10:32Z) - Learning invariant representations of time-homogeneous stochastic dynamical systems [27.127773672738535]
我々は,そのダイナミクスを忠実に捉えた状態の表現を学習する問題を研究する。
これは、転送演算子やシステムのジェネレータを学ぶのに役立ちます。
ニューラルネットワークに対する最適化問題として,優れた表現の探索が可能であることを示す。
論文 参考訳（メタデータ） (2023-07-19T11:32:24Z) - A Mechanistic Interpretation of Arithmetic Reasoning in Language Models
using Causal Mediation Analysis [128.0532113800092]
算数問題に対するトランスフォーマーに基づくLMの機械的解釈を提案する。
これにより、算術に関連する情報がLMによってどのように処理されるかについての洞察が得られる。
論文 参考訳（メタデータ） (2023-05-24T11:43:47Z) - Learning outside the Black-Box: The pursuit of interpretable models [78.32475359554395]
本稿では,任意の連続ブラックボックス関数の連続的大域的解釈を生成するアルゴリズムを提案する。
我々の解釈は、その芸術の以前の状態から飛躍的な進歩を表している。
論文 参考訳（メタデータ） (2020-11-17T12:39:44Z) - Network Classifiers Based on Social Learning [71.86764107527812]
空間と時間に対して独立に訓練された分類器を結合する新しい手法を提案する。
提案したアーキテクチャは、ラベルのないデータで時間とともに予測性能を改善することができる。
この戦略は高い確率で一貫した学習をもたらすことが示され、未訓練の分類器に対して頑健な構造が得られる。
論文 参考訳（メタデータ） (2020-10-23T11:18:20Z) - Function Contrastive Learning of Transferable Meta-Representations [38.31692245188669]
共同訓練がメタ表現の伝達性に及ぼす影響について検討した。
教師付きメタ学習のためのデカップリングエンコーダデコーダアプローチを提案する。
論文 参考訳（メタデータ） (2020-10-14T13:50:22Z) - Estimating Structural Target Functions using Machine Learning and
Influence Functions [103.47897241856603]
統計モデルから特定可能な関数として生じる対象関数の統計的機械学習のための新しい枠組みを提案する。
このフレームワークは問題とモデルに依存しないものであり、応用統計学における幅広い対象パラメータを推定するのに使用できる。
我々は、部分的に観測されていない情報を持つランダム/二重ロバストな問題において、いわゆる粗大化に特に焦点をあてた。
論文 参考訳（メタデータ） (2020-08-14T16:48:29Z) - A Trainable Optimal Transport Embedding for Feature Aggregation and its
Relationship to Attention [96.77554122595578]
固定サイズのパラメータ化表現を導入し、与えられた入力セットから、そのセットとトレーニング可能な参照の間の最適な輸送計画に従って要素を埋め込み、集約する。
我々のアプローチは大規模なデータセットにスケールし、参照のエンドツーエンドのトレーニングを可能にすると同時に、計算コストの少ない単純な教師なし学習メカニズムも提供する。
論文 参考訳（メタデータ） (2020-06-22T08:35:58Z) - On the Estimation of Complex Circuits Functional Failure Rate by Machine
Learning Techniques [0.16311150636417257]
デレーティング(De-Rating)あるいは脆弱性要因(Vulnerability Factors)は、今日の機能的安全要件によって管理される障害分析の最大の特徴である。
機械学習を用いて個々のフリップフロップの関数的デレートを推定する新しい手法が提案されている。
論文 参考訳（メタデータ） (2020-02-18T15:18:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。