論文の概要: Curvature-informed multi-task learning for graph networks
- arxiv url: http://arxiv.org/abs/2208.01684v1
- Date: Tue, 2 Aug 2022 18:18:41 GMT
- ステータス: 処理完了
- システム内更新日: 2022-08-04 13:03:51.252023
- Title: Curvature-informed multi-task learning for graph networks
- Title(参考訳): グラフネットワークのための曲率インフォームドマルチタスク学習
- Authors: Alexander New, Michael J. Pekala, Nam Q. Le, Janna Domenico, Christine
D. Piatko, Christopher D. Stiles
- Abstract要約: 最先端のグラフニューラルネットワークは、複数の特性を同時に予測しようとする。
この現象の潜在的な説明として、各特性の損失面の曲率が大きく異なり、非効率な学習につながる可能性がある。
- 参考スコア(独自算出の注目度): 56.155331323304
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Properties of interest for crystals and molecules, such as band gap,
elasticity, and solubility, are generally related to each other: they are
governed by the same underlying laws of physics. However, when state-of-the-art
graph neural networks attempt to predict multiple properties simultaneously
(the multi-task learning (MTL) setting), they frequently underperform a suite
of single property predictors. This suggests graph networks may not be fully
leveraging these underlying similarities. Here we investigate a potential
explanation for this phenomenon: the curvature of each property's loss surface
significantly varies, leading to inefficient learning. This difference in
curvature can be assessed by looking at spectral properties of the Hessians of
each property's loss function, which is done in a matrix-free manner via
randomized numerical linear algebra. We evaluate our hypothesis on two
benchmark datasets (Materials Project (MP) and QM8) and consider how these
findings can inform the training of novel multi-task learning models.
- Abstract(参考訳): バンドギャップ、弾力性、溶解性などの結晶や分子に対する興味の性質は、一般に互いに関係しており、それらは物理の法則によって支配されている。
しかし、最先端のグラフニューラルネットワークが複数の特性を同時に予測しようとするとき(マルチタスク学習(MTL)設定)、それらは単一の特性予測器のスイートを過小評価する。
これは、グラフネットワークがこれらの基盤となる類似性を十分に活用していないことを示唆している。
ここでは、この現象の潜在的な説明として、各特性の損失面の曲率が大きく変化し、非効率な学習につながった。
この曲率差は、各性質の損失関数のヘッセンのスペクトル特性をランダム化された数値線型代数を通して行列のない方法で調べることで評価することができる。
本稿では,2つのベンチマークデータセット(MPとQM8)で仮説を評価し,これらの結果が新しいマルチタスク学習モデルのトレーニングにどのように役立つかを考察する。
関連論文リスト
- Directed Scattering for Knowledge Graph-based Cellular Signaling
Analysis [6.5879443786840035]
幾何散乱変換の有向バージョンを用いたDSAE(Directed Scattering Autoencoder)と呼ばれる新しいフレームワークを提案する。
本手法は,有向グラフの埋め込みやセルシグナリングネットワークの学習など,多くのタスクにおいて優れることを示す。
論文 参考訳(メタデータ) (2023-09-14T15:59:23Z) - A theory of data variability in Neural Network Bayesian inference [0.70224924046445]
無限広ネットワークの一般化特性をカバーする場理論形式論を提供する。
入力の統計的性質から一般化特性を導出する。
データ可変性は、(varphi3+varphi4$)-理論を思い起こさせる非ガウス的作用をもたらすことを示す。
論文 参考訳(メタデータ) (2023-07-31T14:11:32Z) - Learning the Evolutionary and Multi-scale Graph Structure for
Multivariate Time Series Forecasting [50.901984244738806]
時系列の進化的・マルチスケール相互作用をモデル化する方法を示す。
特に、まず、拡張畳み込みと協調して、スケール固有の相関を捉える階層グラフ構造を提供する。
最終的な予測を得るために上記のコンポーネントを統合するために、統合ニューラルネットワークが提供される。
論文 参考訳(メタデータ) (2022-06-28T08:11:12Z) - Neural Sheaf Diffusion: A Topological Perspective on Heterophily and
Oversmoothing in GNNs [16.88394293874848]
セルラーシーフ理論を用いて、グラフの基盤となる幾何学がGNNの性能と深く関連していることを示す。
一般化されたシーブの階層構造を考慮し、無限時間極限におけるクラスの線形分離を実現するための層拡散過程の能力がいかに拡大するかを考察する。
我々は, せん断が非自明な場合, 離散パラメトリック拡散過程はGNNよりもその挙動を制御できることを証明した。
論文 参考訳(メタデータ) (2022-02-09T17:25:02Z) - TACTiS: Transformer-Attentional Copulas for Time Series [76.71406465526454]
時間変化量の推定は、医療や金融などの分野における意思決定の基本的な構成要素である。
本稿では,アテンションベースデコーダを用いて関節分布を推定する多元的手法を提案する。
本研究では,本モデルが実世界の複数のデータセットに対して最先端の予測を生成することを示す。
論文 参考訳(メタデータ) (2022-02-07T21:37:29Z) - Graph network for simultaneous learning of forward and inverse physics [0.0]
本稿では,解釈可能な帰納バイアスを用いて粒子物理学の前方および逆モデルを学ぶエンド・ツー・エンドグラフネットワークを提案する。
我々の手法は、少なくとも1桁高い精度で前方ダイナミクスを予測できる。
論文 参考訳(メタデータ) (2021-12-13T22:38:09Z) - Multi-scale Feature Learning Dynamics: Insights for Double Descent [71.91871020059857]
一般化誤差の「二重降下」現象について検討する。
二重降下は、異なるスケールで学習される異なる特徴に起因する可能性がある。
論文 参考訳(メタデータ) (2021-12-06T18:17:08Z) - Learning with Density Matrices and Random Features [62.997667081978825]
密度行列は、量子系の統計状態を記述する。
本稿では,機械学習モデル構築のためのビルディングブロックとして,密度行列をどのように利用できるかを検討する。
論文 参考訳(メタデータ) (2021-02-08T17:54:59Z) - Fundamental Limits and Tradeoffs in Invariant Representation Learning [99.2368462915979]
多くの機械学習アプリケーションは、2つの競合する目標を達成する表現を学習する。
ミニマックスゲーム理論の定式化は、精度と不変性の基本的なトレードオフを表す。
分類と回帰の双方において,この一般的かつ重要な問題を情報論的に解析する。
論文 参考訳(メタデータ) (2020-12-19T15:24:04Z) - Linear predictor on linearly-generated data with missing values: non
consistency and solutions [0.0]
本研究では,予測対象が全観測データの線形関数である場合について検討する。
不足する値が存在する場合、最適予測器は線形でない可能性があることを示す。
論文 参考訳(メタデータ) (2020-02-03T11:49:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。