論文の概要: Curvature-informed multi-task learning for graph networks
- arxiv url: http://arxiv.org/abs/2208.01684v1
- Date: Tue, 2 Aug 2022 18:18:41 GMT
- ステータス: 処理完了
- システム内更新日: 2022-08-04 13:03:51.252023
- Title: Curvature-informed multi-task learning for graph networks
- Title（参考訳）: グラフネットワークのための曲率インフォームドマルチタスク学習
- Authors: Alexander New, Michael J. Pekala, Nam Q. Le, Janna Domenico, Christine
D. Piatko, Christopher D. Stiles
- Abstract要約: 最先端のグラフニューラルネットワークは、複数の特性を同時に予測しようとする。
この現象の潜在的な説明として、各特性の損失面の曲率が大きく異なり、非効率な学習につながる可能性がある。
- 参考スコア（独自算出の注目度）: 56.155331323304
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Properties of interest for crystals and molecules, such as band gap,
elasticity, and solubility, are generally related to each other: they are
governed by the same underlying laws of physics. However, when state-of-the-art
graph neural networks attempt to predict multiple properties simultaneously
(the multi-task learning (MTL) setting), they frequently underperform a suite
of single property predictors. This suggests graph networks may not be fully
leveraging these underlying similarities. Here we investigate a potential
explanation for this phenomenon: the curvature of each property's loss surface
significantly varies, leading to inefficient learning. This difference in
curvature can be assessed by looking at spectral properties of the Hessians of
each property's loss function, which is done in a matrix-free manner via
randomized numerical linear algebra. We evaluate our hypothesis on two
benchmark datasets (Materials Project (MP) and QM8) and consider how these
findings can inform the training of novel multi-task learning models.
- Abstract（参考訳）: バンドギャップ、弾力性、溶解性などの結晶や分子に対する興味の性質は、一般に互いに関係しており、それらは物理の法則によって支配されている。
しかし、最先端のグラフニューラルネットワークが複数の特性を同時に予測しようとするとき(マルチタスク学習(MTL)設定)、それらは単一の特性予測器のスイートを過小評価する。
これは、グラフネットワークがこれらの基盤となる類似性を十分に活用していないことを示唆している。
ここでは、この現象の潜在的な説明として、各特性の損失面の曲率が大きく変化し、非効率な学習につながった。
この曲率差は、各性質の損失関数のヘッセンのスペクトル特性をランダム化された数値線型代数を通して行列のない方法で調べることで評価することができる。
本稿では,2つのベンチマークデータセット(MPとQM8)で仮説を評価し,これらの結果が新しいマルチタスク学習モデルのトレーニングにどのように役立つかを考察する。
関連論文リスト
- A Random Matrix Theory Perspective on the Spectrum of Learned Features and Asymptotic Generalization Capabilities [30.737171081270322]
完全に接続された2層ニューラルネットワークは、単一だが攻撃的な勾配降下ステップの後、ターゲット関数にどのように適応するかを検討する。
これは、2層ニューラルネットワークの一般化における特徴学習の影響を、ランダムな特徴や遅延トレーニング体制を超えて、はっきりと説明してくれる。
論文 参考訳（メタデータ） (2024-10-24T17:24:34Z) - In-Context Learning of Physical Properties: Few-Shot Adaptation to Out-of-Distribution Molecular Graphs [1.8635507597668244]
コンテキスト内学習は推論中のみに非自明な機械学習タスクを実行することができる。
この研究で、我々は、イン・コンテクスト・ラーニングを利用して、配布外物質特性を予測できるだろうか?
我々は、GPT-2が幾何認識グラフニューラルネットワークの出力に作用し、コンテキスト内情報に適応する複合モデルを用いる。
論文 参考訳（メタデータ） (2024-06-03T21:59:21Z) - A theory of data variability in Neural Network Bayesian inference [0.70224924046445]
無限広ネットワークの一般化特性をカバーする場理論形式論を提供する。
入力の統計的性質から一般化特性を導出する。
データ可変性は、(varphi3+varphi4$)-理論を思い起こさせる非ガウス的作用をもたらすことを示す。
論文 参考訳（メタデータ） (2023-07-31T14:11:32Z) - Geometric Graph Filters and Neural Networks: Limit Properties and
Discriminability Trade-offs [122.06927400759021]
本稿では,グラフニューラルネットワーク (GNN) と多様体ニューラルネットワーク (MNN) の関係について検討する。
これらのグラフ上の畳み込みフィルタとニューラルネットワークが連続多様体上の畳み込みフィルタとニューラルネットワークに収束することを示す。
論文 参考訳（メタデータ） (2023-05-29T08:27:17Z) - Predictions Based on Pixel Data: Insights from PDEs and Finite Differences [0.0]
本稿では,各観測が行列である時間列の近似を扱う。
比較的小さなネットワークでは、直線法に基づいて、PDEの数値的な離散化のクラスを正確に表現できることが示される。
我々のネットワークアーキテクチャは、典型的に時系列の近似に採用されているものから着想を得ている。
論文 参考訳（メタデータ） (2023-05-01T08:54:45Z) - Learning the Evolutionary and Multi-scale Graph Structure for
Multivariate Time Series Forecasting [50.901984244738806]
時系列の進化的・マルチスケール相互作用をモデル化する方法を示す。
特に、まず、拡張畳み込みと協調して、スケール固有の相関を捉える階層グラフ構造を提供する。
最終的な予測を得るために上記のコンポーネントを統合するために、統合ニューラルネットワークが提供される。
論文 参考訳（メタデータ） (2022-06-28T08:11:12Z) - TACTiS: Transformer-Attentional Copulas for Time Series [76.71406465526454]
時間変化量の推定は、医療や金融などの分野における意思決定の基本的な構成要素である。
本稿では,アテンションベースデコーダを用いて関節分布を推定する多元的手法を提案する。
本研究では,本モデルが実世界の複数のデータセットに対して最先端の予測を生成することを示す。
論文 参考訳（メタデータ） (2022-02-07T21:37:29Z) - Graph network for simultaneous learning of forward and inverse physics [0.0]
本稿では,解釈可能な帰納バイアスを用いて粒子物理学の前方および逆モデルを学ぶエンド・ツー・エンドグラフネットワークを提案する。
我々の手法は、少なくとも1桁高い精度で前方ダイナミクスを予測できる。
論文 参考訳（メタデータ） (2021-12-13T22:38:09Z) - Multi-scale Feature Learning Dynamics: Insights for Double Descent [71.91871020059857]
一般化誤差の「二重降下」現象について検討する。
二重降下は、異なるスケールで学習される異なる特徴に起因する可能性がある。
論文 参考訳（メタデータ） (2021-12-06T18:17:08Z) - Fundamental Limits and Tradeoffs in Invariant Representation Learning [99.2368462915979]
多くの機械学習アプリケーションは、2つの競合する目標を達成する表現を学習する。
ミニマックスゲーム理論の定式化は、精度と不変性の基本的なトレードオフを表す。
分類と回帰の双方において,この一般的かつ重要な問題を情報論的に解析する。
論文 参考訳（メタデータ） (2020-12-19T15:24:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。