論文の概要: In-Context Learning of Physical Properties: Few-Shot Adaptation to Out-of-Distribution Molecular Graphs

• arxiv url: http://arxiv.org/abs/2406.01808v1
• Date: Mon, 3 Jun 2024 21:59:21 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-05 20:42:35.613020
• Title: In-Context Learning of Physical Properties: Few-Shot Adaptation to Out-of-Distribution Molecular Graphs
• Title（参考訳）: 物理特性の文脈内学習:分布外分子グラフへのFew-Shot適応
• Authors: Grzegorz Kaszuba, Amirhossein D. Naghdi, Dario Massa, Stefanos Papanikolaou, Andrzej Jaszkiewicz, Piotr Sankowski,
• Abstract要約: コンテキスト内学習は推論中のみに非自明な機械学習タスクを実行することができる。 この研究で、我々は、イン・コンテクスト・ラーニングを利用して、配布外物質特性を予測できるだろうか? 我々は、GPT-2が幾何認識グラフニューラルネットワークの出力に作用し、コンテキスト内情報に適応する複合モデルを用いる。
• 参考スコア（独自算出の注目度）: 1.8635507597668244
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large language models manifest the ability of few-shot adaptation to a sequence of provided examples. This behavior, known as in-context learning, allows for performing nontrivial machine learning tasks during inference only. In this work, we address the question: can we leverage in-context learning to predict out-of-distribution materials properties? However, this would not be possible for structure property prediction tasks unless an effective method is found to pass atomic-level geometric features to the transformer model. To address this problem, we employ a compound model in which GPT-2 acts on the output of geometry-aware graph neural networks to adapt in-context information. To demonstrate our model's capabilities, we partition the QM9 dataset into sequences of molecules that share a common substructure and use them for in-context learning. This approach significantly improves the performance of the model on out-of-distribution examples, surpassing the one of general graph neural network models.
• Abstract（参考訳）: 大規模な言語モデルでは、提供されたサンプルのシーケンスへの少数ショット適応の能力を示す。 この振る舞いは、インコンテキスト学習(in-context learning)として知られるもので、推論中のみに非自明な機械学習タスクを実行することができる。 この研究で、我々は、イン・コンテクスト・ラーニングを利用して、配布外物質特性を予測できるだろうか? しかし、効率的な手法が変圧器モデルに原子レベルの幾何学的特徴を渡すことがなければ、構造特性予測タスクでは不可能である。 この問題に対処するために、GPT-2が幾何認識型グラフニューラルネットワークの出力に作用し、コンテキスト内情報に適応する複合モデルを用いる。 モデルの能力を実証するために、QM9データセットを共通のサブ構造を共有する分子列に分割し、コンテキスト内学習に使用します。 このアプローチは, 一般グラフニューラルネットワークモデルを上回る分布外例において, モデルの性能を著しく向上させる。

関連論文リスト

• An unified approach to link prediction in collaboration networks [0.0]
  本稿では、協調ネットワークにおけるリンク予測の3つのアプローチについて検討し、比較する。 ERGMはネットワーク内の一般的な構造パターンをキャプチャするために使用される。 GCNとWord2Vec+MLPモデルはディープラーニング技術を利用してノードとその関係の適応的構造表現を学習する。
  論文  参考訳（メタデータ） (2024-11-01T22:40:39Z)
• Transferable Post-training via Inverse Value Learning [83.75002867411263]
  別個のニューラルネットワーク(すなわち値ネットワーク)を用いた後学習におけるロジットレベルのモデリング変更を提案する。 このネットワークをデモを使って小さなベースモデルでトレーニングした後、推論中に他のトレーニング済みモデルとシームレスに統合することができる。 得られた値ネットワークは、パラメータサイズの異なる事前学習されたモデル間で広い転送性を有することを示す。
  論文  参考訳（メタデータ） (2024-10-28T13:48:43Z)
• Discovering interpretable elastoplasticity models via the neural polynomial method enabled symbolic regressions [0.0]
  従来のニューラルネットワークの弾塑性モデルは、しばしば解釈可能性に欠けると見なされる。 本稿では,人間専門家が解釈可能な数学的モデルを返す2段階の機械学習手法を提案する。
  論文  参考訳（メタデータ） (2023-07-24T22:22:32Z)
• FAENet: Frame Averaging Equivariant GNN for Materials Modeling [123.19473575281357]
  データ変換による任意のモデルE(3)-同変や不変化を実現するために,フレームアラグリング(SFA)に依存したフレキシブルなフレームワークを導入する。 本手法の有効性を理論的および実験的に証明し, 材料モデリングにおける精度と計算スケーラビリティを実証する。
  論文  参考訳（メタデータ） (2023-04-28T21:48:31Z)
• Robust Graph Representation Learning via Predictive Coding [46.22695915912123]
  予測符号化は、当初脳の情報処理をモデル化するために開発されたメッセージパッシングフレームワークである。 本研究では,予測符号化のメッセージパス規則に依存するモデルを構築する。 提案したモデルは,帰納的タスクと帰納的タスクの両方において,標準的なモデルに匹敵する性能を示す。
  論文  参考訳（メタデータ） (2022-12-09T03:58:22Z)
• Generalization Properties of Retrieval-based Models [50.35325326050263]
  検索ベースの機械学習手法は、幅広い問題で成功をおさめた。 これらのモデルの約束を示す文献が増えているにもかかわらず、そのようなモデルの理論的基盤はいまだに解明されていない。 本稿では,その一般化能力を特徴付けるために,検索ベースモデルの形式的処理を行う。
  論文  参考訳（メタデータ） (2022-10-06T00:33:01Z)
• Curvature-informed multi-task learning for graph networks [56.155331323304]
  最先端のグラフニューラルネットワークは、複数の特性を同時に予測しようとする。 この現象の潜在的な説明として、各特性の損失面の曲率が大きく異なり、非効率な学習につながる可能性がある。
  論文  参考訳（メタデータ） (2022-08-02T18:18:41Z)
• A Physics-Guided Neural Operator Learning Approach to Model Biological Tissues from Digital Image Correlation Measurements [3.65211252467094]
  本稿では, 生体組織モデリングにおけるデータ駆動型相関について述べる。これは, 未知の負荷シナリオ下でのデジタル画像相関(DIC)測定に基づいて変位場を予測することを目的としている。 ブタ三尖弁リーフレット上の多軸延伸プロトコルのDIC変位追跡測定から材料データベースを構築した。 材料応答は、負荷から結果の変位場への解演算子としてモデル化され、材料特性はデータから暗黙的に学習され、自然にネットワークパラメータに埋め込まれる。
  論文  参考訳（メタデータ） (2022-04-01T04:56:41Z)
• Towards Open-World Feature Extrapolation: An Inductive Graph Learning Approach [80.8446673089281]
  グラフ表現と学習を伴う新しい学習パラダイムを提案する。 本フレームワークは,1) 下位モデルとしてのバックボーンネットワーク(フィードフォワードニューラルネットなど)が,予測ラベルの入力および出力として機能を取り,2) 上位モデルとしてのグラフニューラルネットワークが,観測データから構築された特徴データグラフをメッセージパッシングすることで,新機能の埋め込みを外挿することを学ぶ。
  論文  参考訳（メタデータ） (2021-10-09T09:02:45Z)
• Model-agnostic multi-objective approach for the evolutionary discovery of mathematical models [55.41644538483948]
  現代のデータ科学では、どの部分がより良い結果を得るために置き換えられるかというモデルの性質を理解することがより興味深い。 合成データ駆動型モデル学習において,多目的進化最適化を用いてアルゴリズムの所望特性を求める。
  論文  参考訳（メタデータ） (2021-07-07T11:17:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。