論文の概要: Hierarchical Adaptation with Hypernetworks for Few-shot Molecular
Property Prediction
- arxiv url: http://arxiv.org/abs/2310.00614v1
- Date: Sun, 1 Oct 2023 08:28:04 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-05 03:10:25.996983
- Title: Hierarchical Adaptation with Hypernetworks for Few-shot Molecular
Property Prediction
- Title(参考訳): 分子特性予測のためのハイパーネットワークによる階層的適応
- Authors: Shiguang Wu, Yaqing Wang, Quanming Yao
- Abstract要約: マイクロショットMPP(HiMPP)のための新しい階層適応機構を提案する。
HiMPPは、数ショットのMPP問題において最先端のパフォーマンスを得る。
- 参考スコア(独自算出の注目度): 46.78908408923308
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Molecular property prediction (MPP) is important in biomedical applications,
which naturally suffers from a lack of labels, thus forming a few-shot learning
problem. State-of-the-art approaches are usually based on gradient-based meta
learning strategy, which ignore difference in model parameter and molecule's
learning difficulty. To address above problems, we propose a novel hierarchical
adaptation mechanism for few-shot MPP (HiMPP). The model follows a
encoder-predictor framework. First, to make molecular representation
property-adaptive, we selectively adapt encoder's parameter by designing a
hypernetwork to modulate node embeddings during message propagation. Next, we
make molecule-level adaptation by design another hypernetwork, which assigns
larger propagating steps for harder molecules in predictor. In this way,
molecular representation is transformed by HiMPP hierarchically from
property-level to molecular level. Extensive results show that HiMPP obtains
the state-of-the-art performance in few-shot MPP problems, and our proposed
hierarchical adaptation mechanism is rational and effective.
- Abstract(参考訳): 分子特性予測(MPP)は生物医学的応用において重要であり、ラベルの欠如に自然に悩まされ、数発の学習問題を形成している。
最先端のアプローチは通常、モデルパラメータと分子の学習困難の違いを無視する勾配に基づくメタ学習戦略に基づいている。
上記の問題に対処するために, 少数ショットMPP (HiMPP) のための新しい階層適応機構を提案する。
モデルはエンコーダ・予測フレームワークに従う。
まず,メッセージ伝達中にノード埋め込みを変調するハイパーネットワークを設計することにより,エンコーダのパラメータを選択的に適応させる。
次に、分子レベルの適応を別のハイパーネットワークを設計し、予測器においてより難しい分子により大きな伝播ステップを割り当てる。
このように、分子表現は、階層的に特性レベルから分子レベルに変換される。
以上の結果から,HMPPはMPP問題において最先端の性能を達成し,階層適応機構が合理的かつ効果的であることが示唆された。
関連論文リスト
- Dynamic Tuning Towards Parameter and Inference Efficiency for ViT Adaptation [67.13876021157887]
動的チューニング(DyT)は、ViT適応のためのパラメータと推論効率を改善するための新しいアプローチである。
DyTは既存のPEFT法と比較すると、同等またはそれ以上の性能を実現している。
論文 参考訳(メタデータ) (2024-03-18T14:05:52Z) - Re-parameterized Low-rank Prompt: Generalize a Vision-Language Model
within 0.5K Parameters [75.28536311904489]
そこで我々は,RLP(Re- parameterized Low-rank Prompt)という新しいタイプのプロンプトを開発した。
11データセットを超える一連のタスクにおいて、RLPは0.5Kパラメータだけで古典的なプロンプトチューニングの平均下流精度を最大5.25%向上させる。
論文 参考訳(メタデータ) (2023-12-17T20:42:43Z) - G-Adapter: Towards Structure-Aware Parameter-Efficient Transfer Learning
for Graph Transformer Networks [0.7118812771905295]
特徴分布シフトの問題から,既存のPEFTをグラフベースタスクへ直接転送することが準最適であることを示す。
本稿では,G-Adapter という新しい構造対応PEFT手法を提案する。
大規模な実験により、G-Adapterは9つのグラフベンチマークデータセットと比較すると、最先端のパフォーマンスが得られることが示された。
論文 参考訳(メタデータ) (2023-05-17T16:10:36Z) - AdapterGNN: Parameter-Efficient Fine-Tuning Improves Generalization in
GNNs [2.69499085779099]
本稿では,グラフニューラルネットワーク(GNN)におけるPEFT手法の包括的比較について述べる。
本稿では,GNN向けに設計された新しいPEFT手法であるAdapterGNNを提案する。
本稿では,AdapterGNNが他のPEFT法よりも高い性能を実現していることを示す。
論文 参考訳(メタデータ) (2023-04-19T12:00:15Z) - CHAPTER: Exploiting Convolutional Neural Network Adapters for
Self-supervised Speech Models [62.60723685118747]
自己教師付き学習(SSL)は、ラベルのないデータから表現を学習するための強力な技術である。
特徴抽出器にCNNアダプタを適用し,SSL音声モデルに特化して設計された効率的なチューニング手法を提案する。
特徴抽出器にCNNを追加することで、感情や話者のタスクへの適応が促進されることを実証的に見出した。
論文 参考訳(メタデータ) (2022-12-01T08:50:12Z) - AdapterBias: Parameter-efficient Token-dependent Representation Shift
for Adapters in NLP Tasks [55.705355299065474]
数百万のパラメータを持つトランスフォーマーベースの事前学習モデルは、大きなストレージを必要とする。
近年のアプローチでは、アダプタをトレーニングすることでこの欠点に対処しているが、それでも比較的多くのパラメータを必要とする。
本研究では,驚くほどシンプルで効果的なアダプタアーキテクチャであるAdapterBiasを提案する。
論文 参考訳(メタデータ) (2022-04-30T16:49:41Z) - Adaptive variational preparation of the Fermi-Hubbard eigenstates [0.0]
我々は、Fermi-Hubbardモデルの6つのサイト(12ビット)までの小さなグリッドに対して、高精度な基底状態を作成する。
この適応法は, 変動パラメータの少ない, ゲート深さの短い, システムサイズによるスケーリングにおいて, 非適応手法よりも優れた性能を示す。
また, ADAPT-SSVQEアルゴリズムを用いて, 励起状態とグリーン関数を作成し, 適応変分法の適用例を示す。
論文 参考訳(メタデータ) (2021-09-24T18:00:05Z) - A Genetic Algorithm with Tree-structured Mutation for Hyperparameter
Optimisation of Graph Neural Networks [8.02401104726362]
グラフニューラルネットワーク(GNN)は、グラフ関連の問題を処理する能力に優れており、注目を集めている。
実際には、高パラメータ最適化(HPO)は、GNNが満足な結果を得るために重要です。
本稿では,この問題を緩和するため,GAのための木構造変異戦略を提案する。
論文 参考訳(メタデータ) (2021-02-24T00:31:52Z) - Meta-Learning with Adaptive Hyperparameters [55.182841228303225]
我々は、MAMLフレームワークの補完的要素、インナーループ最適化(あるいは高速適応)に焦点を当てる。
高速適応プロセスを大幅に向上させる新しい重み更新ルールを提案する。
論文 参考訳(メタデータ) (2020-10-31T08:05:34Z) - A Study of Genetic Algorithms for Hyperparameter Optimization of Neural
Networks in Machine Translation [0.0]
遺伝的アルゴリズムを用いて,ダーウィンのファイトテスト理論の生存をモデルとした自動チューニング手法を提案する。
研究結果は,提案手法であるGAがハイパーパラメータのランダムな選択よりも優れていることを示す。
論文 参考訳(メタデータ) (2020-09-15T02:24:16Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。