論文の概要: Hierarchical Adaptation with Hypernetworks for Few-shot Molecular Property Prediction

• arxiv url: http://arxiv.org/abs/2310.00614v1
• Date: Sun, 1 Oct 2023 08:28:04 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-05 03:10:25.996983
• Title: Hierarchical Adaptation with Hypernetworks for Few-shot Molecular Property Prediction
• Title（参考訳）: 分子特性予測のためのハイパーネットワークによる階層的適応
• Authors: Shiguang Wu, Yaqing Wang, Quanming Yao
• Abstract要約: マイクロショットMPP(HiMPP)のための新しい階層適応機構を提案する。 HiMPPは、数ショットのMPP問題において最先端のパフォーマンスを得る。
• 参考スコア（独自算出の注目度）: 46.78908408923308
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Molecular property prediction (MPP) is important in biomedical applications, which naturally suffers from a lack of labels, thus forming a few-shot learning problem. State-of-the-art approaches are usually based on gradient-based meta learning strategy, which ignore difference in model parameter and molecule's learning difficulty. To address above problems, we propose a novel hierarchical adaptation mechanism for few-shot MPP (HiMPP). The model follows a encoder-predictor framework. First, to make molecular representation property-adaptive, we selectively adapt encoder's parameter by designing a hypernetwork to modulate node embeddings during message propagation. Next, we make molecule-level adaptation by design another hypernetwork, which assigns larger propagating steps for harder molecules in predictor. In this way, molecular representation is transformed by HiMPP hierarchically from property-level to molecular level. Extensive results show that HiMPP obtains the state-of-the-art performance in few-shot MPP problems, and our proposed hierarchical adaptation mechanism is rational and effective.
• Abstract（参考訳）: 分子特性予測(MPP)は生物医学的応用において重要であり、ラベルの欠如に自然に悩まされ、数発の学習問題を形成している。 最先端のアプローチは通常、モデルパラメータと分子の学習困難の違いを無視する勾配に基づくメタ学習戦略に基づいている。 上記の問題に対処するために, 少数ショットMPP (HiMPP) のための新しい階層適応機構を提案する。 モデルはエンコーダ・予測フレームワークに従う。 まず,メッセージ伝達中にノード埋め込みを変調するハイパーネットワークを設計することにより,エンコーダのパラメータを選択的に適応させる。 次に、分子レベルの適応を別のハイパーネットワークを設計し、予測器においてより難しい分子により大きな伝播ステップを割り当てる。 このように、分子表現は、階層的に特性レベルから分子レベルに変換される。 以上の結果から,HMPPはMPP問題において最先端の性能を達成し,階層適応機構が合理的かつ効果的であることが示唆された。

関連論文リスト

• Toward Relative Positional Encoding in Spiking Transformers [52.62008099390541]
  スパイキングニューラルネットワーク(スパイキングニューラルネット、英: Spiking Neural Network、SNN)は、脳内のニューロンが離散スパイクを通してどのように通信するかをモデル化するバイオインスパイアネットワークである。 本稿では,スパイキング変換器における相対位置符号化(RPE)の近似手法を提案する。
  論文  参考訳（メタデータ） (2025-01-28T06:42:37Z)
• OP-LoRA: The Blessing of Dimensionality [93.08208871549557]
  低ランクアダプタは、少数のパラメータしか持たない大型モデルの微調整を可能にする。 しばしば最適化の課題を提起するが、収束性は低い。 推論コストを増大させることなく、トレーニングを加速する過剰パラメータ化アプローチを導入する。 視覚言語タスクの改善、特に画像生成の顕著な向上を実現している。
  論文  参考訳（メタデータ） (2024-12-13T18:55:19Z)
• Pin-Tuning: Parameter-Efficient In-Context Tuning for Few-Shot Molecular Property Prediction [25.436047251446023]
  そこで本研究では,Pin-Tuningというパラメータ効率の高いインコンテキストチューニング手法を提案する。 具体的には、事前訓練されたメッセージパッシング層(MP-Adapter)のための軽量アダプタと、事前訓練された原子/結合層(Emb-BWC)のためのベイズ重み統合を提案する。 公開データセットで評価すると、トレーニング可能なパラメータが少なくて優れたチューニングが示され、少数ショットの予測性能が向上する。
  論文  参考訳（メタデータ） (2024-11-02T07:06:30Z)
• Generative Principal Component Regression via Variational Inference [2.4415762506639944]
  適切な操作を設計するための1つのアプローチは、予測モデルの重要な特徴をターゲットとすることである。 我々は,そのような情報を潜在空間で表現する,教師付き変分オートエンコーダ(SVAE)に基づく新しい目的を開発する。 シミュレーションでは,gPCRは通常のPCRやSVAEと比較して,操作時のターゲット選択を劇的に改善することを示した。
  論文  参考訳（メタデータ） (2024-09-03T22:38:55Z)
• ETHER: Efficient Finetuning of Large-Scale Models with Hyperplane Reflections [59.839926875976225]
  本稿では,HypErplane Reflectionsによる高効率微調整を行うETHER変換ファミリを提案する。 特に,既存のPEFT法と極めて少ないパラメータで一致または性能を向上するEtheRと緩和ETHER+を導入する。
  論文  参考訳（メタデータ） (2024-05-30T17:26:02Z)
• Dynamic Tuning Towards Parameter and Inference Efficiency for ViT Adaptation [67.13876021157887]
  動的チューニング(DyT)は、ViT適応のためのパラメータと推論効率を改善するための新しいアプローチである。 DyTは既存のPEFT法に比べて性能が優れており、VTAB-1KベンチマークではFLOPの71%しか呼び出されていない。
  論文  参考訳（メタデータ） (2024-03-18T14:05:52Z)
• CHAPTER: Exploiting Convolutional Neural Network Adapters for Self-supervised Speech Models [62.60723685118747]
  自己教師付き学習(SSL)は、ラベルのないデータから表現を学習するための強力な技術である。 特徴抽出器にCNNアダプタを適用し,SSL音声モデルに特化して設計された効率的なチューニング手法を提案する。 特徴抽出器にCNNを追加することで、感情や話者のタスクへの適応が促進されることを実証的に見出した。
  論文  参考訳（メタデータ） (2022-12-01T08:50:12Z)
• Adaptive variational preparation of the Fermi-Hubbard eigenstates [0.0]
  我々は、Fermi-Hubbardモデルの6つのサイト(12ビット)までの小さなグリッドに対して、高精度な基底状態を作成する。 この適応法は, 変動パラメータの少ない, ゲート深さの短い, システムサイズによるスケーリングにおいて, 非適応手法よりも優れた性能を示す。 また, ADAPT-SSVQEアルゴリズムを用いて, 励起状態とグリーン関数を作成し, 適応変分法の適用例を示す。
  論文  参考訳（メタデータ） (2021-09-24T18:00:05Z)
• A Genetic Algorithm with Tree-structured Mutation for Hyperparameter Optimisation of Graph Neural Networks [8.02401104726362]
  グラフニューラルネットワーク(GNN)は、グラフ関連の問題を処理する能力に優れており、注目を集めている。 実際には、高パラメータ最適化(HPO)は、GNNが満足な結果を得るために重要です。 本稿では,この問題を緩和するため,GAのための木構造変異戦略を提案する。
  論文  参考訳（メタデータ） (2021-02-24T00:31:52Z)
• A Study of Genetic Algorithms for Hyperparameter Optimization of Neural Networks in Machine Translation [0.0]
  遺伝的アルゴリズムを用いて,ダーウィンのファイトテスト理論の生存をモデルとした自動チューニング手法を提案する。 研究結果は,提案手法であるGAがハイパーパラメータのランダムな選択よりも優れていることを示す。
  論文  参考訳（メタデータ） (2020-09-15T02:24:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。