論文の概要: PACIA: Parameter-Efficient Adapter for Few-Shot Molecular Property Prediction

• arxiv url: http://arxiv.org/abs/2310.00614v2
• Date: Wed, 8 May 2024 15:49:54 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-09 19:10:37.565847
• Title: PACIA: Parameter-Efficient Adapter for Few-Shot Molecular Property Prediction
• Title（参考訳）: PACIA:Few-Shot分子特性予測のためのパラメータ効率の良い適応器
• Authors: Shiguang Wu, Yaqing Wang, Quanming Yao,
• Abstract要約: パラメータ効率のよいMPP用GNNアダプタであるPACIAを提案する。 次に,タスクレベルではエンコーダ,クエリレベルでは予測器に適応するため,階層的な適応機構を採用する。
• 参考スコア（独自算出の注目度）: 41.631010796783706
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Molecular property prediction (MPP) plays a crucial role in biomedical applications, but it often encounters challenges due to a scarcity of labeled data. Existing works commonly adopt gradient-based strategy to update a large amount of parameters for task-level adaptation. However, the increase of adaptive parameters can lead to overfitting and poor performance. Observing that graph neural network (GNN) performs well as both encoder and predictor, we propose PACIA, a parameter-efficient GNN adapter for few-shot MPP. We design a unified adapter to generate a few adaptive parameters to modulate the message passing process of GNN. We then adopt a hierarchical adaptation mechanism to adapt the encoder at task-level and the predictor at query-level by the unified GNN adapter. Extensive results show that PACIA obtains the state-of-the-art performance in few-shot MPP problems, and our proposed hierarchical adaptation mechanism is rational and effective.
• Abstract（参考訳）: 分子特性予測(MPP)は生物医学的応用において重要な役割を担っているが、ラベル付きデータの不足によりしばしば課題に直面する。 既存の作業では、タスクレベルの適応のために大量のパラメータを更新するための勾配ベースの戦略が一般的である。 しかし、適応パラメータの増加は過度に適合し、性能が低下する可能性がある。 グラフニューラルネットワーク(GNN)は,エンコーダと予測器の両方と同様に動作し,パラメータ効率のよいMPP用GNNアダプタであるPACIAを提案する。 我々は、GNNのメッセージパッシングプロセスを調整するために、いくつかの適応パラメータを生成する統一アダプタを設計する。 次に,タスクレベルでのエンコーダとクエリレベルでの予測を統一的なGNNアダプタで適応する階層的適応機構を採用する。 その結果, PACIAはMPP問題において最先端の性能を達成でき, 提案した階層適応機構は合理的かつ効果的であることがわかった。

関連論文リスト

• Toward Relative Positional Encoding in Spiking Transformers [52.62008099390541]
  スパイキングニューラルネットワーク(スパイキングニューラルネット、英: Spiking Neural Network、SNN)は、脳内のニューロンが離散スパイクを通してどのように通信するかをモデル化するバイオインスパイアネットワークである。 本稿では,スパイキング変換器における相対位置符号化(RPE)の近似手法を提案する。
  論文  参考訳（メタデータ） (2025-01-28T06:42:37Z)
• OP-LoRA: The Blessing of Dimensionality [93.08208871549557]
  低ランクアダプタは、少数のパラメータしか持たない大型モデルの微調整を可能にする。 しばしば最適化の課題を提起するが、収束性は低い。 推論コストを増大させることなく、トレーニングを加速する過剰パラメータ化アプローチを導入する。 視覚言語タスクの改善、特に画像生成の顕著な向上を実現している。
  論文  参考訳（メタデータ） (2024-12-13T18:55:19Z)
• Pin-Tuning: Parameter-Efficient In-Context Tuning for Few-Shot Molecular Property Prediction [25.436047251446023]
  そこで本研究では,Pin-Tuningというパラメータ効率の高いインコンテキストチューニング手法を提案する。 具体的には、事前訓練されたメッセージパッシング層(MP-Adapter)のための軽量アダプタと、事前訓練された原子/結合層(Emb-BWC)のためのベイズ重み統合を提案する。 公開データセットで評価すると、トレーニング可能なパラメータが少なくて優れたチューニングが示され、少数ショットの予測性能が向上する。
  論文  参考訳（メタデータ） (2024-11-02T07:06:30Z)
• Generative Principal Component Regression via Variational Inference [2.4415762506639944]
  適切な操作を設計するための1つのアプローチは、予測モデルの重要な特徴をターゲットとすることである。 我々は,そのような情報を潜在空間で表現する,教師付き変分オートエンコーダ(SVAE)に基づく新しい目的を開発する。 シミュレーションでは,gPCRは通常のPCRやSVAEと比較して,操作時のターゲット選択を劇的に改善することを示した。
  論文  参考訳（メタデータ） (2024-09-03T22:38:55Z)
• ETHER: Efficient Finetuning of Large-Scale Models with Hyperplane Reflections [59.839926875976225]
  本稿では,HypErplane Reflectionsによる高効率微調整を行うETHER変換ファミリを提案する。 特に,既存のPEFT法と極めて少ないパラメータで一致または性能を向上するEtheRと緩和ETHER+を導入する。
  論文  参考訳（メタデータ） (2024-05-30T17:26:02Z)
• Dynamic Tuning Towards Parameter and Inference Efficiency for ViT Adaptation [67.13876021157887]
  動的チューニング(DyT)は、ViT適応のためのパラメータと推論効率を改善するための新しいアプローチである。 DyTは既存のPEFT法に比べて性能が優れており、VTAB-1KベンチマークではFLOPの71%しか呼び出されていない。
  論文  参考訳（メタデータ） (2024-03-18T14:05:52Z)
• CHAPTER: Exploiting Convolutional Neural Network Adapters for Self-supervised Speech Models [62.60723685118747]
  自己教師付き学習(SSL)は、ラベルのないデータから表現を学習するための強力な技術である。 特徴抽出器にCNNアダプタを適用し,SSL音声モデルに特化して設計された効率的なチューニング手法を提案する。 特徴抽出器にCNNを追加することで、感情や話者のタスクへの適応が促進されることを実証的に見出した。
  論文  参考訳（メタデータ） (2022-12-01T08:50:12Z)
• Adaptive variational preparation of the Fermi-Hubbard eigenstates [0.0]
  我々は、Fermi-Hubbardモデルの6つのサイト(12ビット)までの小さなグリッドに対して、高精度な基底状態を作成する。 この適応法は, 変動パラメータの少ない, ゲート深さの短い, システムサイズによるスケーリングにおいて, 非適応手法よりも優れた性能を示す。 また, ADAPT-SSVQEアルゴリズムを用いて, 励起状態とグリーン関数を作成し, 適応変分法の適用例を示す。
  論文  参考訳（メタデータ） (2021-09-24T18:00:05Z)
• A Genetic Algorithm with Tree-structured Mutation for Hyperparameter Optimisation of Graph Neural Networks [8.02401104726362]
  グラフニューラルネットワーク(GNN)は、グラフ関連の問題を処理する能力に優れており、注目を集めている。 実際には、高パラメータ最適化(HPO)は、GNNが満足な結果を得るために重要です。 本稿では,この問題を緩和するため,GAのための木構造変異戦略を提案する。
  論文  参考訳（メタデータ） (2021-02-24T00:31:52Z)
• A Study of Genetic Algorithms for Hyperparameter Optimization of Neural Networks in Machine Translation [0.0]
  遺伝的アルゴリズムを用いて,ダーウィンのファイトテスト理論の生存をモデルとした自動チューニング手法を提案する。 研究結果は,提案手法であるGAがハイパーパラメータのランダムな選択よりも優れていることを示す。
  論文  参考訳（メタデータ） (2020-09-15T02:24:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。