論文の概要: PACIA: Parameter-Efficient Adapter for Few-Shot Molecular Property Prediction

• arxiv url: http://arxiv.org/abs/2310.00614v2
• Date: Wed, 8 May 2024 15:49:54 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-09 19:10:37.565847
• Title: PACIA: Parameter-Efficient Adapter for Few-Shot Molecular Property Prediction
• Title（参考訳）: PACIA:Few-Shot分子特性予測のためのパラメータ効率の良い適応器
• Authors: Shiguang Wu, Yaqing Wang, Quanming Yao,
• Abstract要約: パラメータ効率のよいMPP用GNNアダプタであるPACIAを提案する。 次に,タスクレベルではエンコーダ,クエリレベルでは予測器に適応するため,階層的な適応機構を採用する。
• 参考スコア（独自算出の注目度）: 41.631010796783706
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Molecular property prediction (MPP) plays a crucial role in biomedical applications, but it often encounters challenges due to a scarcity of labeled data. Existing works commonly adopt gradient-based strategy to update a large amount of parameters for task-level adaptation. However, the increase of adaptive parameters can lead to overfitting and poor performance. Observing that graph neural network (GNN) performs well as both encoder and predictor, we propose PACIA, a parameter-efficient GNN adapter for few-shot MPP. We design a unified adapter to generate a few adaptive parameters to modulate the message passing process of GNN. We then adopt a hierarchical adaptation mechanism to adapt the encoder at task-level and the predictor at query-level by the unified GNN adapter. Extensive results show that PACIA obtains the state-of-the-art performance in few-shot MPP problems, and our proposed hierarchical adaptation mechanism is rational and effective.
• Abstract（参考訳）: 分子特性予測(MPP)は生物医学的応用において重要な役割を担っているが、ラベル付きデータの不足によりしばしば課題に直面する。 既存の作業では、タスクレベルの適応のために大量のパラメータを更新するための勾配ベースの戦略が一般的である。 しかし、適応パラメータの増加は過度に適合し、性能が低下する可能性がある。 グラフニューラルネットワーク(GNN)は,エンコーダと予測器の両方と同様に動作し,パラメータ効率のよいMPP用GNNアダプタであるPACIAを提案する。 我々は、GNNのメッセージパッシングプロセスを調整するために、いくつかの適応パラメータを生成する統一アダプタを設計する。 次に,タスクレベルでのエンコーダとクエリレベルでの予測を統一的なGNNアダプタで適応する階層的適応機構を採用する。 その結果, PACIAはMPP問題において最先端の性能を達成でき, 提案した階層適応機構は合理的かつ効果的であることがわかった。

関連論文リスト

• Adapter-X: A Novel General Parameter-Efficient Fine-Tuning Framework for Vision [52.80792724919329]
  本稿では,2次元画像と3次元点雲の微調整を改善するためのAdapter-Xという新しいフレームワークを提案する。 2D画像と3Dポイントの雲のモードで完全な微調整をし、パラメータが大幅に少ない、すなわち2Dと3Dの分類タスクにおいて、オリジナルのトレーニング可能なパラメータのわずか0.20%と1.88%で、初めて性能を上回った。
  論文  参考訳（メタデータ） (2024-06-05T08:26:44Z)
• ETHER: Efficient Finetuning of Large-Scale Models with Hyperplane Reflections [59.839926875976225]
  本稿では,HypErplane Reflectionsによる高効率微調整を行うETHER変換ファミリを提案する。 特に,既存のPEFT法と極めて少ないパラメータで一致または性能を向上するEtheRと緩和ETHER+を導入する。
  論文  参考訳（メタデータ） (2024-05-30T17:26:02Z)
• Dynamic Tuning Towards Parameter and Inference Efficiency for ViT Adaptation [67.13876021157887]
  動的チューニング(DyT)は、ViT適応のためのパラメータと推論効率を改善するための新しいアプローチである。 DyTは既存のPEFT法と比較すると、同等またはそれ以上の性能を実現している。
  論文  参考訳（メタデータ） (2024-03-18T14:05:52Z)
• AdapterGNN: Parameter-Efficient Fine-Tuning Improves Generalization in GNNs [2.69499085779099]
  本稿では,グラフニューラルネットワーク(GNN)におけるPEFT手法の包括的比較について述べる。 本稿では,GNN向けに設計された新しいPEFT手法であるAdapterGNNを提案する。 本稿では,AdapterGNNが他のPEFT法よりも高い性能を実現していることを示す。
  論文  参考訳（メタデータ） (2023-04-19T12:00:15Z)
• CHAPTER: Exploiting Convolutional Neural Network Adapters for Self-supervised Speech Models [62.60723685118747]
  自己教師付き学習(SSL)は、ラベルのないデータから表現を学習するための強力な技術である。 特徴抽出器にCNNアダプタを適用し,SSL音声モデルに特化して設計された効率的なチューニング手法を提案する。 特徴抽出器にCNNを追加することで、感情や話者のタスクへの適応が促進されることを実証的に見出した。
  論文  参考訳（メタデータ） (2022-12-01T08:50:12Z)
• AdapterBias: Parameter-efficient Token-dependent Representation Shift for Adapters in NLP Tasks [55.705355299065474]
  数百万のパラメータを持つトランスフォーマーベースの事前学習モデルは、大きなストレージを必要とする。 近年のアプローチでは、アダプタをトレーニングすることでこの欠点に対処しているが、それでも比較的多くのパラメータを必要とする。 本研究では,驚くほどシンプルで効果的なアダプタアーキテクチャであるAdapterBiasを提案する。
  論文  参考訳（メタデータ） (2022-04-30T16:49:41Z)
• Adaptive variational preparation of the Fermi-Hubbard eigenstates [0.0]
  我々は、Fermi-Hubbardモデルの6つのサイト(12ビット)までの小さなグリッドに対して、高精度な基底状態を作成する。 この適応法は, 変動パラメータの少ない, ゲート深さの短い, システムサイズによるスケーリングにおいて, 非適応手法よりも優れた性能を示す。 また, ADAPT-SSVQEアルゴリズムを用いて, 励起状態とグリーン関数を作成し, 適応変分法の適用例を示す。
  論文  参考訳（メタデータ） (2021-09-24T18:00:05Z)
• A Genetic Algorithm with Tree-structured Mutation for Hyperparameter Optimisation of Graph Neural Networks [8.02401104726362]
  グラフニューラルネットワーク(GNN)は、グラフ関連の問題を処理する能力に優れており、注目を集めている。 実際には、高パラメータ最適化(HPO)は、GNNが満足な結果を得るために重要です。 本稿では,この問題を緩和するため,GAのための木構造変異戦略を提案する。
  論文  参考訳（メタデータ） (2021-02-24T00:31:52Z)
• A Study of Genetic Algorithms for Hyperparameter Optimization of Neural Networks in Machine Translation [0.0]
  遺伝的アルゴリズムを用いて,ダーウィンのファイトテスト理論の生存をモデルとした自動チューニング手法を提案する。 研究結果は,提案手法であるGAがハイパーパラメータのランダムな選択よりも優れていることを示す。
  論文  参考訳（メタデータ） (2020-09-15T02:24:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。