論文の概要: Pin-Tuning: Parameter-Efficient In-Context Tuning for Few-Shot Molecular Property Prediction

• arxiv url: http://arxiv.org/abs/2411.01158v1
• Date: Sat, 02 Nov 2024 07:06:30 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-05 14:49:17.842097
• Title: Pin-Tuning: Parameter-Efficient In-Context Tuning for Few-Shot Molecular Property Prediction
• Title（参考訳）: ピンチューニング:Few-Shot分子特性予測のためのパラメータ効率の良いインコンテキストチューニング
• Authors: Liang Wang, Qiang Liu, Shaozhen Liu, Xin Sun, Shu Wu, Liang Wang,
• Abstract要約: そこで本研究では,Pin-Tuningというパラメータ効率の高いインコンテキストチューニング手法を提案する。 具体的には、事前訓練されたメッセージパッシング層(MP-Adapter)のための軽量アダプタと、事前訓練された原子/結合層(Emb-BWC)のためのベイズ重み統合を提案する。 公開データセットで評価すると、トレーニング可能なパラメータが少なくて優れたチューニングが示され、少数ショットの予測性能が向上する。
• 参考スコア（独自算出の注目度）: 25.436047251446023
• License:
• Abstract: Molecular property prediction (MPP) is integral to drug discovery and material science, but often faces the challenge of data scarcity in real-world scenarios. Addressing this, few-shot molecular property prediction (FSMPP) has been developed. Unlike other few-shot tasks, FSMPP typically employs a pre-trained molecular encoder and a context-aware classifier, benefiting from molecular pre-training and molecular context information. Despite these advancements, existing methods struggle with the ineffective fine-tuning of pre-trained encoders. We attribute this issue to the imbalance between the abundance of tunable parameters and the scarcity of labeled molecules, and the lack of contextual perceptiveness in the encoders. To overcome this hurdle, we propose a parameter-efficient in-context tuning method, named Pin-Tuning. Specifically, we propose a lightweight adapter for pre-trained message passing layers (MP-Adapter) and Bayesian weight consolidation for pre-trained atom/bond embedding layers (Emb-BWC), to achieve parameter-efficient tuning while preventing over-fitting and catastrophic forgetting. Additionally, we enhance the MP-Adapters with contextual perceptiveness. This innovation allows for in-context tuning of the pre-trained encoder, thereby improving its adaptability for specific FSMPP tasks. When evaluated on public datasets, our method demonstrates superior tuning with fewer trainable parameters, improving few-shot predictive performance.
• Abstract（参考訳）: 分子特性予測(MPP)は薬物発見や物質科学に不可欠であるが、現実のシナリオではデータ不足という課題に直面していることが多い。 これに対応するために、FSMPP ( few-shot molecular property prediction) が開発されている。 他のいくつかのタスクとは異なり、FSMPPは通常、事前訓練された分子エンコーダと文脈認識分類器を使用し、分子事前訓練と分子コンテキスト情報の恩恵を受ける。 これらの進歩にもかかわらず、既存の手法は訓練済みエンコーダの非効率な微調整に苦慮している。 この問題は、修飾可能なパラメータの豊富さとラベル付き分子の不足、エンコーダにおける文脈知覚性の欠如との不均衡に起因する。 このハードルを克服するために,Pin-Tuning というパラメータ効率の高いインコンテキストチューニング手法を提案する。 具体的には、事前訓練されたメッセージパッシング層(MP-Adapter)と、事前訓練された原子/結合埋め込み層(Emb-BWC)に対するベイズ重み統合のための軽量アダプタを提案する。 さらに,文脈認識によるMP-Adaptersの強化を行った。 このイノベーションにより、事前訓練されたエンコーダのコンテキスト内チューニングが可能となり、特定のFSMPPタスクへの適応性が改善される。 公開データセットで評価すると、トレーニング可能なパラメータが少なくて優れたチューニングが示され、少数ショットの予測性能が向上する。

関連論文リスト

• Magnitude Pruning of Large Pretrained Transformer Models with a Mixture Gaussian Prior [9.878774148693575]
  混合ガウシアンプレプニングと呼ばれる新しい等級ベースプルーニングアルゴリズムを導入する。 それはモデルの表現力を維持することを目的としています。 スパース変圧器の整合性に関する理論的正当性を提供する。
  論文  参考訳（メタデータ） (2024-11-01T18:39:38Z)
• Embedded Prompt Tuning: Towards Enhanced Calibration of Pretrained Models for Medical Images [18.094731760514264]
  医用画像分類タスクに基礎モデルを適用する際の微調整手法の有効性について検討する。 拡張チャネルにプロンプトトークンを埋め込む組込みプロンプトチューニング(EPT)手法を提案する。 EPTは、数ショットの医用画像分類タスクにおいて、いくつかの最先端の微調整方法よりも顕著に優れている。
  論文  参考訳（メタデータ） (2024-07-01T06:35:53Z)
• Sparse is Enough in Fine-tuning Pre-trained Large Language Models [98.46493578509039]
  我々はSparse Increment Fine-Tuning (SIFT) という勾配に基づくスパース微調整アルゴリズムを提案する。 GLUE Benchmark や Instruction-tuning などのタスクで有効性を検証する。
  論文  参考訳（メタデータ） (2023-12-19T06:06:30Z)
• PACIA: Parameter-Efficient Adapter for Few-Shot Molecular Property Prediction [41.631010796783706]
  パラメータ効率のよいMPP用GNNアダプタであるPACIAを提案する。 次に,タスクレベルではエンコーダ,クエリレベルでは予測器に適応するため,階層的な適応機構を採用する。
  論文  参考訳（メタデータ） (2023-10-01T08:28:04Z)
• Investigation of Compressor Cascade Flow Using Physics- Informed Neural Networks with Adaptive Learning Strategy [3.7683769965680067]
  本研究では,新しい物理情報ニューラルネットワーク(PINN)を用いて,圧縮機の流れ場を初めて予測する。 PINNは、部分速度ベクトルと近接壁圧力情報のみに基づいて圧縮機のカスケードの流れ場を再構築することに成功した。 この研究は、PINNが現在の支配的なCFD手法と並行して、ターボ機械設計者に追加かつ有望な選択肢を提供できることを示す証拠を提供する。
  論文  参考訳（メタデータ） (2023-07-15T22:01:28Z)
• Approximated Prompt Tuning for Vision-Language Pre-trained Models [54.326232586461614]
  視覚言語による事前学習モデルでは、事前学習タスクと下流タスクのギャップを埋めるために、しばしば多くの学習可能なトークンを必要とする。 本稿では,効率的なVL転送学習を実現するために,APT(Approximated Prompt Tuning)アプローチを提案する。
  論文  参考訳（メタデータ） (2023-06-27T05:43:47Z)
• Learning to Mask and Permute Visual Tokens for Vision Transformer Pre-Training [59.923672191632065]
  我々はMasked and Permuted Vision Transformer(MaPeT)という自己教師型事前学習手法を提案する。 MaPeTは、自動回帰および置換予測を使用して、パッチ内依存関係をキャプチャする。 以上の結果から,MaPeTはImageNet上での競合性能を実証した。
  論文  参考訳（メタデータ） (2023-06-12T18:12:19Z)
• Parameter-Efficient Fine-Tuning without Introducing New Latency [7.631596468553607]
  隠れ表現の代わりに事前学習パラメータに直接アダプタを適用する新しいアダプタ技術を導入する。 提案手法は,性能と記憶効率の両面で新たな最先端性を実現し,完全微調整のパラメータは0.03%に過ぎなかった。
  論文  参考訳（メタデータ） (2023-05-26T08:44:42Z)
• Personalized Federated Learning under Mixture of Distributions [98.25444470990107]
  本稿では,ガウス混合モデル(GMM)を用いたPFL(Personalized Federated Learning)を提案する。 FedGMMはオーバーヘッドを最小限に抑え、新しいクライアントに適応する付加的なアドバンテージを持ち、不確実な定量化を可能にします。 PFL分類と新しいサンプル検出の両方において, 合成データセットとベンチマークデータセットの実証評価により, 提案手法の優れた性能を示した。
  論文  参考訳（メタデータ） (2023-05-01T20:04:46Z)
• MixPHM: Redundancy-Aware Parameter-Efficient Tuning for Low-Resource Visual Question Answering [66.05768870785548]
  微調整事前学習型視覚言語モデル(VLM)は、視覚質問応答(VQA)における最先端性能を達成するための一般的なパラダイムである。 現在のパラメータ効率のチューニング手法は、チューニング可能なパラメータの数を劇的に削減するが、完全な微調整を伴う大きなパフォーマンスギャップは依然として残っている。 低リソースVQAにおける完全微調整よりも優れた冗長性を考慮したパラメータ効率調整法であるMixPHMを提案する。
  論文  参考訳（メタデータ） (2023-03-02T13:28:50Z)
• Towards Robust Low-Resource Fine-Tuning with Multi-View Compressed Representations [51.75960511842552]
  事前訓練された言語モデル(PLM)の微調整は、低リソースのシナリオで過度に適合する傾向がある。 オーバーフィッティングを減らすために,PLMの隠れ表現を利用する新しい手法を提案する。
  論文  参考訳（メタデータ） (2022-11-16T09:39:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。