Fugu-MT 論文翻訳(概要): Simple, Efficient and Scalable Structure-aware Adapter Boosts Protein Language Models

論文の概要: Simple, Efficient and Scalable Structure-aware Adapter Boosts Protein Language Models

arxiv url: http://arxiv.org/abs/2404.14850v1
Date: Tue, 23 Apr 2024 09:05:09 GMT
ステータス: 処理完了
システム内更新日: 2024-04-24 14:41:16.084288
Title: Simple, Efficient and Scalable Structure-aware Adapter Boosts Protein Language Models
Title（参考訳）: シンプルで効率的でスケーラブルな構造認識アダプタがタンパク質言語モデルを強化
Authors: Yang Tan, Mingchen Li, Bingxin Zhou, Bozitao Zhong, Lirong Zheng, Pan Tan, Ziyi Zhou, Huiqun Yu, Guisheng Fan, Liang Hong,
Abstract要約: 微調整済みタンパク質言語モデル (PLM) が下流予測タスクの強化戦略として注目されている。 SES-Adapterは、PLMの表現学習を強化するためのシンプルで効率的でスケーラブルなアダプタ手法である。
参考スコア（独自算出の注目度）: 10.153316498387369
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Fine-tuning Pre-trained protein language models (PLMs) has emerged as a prominent strategy for enhancing downstream prediction tasks, often outperforming traditional supervised learning approaches. As a widely applied powerful technique in natural language processing, employing Parameter-Efficient Fine-Tuning techniques could potentially enhance the performance of PLMs. However, the direct transfer to life science tasks is non-trivial due to the different training strategies and data forms. To address this gap, we introduce SES-Adapter, a simple, efficient, and scalable adapter method for enhancing the representation learning of PLMs. SES-Adapter incorporates PLM embeddings with structural sequence embeddings to create structure-aware representations. We show that the proposed method is compatible with different PLM architectures and across diverse tasks. Extensive evaluations are conducted on 2 types of folding structures with notable quality differences, 9 state-of-the-art baselines, and 9 benchmark datasets across distinct downstream tasks. Results show that compared to vanilla PLMs, SES-Adapter improves downstream task performance by a maximum of 11% and an average of 3%, with significantly accelerated training speed by a maximum of 1034% and an average of 362%, the convergence rate is also improved by approximately 2 times. Moreover, positive optimization is observed even with low-quality predicted structures. The source code for SES-Adapter is available at https://github.com/tyang816/SES-Adapter.
Abstract（参考訳）: 微調整された事前学習されたタンパク質言語モデル(PLM)は、下流予測タスクを強化する重要な戦略として現れ、しばしば従来の教師付き学習手法よりも優れている。自然言語処理における強力な技術として、パラメータ効率の良いファインチューニング技術を用いることで、PLMの性能が向上する可能性がある。しかし, 生命科学の課題への直接的移行は, 異なるトレーニング戦略やデータ形式により容易ではない。このギャップに対処するために,PLMの表現学習を強化するためのシンプルで効率的でスケーラブルなアダプタであるSES-Adapterを導入する。 SES-AdapterはPLM埋め込みと構造配列埋め込みを組み込んで構造認識表現を作成する。提案手法は様々なPLMアーキテクチャと互換性があり,多様なタスクにまたがっていることを示す。大規模な評価は、特筆すべき品質差のある2種類の折り畳み構造、9つの最先端ベースライン、異なる下流タスクにわたる9つのベンチマークデータセットに対して行われる。その結果、バニラPLMと比較して、SES-Adapterは下流タスク性能を最大11%、平均3%向上させ、トレーニング速度を最大1034%、平均362%向上させ、収束率も約2倍向上した。さらに、低品質な予測構造でも正の最適化が観測される。 SES-Adapterのソースコードはhttps://github.com/tyang816/SES-Adapterで入手できる。

関連論文リスト

TriAdaptLoRA: Brain-Inspired Triangular Adaptive Low-Rank Adaptation for Parameter-Efficient Fine-Tuning [9.730075039461154]
様々な下流タスクで最適なパフォーマンスを達成するために、微調整の大規模言語モデル(LLM)が重要である。本稿では,神経科学の原理に触発された新しいPEFTフレームワークであるAdaptive Low-Rank Adaptation (TriAdaptLoRA)を提案する。様々な自然言語理解および生成タスクの実験は、TriAdaptLoRAが既存のPEFT法より一貫して優れていることを示した。
論文参考訳（メタデータ） (2025-01-14T10:51:31Z)
Adaptive Pruning for Large Language Models with Structural Importance Awareness [66.2690963378878]
大規模言語モデル(LLM)は言語理解と生成能力を大幅に改善した。 LLMは、高い計算およびストレージリソース要求のため、リソース制約のあるエッジデバイスにデプロイするのは難しい。モデル性能を維持しつつ,計算コストとメモリコストを大幅に削減する構造的適応型プルーニング(SAAP)を提案する。
論文参考訳（メタデータ） (2024-12-19T18:08:04Z)
Refining Salience-Aware Sparse Fine-Tuning Strategies for Language Models [14.68920095399595]
SPEFT(Sparsity-based PEFT)は、モデルの重み行列にトレーニング可能なスパース適応を導入する。我々は、ゼロコストNASプロキシにインスパイアされたSPEFTのサリエンス指標を初めて体系的に評価した。我々の研究は、PEFTに複雑性が不可欠であるという考えに挑戦する。
論文参考訳（メタデータ） (2024-12-18T04:14:35Z)
ALoRE: Efficient Visual Adaptation via Aggregating Low Rank Experts [71.91042186338163]
ALoREは、Kroneckerによって構築された超複素パラメータ化空間をAggregate Low Rank Expertsに再利用する新しいPETL法である。巧妙な設計のおかげで、ALoREは無視できる余分なパラメータを保持し、凍ったバックボーンに強制的にマージできる。
論文参考訳（メタデータ） (2024-12-11T12:31:30Z)
Parameter-Efficient Fine-Tuning With Adapters [5.948206235442328]
本研究では,UniPELTフレームワークをベースとした新しい適応手法を提案する。提案手法では, ベースモデルパラメータの最小限の再学習を行うことなく, 事前学習したモデルを新しいタスクに効率的に転送できるアダプタを用いる。
論文参考訳（メタデータ） (2024-05-09T01:40:38Z)
Meta-Adapter: An Online Few-shot Learner for Vision-Language Model [64.21017759533474]
CLIPとして知られる対照的な視覚言語事前学習は、オープンワールドの視覚概念を知覚する大きな可能性を実証している。 CLIPに基づくほとんどショットの学習方法は、通常、少数のサンプルでパラメータをオフラインで微調整する必要がある。少数のサンプルから導かれるCLIP機能をオンライン的に洗練するための,軽量な残差型アダプタであるMeta-Adapterを提案する。
論文参考訳（メタデータ） (2023-11-07T07:27:16Z)
Federated Learning of Large Language Models with Parameter-Efficient Prompt Tuning and Adaptive Optimization [71.87335804334616]
フェデレートラーニング(FL)は、分散データとの協調モデルトレーニングを可能にする、有望なパラダイムである。 LLM(Large Language Models)のトレーニングプロセスは一般的に重要なパラメータの更新を引き起こす。本稿では,性能と効率を同時に向上する効率的な部分的プロンプトチューニング手法を提案する。
論文参考訳（メタデータ） (2023-10-23T16:37:59Z)
Task Aware Modulation using Representation Learning: An Approach for Few Shot Learning in Environmental Systems [15.40286222692196]
TAM-RLは異種システムにおける少数ショット学習のための新しいフレームワークである。 2つの実環境データセット上でのTAM-RLの評価を行った。
論文参考訳（メタデータ） (2023-10-07T07:55:22Z)
MerA: Merging Pretrained Adapters For Few-Shot Learning [71.44422347502409]
モデル融合により,事前学習したアダプタを単一モデルに効率的に組み込むことができるtextbftextttMerging Pretrained Adapters (MerA)を提案する。 2つのPLMの実験では、MerAはシングルアダプタとAdapterFusionの両方と比較して大幅に改善されている。
論文参考訳（メタデータ） (2023-08-30T12:10:17Z)
Not All Features Matter: Enhancing Few-shot CLIP with Adaptive Prior Refinement [24.108008515395458]
本稿では,CLIP の事前学習知識に対する適応的事前 rEfinement 手法である APE を提案する。 11以上のベンチマークの平均精度では、APEとAPE-Tはいずれも最先端に達し、x30より学習可能なパラメータの少ない16ショットで、それぞれ1.59%、+1.99%で2番目のベットを上回っている。
論文参考訳（メタデータ） (2023-04-03T17:58:54Z)
Adapted Multimodal BERT with Layer-wise Fusion for Sentiment Analysis [84.12658971655253]
本稿では,マルチモーダルタスクのためのBERTベースのアーキテクチャであるAdapted Multimodal BERTを提案する。アダプタはタスクの事前訓練された言語モデルを手動で調整し、融合層はタスク固有の層ワイドな音声視覚情報とテキストBERT表現を融合させる。われわれは、このアプローチがより効率的なモデルにつながり、微調整されたモデルよりも優れ、ノイズの入力に堅牢であることを示した。
論文参考訳（メタデータ） (2022-12-01T17:31:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。