論文の概要: A Fine-tuning Dataset and Benchmark for Large Language Models for Protein Understanding

• arxiv url: http://arxiv.org/abs/2406.05540v1
• Date: Sat, 8 Jun 2024 18:11:30 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-11 19:16:08.537117
• Title: A Fine-tuning Dataset and Benchmark for Large Language Models for Protein Understanding
• Title（参考訳）: タンパク質理解のための大規模言語モデルのための微調整データセットとベンチマーク
• Authors: Yiqing Shen, Zan Chen, Michail Mamalakis, Luhan He, Haiyang Xia, Tianbin Li, Yanzhou Su, Junjun He, Yu Guang Wang,
• Abstract要約: ProteinLMBenchは、LCMのタンパク質理解能力を評価するために、手動で検証された多重選択質問からなる最初のベンチマークデータセットである。 ProteinLMDatasetは、さらに自己教師付き事前トレーニングと教師付き微調整のために設計されたデータセットである。 インターンLM2-7BはProteinLMDatasetで事前訓練され微調整され、ProteinLMBenchでGPT-4を上回り、高い精度のスコアを得た。
• 参考スコア（独自算出の注目度）: 10.652670673334486
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The parallels between protein sequences and natural language in their sequential structures have inspired the application of large language models (LLMs) to protein understanding. Despite the success of LLMs in NLP, their effectiveness in comprehending protein sequences remains an open question, largely due to the absence of datasets linking protein sequences to descriptive text. Researchers have then attempted to adapt LLMs for protein understanding by integrating a protein sequence encoder with a pre-trained LLM. However, this adaptation raises a fundamental question: "Can LLMs, originally designed for NLP, effectively comprehend protein sequences as a form of language?" Current datasets fall short in addressing this question due to the lack of a direct correlation between protein sequences and corresponding text descriptions, limiting the ability to train and evaluate LLMs for protein understanding effectively. To bridge this gap, we introduce ProteinLMDataset, a dataset specifically designed for further self-supervised pretraining and supervised fine-tuning (SFT) of LLMs to enhance their capability for protein sequence comprehension. Specifically, ProteinLMDataset includes 17.46 billion tokens for pretraining and 893,000 instructions for SFT. Additionally, we present ProteinLMBench, the first benchmark dataset consisting of 944 manually verified multiple-choice questions for assessing the protein understanding capabilities of LLMs. ProteinLMBench incorporates protein-related details and sequences in multiple languages, establishing a new standard for evaluating LLMs' abilities in protein comprehension. The large language model InternLM2-7B, pretrained and fine-tuned on the ProteinLMDataset, outperforms GPT-4 on ProteinLMBench, achieving the highest accuracy score. The dataset and the benchmark are available at https://huggingface.co/datasets/tsynbio/ProteinLMBench.
• Abstract（参考訳）: タンパク質配列とそれらの配列構造における自然言語の並行性は、タンパク質理解への大規模言語モデル(LLM)の適用にインスピレーションを与えている。 NLP における LLM の成功にもかかわらず、タンパク質配列の解釈の有効性は、主にタンパク質配列と記述テキストをリンクするデータセットがないために、未解決の問題である。 その後、研究者は、タンパク質配列エンコーダと事前訓練されたLLMを統合することで、LLMをタンパク質理解に適応させようとした。 しかし、この適応は根本的な疑問を提起する: "Can LLMs, originally designed for NLP, effectively comhend protein sequences as a form of language? 現在のデータセットは、タンパク質配列と対応するテキスト記述との直接的な相関が欠如しているため、この問題に対処するのに不足している。 このギャップを埋めるために、我々は、タンパク質配列の理解能力を高めるために、LLMのさらなる自己教師付き事前学習と教師付き微調整(SFT)のために設計されたデータセットであるProteinLMDatasetを紹介する。 具体的には、ProteinLMDatasetには、事前トレーニングのための176億のトークンと、SFTのための893,000の命令が含まれている。 さらに,LCMのタンパク質理解能力を評価するために,第1のベンチマークデータセットであるProteinLMBenchを提案する。 ProteinLMBenchは、タンパク質関連の詳細と配列を複数の言語に含み、タンパク質理解におけるLLMの能力を評価するための新しい標準を確立している。 大規模な言語モデルであるInternLM2-7Bは、ProteinLMDatasetで事前訓練され微調整され、ProteinLMBenchでGPT-4を上回り、高い精度のスコアを得た。 データセットとベンチマークはhttps://huggingface.co/datasets/tsynbio/ProteinLMBenchで公開されている。

関連論文リスト

• Long-context Protein Language Model [76.95505296417866]
  言語モデル(LM)の自己教師による訓練は、有意義な表現の学習や創薬設計において、タンパク質配列に大きな成功を収めている。 ほとんどのタンパク質LMは、短い文脈長を持つ個々のタンパク質に基づいて訓練されたトランスフォーマーアーキテクチャに基づいている。 そこで我々は,選択的構造化状態空間モデルから構築した代替のタンパク質LMアーキテクチャであるBiMamba-Sに基づくLC-PLMを提案する。 また、第2段階のトレーニングのために、タンパク質-タンパク質相互作用グラフの文脈化を行うLC-PLM-Gも導入した。
  論文  参考訳（メタデータ） (2024-10-29T16:43:28Z)
• Structure-Enhanced Protein Instruction Tuning: Towards General-Purpose Protein Understanding [43.811432723460534]
  本稿では,このギャップを埋めるために,構造強化タンパク質インストラクションチューニング(SEPIT)フレームワークを紹介する。 提案手法では, 構造的知識を付加するため, 構造的知識を付加し, これらの拡張された pLM を大規模言語モデル (LLM) に接続し, タンパク質の理解を創出する。 我々はこれまでで最大かつ最も包括的なタンパク質命令データセットを構築し、汎用タンパク質理解モデルの訓練と評価を可能にした。
  論文  参考訳（メタデータ） (2024-10-04T16:02:50Z)
• ProtT3: Protein-to-Text Generation for Text-based Protein Understanding [88.43323947543996]
  言語モデル(LM)は、タンパク質のテキスト記述を理解するのに優れている。 タンパク質言語モデル(PLM)は、タンパク質データを理解し、高品質な表現に変換するが、テキストを処理するのに苦労する。 ProtT3は、テキストベースのタンパク質理解のための、タンパク質からテキストへの生成のためのフレームワークである。
  論文  参考訳（メタデータ） (2024-05-21T08:06:13Z)
• ProLLM: Protein Chain-of-Thoughts Enhanced LLM for Protein-Protein Interaction Prediction [54.132290875513405]
  タンパク質-タンパク質相互作用(PPI)の予測は、生物学的機能や疾患を理解する上で重要である。 PPI予測に対する従来の機械学習アプローチは、主に直接的な物理的相互作用に焦点を当てていた。 PPIに適したLLMを用いた新しいフレームワークProLLMを提案する。
  論文  参考訳（メタデータ） (2024-03-30T05:32:42Z)
• ProtLLM: An Interleaved Protein-Language LLM with Protein-as-Word Pre-Training [82.37346937497136]
  本稿では,タンパク質中心タスクとタンパク質言語タスクの両方を対象とした多機能多言語多言語言語モデル (LLM) を提案する。 ProtLLMはユニークな動的タンパク質実装機構を備えており、複雑な入力を処理できる。 専門的なタンパク質語彙を開発することで、自然言語だけでなく、膨大な候補からタンパク質を予測できる能力をモデルに装備する。
  論文  参考訳（メタデータ） (2024-02-28T01:29:55Z)
• ProtST: Multi-Modality Learning of Protein Sequences and Biomedical Texts [22.870765825298268]
  タンパク質配列を拡大するProtSTデータセットを構築し,その機能や重要な特性をテキストで記述する。 事前学習中に、単調マスク予測、マルチモーダル表現アライメント、マルチモーダルマスク予測という3種類のタスクを設計する。 下流タスクでは、ProtSTは教師付き学習とゼロショット予測の両方を可能にする。
  論文  参考訳（メタデータ） (2023-01-28T00:58:48Z)
• Linguistically inspired roadmap for building biologically reliable protein language models [0.5412332666265471]
  言語学から引き出されたガイダンスは、より解釈可能なタンパク質のLMを構築するのに役立つと論じる。 学習データ,トークン化,トークン埋め込み,シーケンス埋め込み,モデル解釈に関する,タンパク質 LM パイプライン選択のための言語学的ロードマップを提供する。
  論文  参考訳（メタデータ） (2022-07-03T08:42:44Z)
• Structure-aware Protein Self-supervised Learning [50.04673179816619]
  本稿では,タンパク質の構造情報を取得するための構造認識型タンパク質自己教師学習法を提案する。 特に、タンパク質構造情報を保存するために、よく設計されたグラフニューラルネットワーク(GNN)モデルを事前訓練する。 タンパク質言語モデルにおける逐次情報と特別に設計されたGNNモデルにおける構造情報との関係を,新しい擬似二段階最適化手法を用いて同定する。
  論文  参考訳（メタデータ） (2022-04-06T02:18:41Z)
• Pre-training Co-evolutionary Protein Representation via A Pairwise Masked Language Model [93.9943278892735]
  タンパク質配列表現学習の鍵となる問題は、配列中の残基間の共変量によって反映される共進化情報をキャプチャすることである。 Pairwise Masked Language Model (PMLM) と呼ばれる専用言語モデルによる事前学習により,この情報を直接キャプチャする新しい手法を提案する。 提案手法は, 相互関係を効果的に把握し, ベースラインと比較して, 接触予測性能を最大9%向上できることを示す。
  論文  参考訳（メタデータ） (2021-10-29T04:01:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。