論文の概要: InstructProtein: Aligning Human and Protein Language via Knowledge Instruction

• arxiv url: http://arxiv.org/abs/2310.03269v1
• Date: Thu, 5 Oct 2023 02:45:39 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-06 19:41:05.262304
• Title: InstructProtein: Aligning Human and Protein Language via Knowledge Instruction
• Title（参考訳）: InstructProtein:知識教育による人間とタンパク質の言語調整
• Authors: Zeyuan Wang, Qiang Zhang, Keyan Ding, Ming Qin, Xiang Zhuang, Xiaotong Li, Huajun Chen
• Abstract要約: 大規模言語モデル(LLM)は自然言語処理の分野に革命をもたらしたが、タンパク質のような生物学的配列の理解に乏しい。 InstructProteinは、ヒト言語とタンパク質言語の両方で双方向に生成する機能を持つ。 InstructProteinは、テキストベースのタンパク質機能予測とシーケンス設計に向けた先駆的なステップとして機能する。
• 参考スコア（独自算出の注目度）: 38.46621806898224
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large Language Models (LLMs) have revolutionized the field of natural language processing, but they fall short in comprehending biological sequences such as proteins. To address this challenge, we propose InstructProtein, an innovative LLM that possesses bidirectional generation capabilities in both human and protein languages: (i) taking a protein sequence as input to predict its textual function description and (ii) using natural language to prompt protein sequence generation. To achieve this, we first pre-train an LLM on both protein and natural language corpora, enabling it to comprehend individual languages. Then supervised instruction tuning is employed to facilitate the alignment of these two distinct languages. Herein, we introduce a knowledge graph-based instruction generation framework to construct a high-quality instruction dataset, addressing annotation imbalance and instruction deficits in existing protein-text corpus. In particular, the instructions inherit the structural relations between proteins and function annotations in knowledge graphs, which empowers our model to engage in the causal modeling of protein functions, akin to the chain-of-thought processes in natural languages. Extensive experiments on bidirectional protein-text generation tasks show that InstructProtein outperforms state-of-the-art LLMs by large margins. Moreover, InstructProtein serves as a pioneering step towards text-based protein function prediction and sequence design, effectively bridging the gap between protein and human language understanding.
• Abstract（参考訳）: 大規模言語モデル(LLM)は自然言語処理の分野に革命をもたらしたが、タンパク質のような生物学的配列の理解に乏しい。 この課題に対処するために、人間とタンパク質言語の両方で双方向生成機能を持つ革新的なLCMであるInstructProteinを提案する。 (i)タンパク質配列を入力として、そのテキスト機能記述を予測すること、及び (ii) 自然言語を用いてタンパク質配列を生成する。 そこで我々はまず,タンパク質と自然言語コーパスの両方でLLMを事前学習し,個々の言語を理解できるようにした。 次に、これら2つの異なる言語のアライメントを容易にするために教師付き命令チューニングを用いる。 本稿では,既存のタンパク質文コーパスにおけるアノテーションの不均衡と命令欠陥に対処する,高品質な命令データセットを構築するための知識グラフベースの命令生成フレームワークを提案する。 特に、知識グラフにおけるタンパク質と関数アノテーションの構造的関係を継承し、自然言語の連鎖過程に類似したタンパク質機能の因果モデリングに我々のモデルが関与できるようにする。 双方向タンパク質テキスト生成タスクに関する広範な実験により、instructproteinは最先端のllmを大きなマージンで上回っていることが示されている。 さらにinstructproteinは、テキストベースのタンパク質機能予測と配列設計への先駆的なステップとなり、タンパク質と人間の言語理解の間のギャップを効果的に橋渡しする。

関連論文リスト

• Structure-Enhanced Protein Instruction Tuning: Towards General-Purpose Protein Understanding [43.811432723460534]
  本稿では,このギャップを埋めるために,構造強化タンパク質インストラクションチューニング(SEPIT)フレームワークを紹介する。 提案手法では, 構造的知識を付加するため, 構造的知識を付加し, これらの拡張された pLM を大規模言語モデル (LLM) に接続し, タンパク質の理解を創出する。 我々はこれまでで最大かつ最も包括的なタンパク質命令データセットを構築し、汎用タンパク質理解モデルの訓練と評価を可能にした。
  論文  参考訳（メタデータ） (2024-10-04T16:02:50Z)
• ProLLM: Protein Chain-of-Thoughts Enhanced LLM for Protein-Protein Interaction Prediction [54.132290875513405]
  タンパク質-タンパク質相互作用(PPI)の予測は、生物学的機能や疾患を理解する上で重要である。 PPI予測に対する従来の機械学習アプローチは、主に直接的な物理的相互作用に焦点を当てていた。 PPIに適したLLMを用いた新しいフレームワークProLLMを提案する。
  論文  参考訳（メタデータ） (2024-03-30T05:32:42Z)
• ProtLLM: An Interleaved Protein-Language LLM with Protein-as-Word Pre-Training [82.37346937497136]
  本稿では,タンパク質中心タスクとタンパク質言語タスクの両方を対象とした多機能多言語多言語言語モデル (LLM) を提案する。 ProtLLMはユニークな動的タンパク質実装機構を備えており、複雑な入力を処理できる。 専門的なタンパク質語彙を開発することで、自然言語だけでなく、膨大な候補からタンパク質を予測できる能力をモデルに装備する。
  論文  参考訳（メタデータ） (2024-02-28T01:29:55Z)
• Endowing Protein Language Models with Structural Knowledge [5.587293092389789]
  本稿では,タンパク質構造データを統合することにより,タンパク質言語モデルを強化する新しいフレームワークを提案する。 PST(Protein Structure Transformer)と呼ばれる精製モデルは、小さなタンパク質構造データベース上でさらに事前訓練されている。 PSTは、タンパク質配列の最先端基盤モデルであるESM-2を一貫して上回り、タンパク質機能予測の新しいベンチマークを設定している。
  論文  参考訳（メタデータ） (2024-01-26T12:47:54Z)
• xTrimoPGLM: Unified 100B-Scale Pre-trained Transformer for Deciphering the Language of Protein [76.18058946124111]
  本稿では,タンパク質の理解と生成を同時に行うために,統一されたタンパク質言語モデル xTrimoPGLM を提案する。 xTrimoPGLMは、4つのカテゴリにわたる18のタンパク質理解ベンチマークにおいて、他の高度なベースラインを著しく上回っている。 また、自然の原理に従ってデノボタンパク質配列を生成でき、微調整を監督した後にプログラム可能な生成を行うことができる。
  論文  参考訳（メタデータ） (2024-01-11T15:03:17Z)
• Structure-informed Language Models Are Protein Designers [69.70134899296912]
  配列ベースタンパク質言語モデル(pLM)の汎用的手法であるLM-Designを提案する。 pLMに軽量な構造アダプターを埋め込んだ構造手術を行い,構造意識を付加した構造手術を行った。 実験の結果,我々の手法は最先端の手法よりも大きなマージンで優れていることがわかった。
  論文  参考訳（メタデータ） (2023-02-03T10:49:52Z)
• Linguistically inspired roadmap for building biologically reliable protein language models [0.5412332666265471]
  言語学から引き出されたガイダンスは、より解釈可能なタンパク質のLMを構築するのに役立つと論じる。 学習データ,トークン化,トークン埋め込み,シーケンス埋め込み,モデル解釈に関する,タンパク質 LM パイプライン選択のための言語学的ロードマップを提供する。
  論文  参考訳（メタデータ） (2022-07-03T08:42:44Z)
• Structure-aware Protein Self-supervised Learning [50.04673179816619]
  本稿では,タンパク質の構造情報を取得するための構造認識型タンパク質自己教師学習法を提案する。 特に、タンパク質構造情報を保存するために、よく設計されたグラフニューラルネットワーク(GNN)モデルを事前訓練する。 タンパク質言語モデルにおける逐次情報と特別に設計されたGNNモデルにおける構造情報との関係を,新しい擬似二段階最適化手法を用いて同定する。
  論文  参考訳（メタデータ） (2022-04-06T02:18:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。