論文の概要: On Pre-trained Language Models for Antibody

• arxiv url: http://arxiv.org/abs/2301.12112v1
• Date: Sat, 28 Jan 2023 07:05:15 GMT
• ステータス: 処理完了
• システム内更新日: 2023-01-31 18:54:33.695647
• Title: On Pre-trained Language Models for Antibody
• Title（参考訳）: 抗体の事前学習言語モデルについて
• Authors: Danqing Wang, Fei Ye, Hao Zhou
• Abstract要約: 一般のタンパク質と抗体特異的な事前訓練言語モデルの両方が、抗体予測タスクを促進する。 1) 事前学習された言語モデルは,異なる特異性を持つ抗体処理において,どのように機能するのか? 学習された抗体の事前学習表現は、薬物発見や免疫プロセス理解のような現実世界の抗体問題に意味があるのだろうか?
• 参考スコア（独自算出の注目度）: 21.59770462282307
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Antibodies are vital proteins offering robust protection for the human body from pathogens. The development of general protein and antibody-specific pre-trained language models both facilitate antibody prediction tasks. However, few studies comprehensively explore the representation capability of distinct pre-trained language models on different antibody problems. Here, to investigate the problem, we aim to answer the following key questions: (1) How do pre-trained language models perform in antibody tasks with different specificity? (2) How many benefits will the model gain if we introduce the specific biological mechanism to the pre-training process? (3) Do the learned antibody pre-trained representations make sense in real-world antibody problems, like drug discovery and immune process understanding? Previously, no benchmark available largely hindered the study to answer these questions. To facilitate the investigation, we provide an AnTibody Understanding Evaluation (ATUE) benchmark. We comprehensively evaluate the performance of protein pre-trained language models by empirical study along with conclusions and new insights. Our ATUE and code are released at https://github.com/dqwang122/EATLM.
• Abstract（参考訳）: 抗体は人体を病原体から強く保護する重要なタンパク質である。 一般的なタンパク質と抗体特異的な事前訓練言語モデルの開発は、どちらも抗体予測作業を容易にする。 しかし、異なる抗体問題に対する異なる事前学習言語モデルの表現能力を包括的に研究する研究はほとんどない。 そこで本研究では,(1)訓練済みの言語モデルが特異性が異なる抗体課題においてどのように機能するか,という疑問に答えることを目的とする。 2)プレトレーニングプロセスに特定の生物学的メカニズムを導入すると、モデルに何のメリットがあるのか? 3) 学習抗体は, 創薬や免疫過程の理解など, 現実世界の抗体問題において有効か? これまでのベンチマークでは、これらの疑問に答える研究がほとんど妨げられませんでした。 調査を容易にするために、AnTibody Understanding Evaluation (ATUE)ベンチマークを提供する。 タンパク質事前学習言語モデルの性能を実証研究により総合的に評価し,結論と新たな知見を得た。 ATUEとコードはhttps://github.com/dqwang122/EATLM.comで公開されています。

関連論文リスト

• Pre-Training Protein Bi-level Representation Through Span Mask Strategy On 3D Protein Chains [1.2893576217358405]
  本研究では, 3次元タンパク質鎖上でのスパンマスク事前学習戦略を導入し, 残基および原子の有意義な表現を学習する。 これにより、多様な下流タスクに適したタンパク質表現を学習するための、シンプルで効果的なアプローチが導かれる。
  論文  参考訳（メタデータ） (2024-02-02T15:07:09Z)
• Improving Antibody Humanness Prediction using Patent Data [6.185604158465185]
  マルチステージ・マルチロス・トレーニングプロセスを用いて,抗体の人間性予測を改善するための特許データの可能性を検討する。 初期学習段階は、弱教師付きコントラスト学習問題として機能する。 次に、コントラストエンコーダの一部を凍結し、クロスエントロピー損失を用いて特許データに基づいてトレーニングし、与えられた抗体配列の人間性スコアを予測する。
  論文  参考訳（メタデータ） (2024-01-25T16:04:17Z)
• Interpreting Pretrained Language Models via Concept Bottlenecks [55.47515772358389]
  事前訓練された言語モデル(PLM)は、様々な自然言語処理タスクにおいて大きな進歩を遂げてきた。 ブラックボックスの性質による解釈可能性の欠如は、責任ある実装に課題をもたらす。 本研究では,人間にとって理解しやすい高レベルで有意義な概念を用いて,PLMを解釈する新しい手法を提案する。
  論文  参考訳（メタデータ） (2023-11-08T20:41:18Z)
• Reprogramming Pretrained Language Models for Protein Sequence Representation Learning [68.75392232599654]
  エンドツーエンドの表現学習フレームワークである辞書学習(R2DL)による表現学習を提案する。 R2DLは、タンパク質配列の埋め込みを学ぶために、事前訓練された英語モデルを再プログラムする。 我々のモデルは,事前訓練および標準教師付き手法によって設定されたベースラインに対して,最大105ドルの精度でデータ効率を大幅に向上させることができる。
  論文  参考訳（メタデータ） (2023-01-05T15:55:18Z)
• xTrimoABFold: De novo Antibody Structure Prediction without MSA [77.47606749555686]
  我々は、抗体配列から抗体構造を予測するために、xTrimoABFoldという新しいモデルを開発した。 CDRにおけるドメイン特異的焦点損失のアンサンブル損失とフレーム整合点損失を最小化することにより,PDBの抗体構造をエンドツーエンドにトレーニングした。
  論文  参考訳（メタデータ） (2022-11-30T09:26:08Z)
• Incorporating Pre-training Paradigm for Antibody Sequence-Structure Co-design [134.65287929316673]
  深層学習に基づく計算抗体の設計は、人間の経験を補完する可能性のあるデータから自動的に抗体パターンをマイニングするので、注目を集めている。 計算手法は高品質な抗体構造データに大きく依存しており、非常に限定的である。 幸いなことに、CDRをモデル化し、構造データへの依存を軽減するために有効な抗体の配列データが多数存在する。
  論文  参考訳（メタデータ） (2022-10-26T15:31:36Z)
• Antibody Representation Learning for Drug Discovery [7.291511531280898]
  新規なSARS-CoV-2抗体結合データセットと追加ベンチマークデータセットについて報告する。 従来の統計的シーケンスモデル,各データセットの教師付き学習,および抗体特異的事前訓練言語モデルの微調整の3つのクラスを比較した。 実験結果から,特徴表現の自己教師付き事前学習は,従来の手法よりも大幅に改善されていることが示唆された。
  論文  参考訳（メタデータ） (2022-10-05T13:48:41Z)
• How Should Pre-Trained Language Models Be Fine-Tuned Towards Adversarial Robustness? [121.57551065856164]
  本稿では,情報理論の観点から,新しい対角的微調整法としてロバスト・インフォーマティブ・ファインチューニング(RIFT)を提案する。 RIFTは、微調整プロセス全体を通して、事前訓練されたモデルから学んだ特徴を維持するために客観的モデルを奨励する。 実験の結果, RIFTは2つのNLPタスクにおいて, 最先端のタスクを一貫して上回っていることがわかった。
  論文  参考訳（メタデータ） (2021-12-22T05:04:41Z)
• Deciphering antibody affinity maturation with language models and weakly supervised learning [10.506336354512145]
  我々は558万の天然抗体配列に基づいて訓練された言語モデルであるAntiBERTyを紹介する。 その結果,レパートリーでは,アフィニティ成熟に類似した抗体を軌跡にまとめることができた。 マルチインスタンス学習フレームワークを用いて、冗長なシーケンスを予測するために訓練されたモデルが、プロセスのキーバインディング残基を識別することを示す。
  論文  参考訳（メタデータ） (2021-12-14T23:05:01Z)
• Adversarial GLUE: A Multi-Task Benchmark for Robustness Evaluation of Language Models [86.02610674750345]
  AdvGLUE(Adversarial GLUE)は、様々な種類の敵攻撃の下で、現代の大規模言語モデルの脆弱性を調査し評価するための新しいマルチタスクベンチマークである。 GLUEタスクに14の逆攻撃手法を適用してAdvGLUEを構築する。 テストしたすべての言語モデルとロバストなトレーニングメソッドは、AdvGLUEではパフォーマンスが悪く、スコアは明確な精度よりもはるかに遅れています。
  論文  参考訳（メタデータ） (2021-11-04T12:59:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。