論文の概要: Contrastive learning of T cell receptor representations
- arxiv url: http://arxiv.org/abs/2406.06397v2
- Date: Thu, 10 Oct 2024 10:32:44 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-10-11 14:28:56.563360
- Title: Contrastive learning of T cell receptor representations
- Title（参考訳）: T細胞受容体発現のコントラスト学習
- Authors: Yuta Nagano, Andrew Pyo, Martina Milighetti, James Henderson, John Shawe-Taylor, Benny Chain, Andreas Tiffeau-Mayer,
- Abstract要約: データ効率のよい転送学習が可能なTCR言語モデルSCEPTRを導入する。
本稿では,自己コントラスト学習とマスク付き言語モデリングを組み合わせた新しい事前学習戦略を提案する。
コントラスト学習は,TCRの特異性のルールを復号化するための有用なパラダイムとして期待できる。
- 参考スコア（独自算出の注目度）: 11.053778245621544
- License:
- Abstract: Computational prediction of the interaction of T cell receptors (TCRs) and their ligands is a grand challenge in immunology. Despite advances in high-throughput assays, specificity-labelled TCR data remains sparse. In other domains, the pre-training of language models on unlabelled data has been successfully used to address data bottlenecks. However, it is unclear how to best pre-train protein language models for TCR specificity prediction. Here we introduce a TCR language model called SCEPTR (Simple Contrastive Embedding of the Primary sequence of T cell Receptors), capable of data-efficient transfer learning. Through our model, we introduce a novel pre-training strategy combining autocontrastive learning and masked-language modelling, which enables SCEPTR to achieve its state-of-the-art performance. In contrast, existing protein language models and a variant of SCEPTR pre-trained without autocontrastive learning are outperformed by sequence alignment-based methods. We anticipate that contrastive learning will be a useful paradigm to decode the rules of TCR specificity.
- Abstract（参考訳）: T細胞受容体(TCR)とリガンドの相互作用の計算学的予測は免疫学における大きな課題である。
高スループットアッセイの進歩にもかかわらず、具体性に欠けるTCRデータは依然として少ない。
他のドメインでは、ラベルのないデータに対する言語モデルの事前トレーニングが、データのボトルネックに対処するためにうまく使われています。
しかし、TCRの特異性予測のために、事前訓練されたタンパク質言語モデルをどのように最適化するかは定かではない。
本稿では,データ効率のよいトランスファー学習が可能なSCEPTR (Simple Contrastive Embedding of the primary sequence of T cell Receptors) というTCR言語モデルを提案する。
本モデルでは,自動コントラスト学習とマスク付き言語モデリングを組み合わせた新しい事前学習戦略を導入し,SCEPTRの最先端性能を実現する。
対照的に、自己コントラスト学習なしで事前訓練された既存のタンパク質言語モデルとSCEPTRの亜種は、配列アライメントに基づく手法により性能が向上する。
コントラスト学習は,TCRの特異性のルールを復号化するための有用なパラダイムとして期待できる。
関連論文リスト
- Reconsidering Degeneration of Token Embeddings with Definitions for Encoder-based Pre-trained Language Models [20.107727903240065]
本研究では,エンコーダに基づく言語モデルのための等方的および意味論的トークン埋め込みを再構築するために,DefindEMBを提案する。
本実験は,Wiktionaryの定義を応用し,そのような埋め込みを再構築する効果を実証する。
論文 参考訳（メタデータ） (2024-08-02T15:00:05Z) - Active Learning Framework for Cost-Effective TCR-Epitope Binding
Affinity Prediction [6.3044887592852845]
ActiveTCRは、アクティブラーニングとTCR-epitopeバインディング親和性予測モデルを組み込んだフレームワークである。
アノテーションのコストを最小化しながら、パフォーマンスの向上を最大化することを目的としている。
本研究は,TCR-epitope結合親和性予測のためのデータ最適化に関する最初の体系的な研究である。
論文 参考訳（メタデータ） (2023-10-16T23:53:07Z) - Scalable Learning of Latent Language Structure With Logical Offline
Cycle Consistency [71.42261918225773]
概念的には、LOCCOは、トレーニング対象のセマンティクスを使用してラベルなしテキストのアノテーションを生成する、自己学習の一形態と見なすことができる。
追加ボーナスとして、LOCCOによって生成されたアノテーションは、神経テキスト生成モデルをトレーニングするために自明に再利用することができる。
論文 参考訳（メタデータ） (2023-05-31T16:47:20Z) - A CTC Alignment-based Non-autoregressive Transformer for End-to-end
Automatic Speech Recognition [26.79184118279807]
CTCアライメントに基づく一段非自己回帰変換器(CASS-NAT)をエンドツーエンドASRに適用する。
自己回帰変換器(AT)への単語埋め込みは、エンコーダ出力から抽出されたトークンレベルの音響埋め込み(TAE)で代用される。
我々は,CASS-NAT が様々な ASR タスクにおいて AT に近い WER を持ち,24 倍の推論速度を提供することを発見した。
論文 参考訳（メタデータ） (2023-04-15T18:34:29Z) - Fast and accurate factorized neural transducer for text adaption of
end-to-end speech recognition models [23.21666928497697]
テキストのみの適応データに対するFNT(Facterized Neural Transducer)の適応性の向上は、標準のニューラルトランスデューサモデルと比較して精度の低下を招いた。
これらのアプローチを組み合わせることで、標準のFNTモデルから比較的単語エラー率を9.48%削減できる。
論文 参考訳（メタデータ） (2022-12-05T02:52:21Z) - Lexically Aware Semi-Supervised Learning for OCR Post-Correction [90.54336622024299]
世界中の多くの言語における既存の言語データの多くは、非デジタル化された書籍や文書に閉じ込められている。
従来の研究は、あまり良くない言語を認識するためのニューラル・ポスト・コレクション法の有用性を実証してきた。
そこで本研究では,生画像を利用した半教師付き学習手法を提案する。
論文 参考訳（メタデータ） (2021-11-04T04:39:02Z) - Pre-training Co-evolutionary Protein Representation via A Pairwise
Masked Language Model [93.9943278892735]
タンパク質配列表現学習の鍵となる問題は、配列中の残基間の共変量によって反映される共進化情報をキャプチャすることである。
Pairwise Masked Language Model (PMLM) と呼ばれる専用言語モデルによる事前学習により,この情報を直接キャプチャする新しい手法を提案する。
提案手法は, 相互関係を効果的に把握し, ベースラインと比較して, 接触予測性能を最大9%向上できることを示す。
論文 参考訳（メタデータ） (2021-10-29T04:01:32Z) - Is BERT a Cross-Disciplinary Knowledge Learner? A Surprising Finding of
Pre-trained Models' Transferability [74.11825654535895]
BERTなどのテキストデータに予め訓練されたモデルのパワーを、一般的なトークンシーケンス分類アプリケーションに転送できるかどうかを検討します。
テキスト以外のデータでも、テキストに事前学習されたモデルはランダムなモデルよりも高速に収束する。
論文 参考訳（メタデータ） (2021-03-12T09:19:14Z) - Efficiently Fusing Pretrained Acoustic and Linguistic Encoders for
Low-resource Speech Recognition [9.732767611907068]
本研究では,前訓練音響エンコーダ(wav2vec2.0)と前訓練言語エンコーダ(bert)をエンドツーエンドasrモデルに融合する。
本モデルは他のエンドツーエンドモデルに比べてcallhomeコーパスの認識性能が(15時間)向上する。
論文 参考訳（メタデータ） (2021-01-17T16:12:44Z) - Improving Text Generation with Student-Forcing Optimal Transport [122.11881937642401]
トレーニングモードとテストモードで生成されたシーケンスに最適なトランスポート(OT)を提案する。
テキストシーケンスの構造的および文脈的情報に基づいて、OT学習を改善するための拡張も提案されている。
提案手法の有効性は,機械翻訳,テキスト要約,テキスト生成タスクにおいて検証される。
論文 参考訳（メタデータ） (2020-10-12T19:42:25Z) - Pretraining Techniques for Sequence-to-Sequence Voice Conversion [57.65753150356411]
シークエンス・トゥ・シークエンス(seq2seq)音声変換(VC)モデルは、韻律を変換する能力によって魅力的である。
我々は,大規模コーパスが容易に利用できる他の音声処理タスク(通常,テキスト音声(TTS)と自動音声認識(ASR))から知識を伝達することを提案する。
このような事前訓練されたASRまたはTSモデルパラメータを持つVCモデルは、高忠実で高知能な変換可能な音声に対して効果的な隠れ表現を生成することができると論じる。
論文 参考訳（メタデータ） (2020-08-07T11:02:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。