論文の概要: MT-ProtBERT: Multi-task Learning ProtBERT for Intrinsically Disordered Proteins Classification with Scarce Data

• arxiv url: http://arxiv.org/abs/2609.25334v1
• Date: Mon, 21 Sep 2026 19:27:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-23 18:04:04.090178
• Title: MT-ProtBERT: Multi-task Learning ProtBERT for Intrinsically Disordered Proteins Classification with Scarce Data
• Title（参考訳）: MT-ProtBERT:スカースデータを用いた内因性障害タンパク質分類のためのマルチタスク学習用ProtBERT
• Abstract要約: 内在的に不規則なタンパク質(IDP)は、折りたたみタンパク質と異なり、動的であり、安定な3次元コンフォメーションがなく、類似したタンパク質間の配列の類似性が低い。 ProtBERT のマルチタスク拡張である Multi-task ProtBERT (MT-ProtBERT) を用いてこの問題に対処する。 MT-ProtBERTは、すべてのタスクにおいて、RNNベースのIDP固有のモデルであるPARROTを一貫して上回っている。
• 参考スコア（独自算出の注目度）: 38.46124237701255
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Intrinsically disordered proteins (IDPs) differ from folded proteins in that they are dynamic, lack a stable three-dimensional conformation, and have low sequence similarity between similar proteins. The conformational heterogeneity of IDPs - while beneficial for their diverse functions - limits the use of traditional experimental tools to determine their conformation. The experimental difficulty, along with low sequence similarity, results in data scarcity, and makes it difficult to classify/detect IDPs that are similar or dissimilar, a task relevant to understand biology and evolution. We address this challenge using Multi-task ProtBERT (MT-ProtBERT), a multi-task extension of ProtBERT tailored for low-data regimes. MT-ProtBERT integrates Dynamic Window Masking, a Multi-Scale 1D Convolutional classifier (MS-Conv1D), and auxiliary objectives that jointly optimize masked language modeling and biochemistry-informed tasks. We evaluate this framework on two tasks under limited data: (i) phosphorylation site prediction (S/T/Y) in short sequences and small datasets, and (ii) protein compaction prediction on two small datasets (684 and 530 sequences), including sequences comparable in length to typical disordered regions. MT-ProtBERT consistently outperforms PARROT, an RNN-based IDP-specific model, across all tasks. These results demonstrate that combining self-supervised and biochemistry-informed tasks, and multi-scale learning enables robust modeling of unstructured proteins under data scarcity.
• Abstract（参考訳）: 内在的に不規則なタンパク質(IDP)は、折りたたみタンパク質と異なり、動的であり、安定な3次元コンフォメーションがなく、類似したタンパク質間の配列の類似性が低い。 IDPのコンフォメーションの不均一性は、多種多様な機能に対して有益であるが、そのコンフォメーションを決定するために従来の実験ツールの使用を制限する。 実験上の困難は、低い配列の類似性とともに、データの不足をもたらし、生物学や進化を理解するための課題である類似性または類似性のあるIDPを分類・検出することが困難になる。 ProtBERT のマルチタスク拡張である Multi-task ProtBERT (MT-ProtBERT) を用いてこの問題に対処する。 MT-ProtBERTは、マルチスケール1次元畳み込み分類器(MS-Conv1D)であるDynamic Window Maskingと、マスク付き言語モデリングと生化学インフォームドタスクを共同で最適化する補助目的を統合している。 限られたデータの下で2つのタスクでこのフレームワークを評価する。 (i)短いシーケンスと小さなデータセットにおけるリン酸化サイト予測(S/T/Y) (II)2つの小さなデータセット(684および530配列)におけるタンパク質の圧縮予測は、典型的な乱れ領域に匹敵する長さの配列を含む。 MT-ProtBERTは、すべてのタスクにおいて、RNNベースのIDP固有のモデルであるPARROTを一貫して上回っている。 これらの結果から, 自己制御・生化学インフォームドタスクとマルチスケール学習を組み合わせることで, データ不足下での非構造タンパク質のロバストなモデリングが可能であることが示唆された。

関連論文リスト

• ImmSET: Sequence-Based Predictor of TCR-pMHC Specificity at Scale [0.0]
  可変長生物配列の集合間の相互作用をモデル化するための新しいシーケンスベースアーキテクチャImmSETを提案する。 ImmSETは厳格な評価の下で頑健であることを示す。 この研究は、マルチシーケンス相互作用問題のためのスケーラブルなモデリングパラダイムとしてImmSETを確立する。
  論文  参考訳（メタデータ） (2026-03-27T21:08:10Z)
• S$^2$Drug: Bridging Protein Sequence and 3D Structure in Contrastive Representation Learning for Virtual Screening [72.89086338778098]
  タンパク質リガンドコントラスト表現学習のための2段階フレームワークを提案する。 最初の段階では、ESM2ベースのバックボーンを用いて、ChemBLでタンパク質配列を事前訓練する。 第2段階では、残基レベルゲーティングモジュールを介して配列と構造情報を融合することでPDBBindを微調整する。 この補助的なタスクは、モデルを誘導し、タンパク質配列内の結合残基を正確に局在させ、それらの3次元空間配列をキャプチャする。
  論文  参考訳（メタデータ） (2025-11-10T11:57:47Z)
• SeqProFT: Applying LoRA Finetuning for Sequence-only Protein Property Predictions [8.112057136324431]
  本研究では,ESM-2モデルのエンド・ツー・エンドの微調整を行うためにLoRA法を用いる。 下流ネットワークにマルチヘッドアテンション機構を統合して、シーケンス特徴とコンタクトマップ情報を組み合わせる。
  論文  参考訳（メタデータ） (2024-11-18T12:40:39Z)
• MAMMAL -- Molecular Aligned Multi-Modal Architecture and Language [0.4631438140637248]
  MAMMALは多タスク基盤モデルの作成に応用された汎用的手法であり、多様なモダリティにわたる大規模生物学的データセットから学習する。 11の下流タスクで評価され、9つのタスクでSOTA(the new state of the art)に到達し、2つのタスクでSOTAに匹敵する。 抗体-抗原およびナノボディ-抗原複合体上でのαfold 3結合予測能について検討し, 4点中3点においてMAMMALの分類性能は有意に向上した。
  論文  参考訳（メタデータ） (2024-10-28T20:45:52Z)
• scFusionTTT: Single-cell transcriptomics and proteomics fusion with Test-Time Training layers [14.254553622632594]
  scFusionはTTTベースのマスク付きオートエンコーダを用いたシングルセルマルチモーダルオミクスフュージョンの新しい手法である。 我々はヒトゲノム中の遺伝子とタンパク質の秩序情報をTTT層と組み合わせ、マルチモーダルオミクスを融合させ、単調オミクス解析を強化する。
  論文  参考訳（メタデータ） (2024-10-17T06:29:29Z)
• Learning to Predict Mutation Effects of Protein-Protein Interactions by Microenvironment-aware Hierarchical Prompt Learning [78.38442423223832]
  我々は、新しいコードブック事前学習タスク、すなわちマスク付きマイクロ環境モデリングを開発する。 突然変異効果予測において、最先端の事前学習法よりも優れた性能と訓練効率を示す。
  論文  参考訳（メタデータ） (2024-05-16T03:53:21Z)
• HeMeNet: Heterogeneous Multichannel Equivariant Network for Protein Multitask Learning [33.972536394058004]
  本稿では,3次元タンパク質構造の入力に基づいて,複数のタスクを協調的に処理するニューラルネットワークモデルを提案する。 特に,我々はまず,Protein-MTと呼ばれる標準構造に基づくマルチタスクベンチマークを構築した。 そこで我々は,HeMeNet(Heterogeneous Multi Channel Equivariant Network)と呼ばれる,マルチタスク学習のための新しいグラフニューラルネットワークを開発した。
  論文  参考訳（メタデータ） (2024-04-02T06:53:45Z)
• Efficiently Predicting Protein Stability Changes Upon Single-point Mutation with Large Language Models [51.57843608615827]
  タンパク質の熱安定性を正確に予測する能力は、様々なサブフィールドや生化学への応用において重要である。 タンパク質配列と構造的特徴を統合したESMによる効率的なアプローチを導入し, 単一点突然変異によるタンパク質の熱安定性変化を予測する。
  論文  参考訳（メタデータ） (2023-12-07T03:25:49Z)
• The effect of data augmentation and 3D-CNN depth on Alzheimer's Disease detection [51.697248252191265]
  この研究は、データハンドリング、実験設計、モデル評価に関するベストプラクティスを要約し、厳密に観察する。 我々は、アルツハイマー病(AD)の検出に焦点を当て、医療における課題のパラダイム的な例として機能する。 このフレームワークでは,3つの異なるデータ拡張戦略と5つの異なる3D CNNアーキテクチャを考慮し,予測15モデルを訓練する。
  論文  参考訳（メタデータ） (2023-09-13T10:40:41Z)
• Fast and Functional Structured Data Generators Rooted in Out-of-Equilibrium Physics [44.97217246897902]
  エネルギーモデルを用いて、構造化データセットで高品質なラベル特化データを生成するという課題に対処する。 伝統的な訓練方法は、マルコフ連鎖モンテカルロ混合による困難に遭遇する。 非平衡効果を利用した新しいトレーニングアルゴリズムを用いる。
  論文  参考訳（メタデータ） (2023-07-13T15:08:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。