論文の概要: ProtModernBERT: Compute-Efficient Protein Language Modeling

• arxiv url: http://arxiv.org/abs/2610.19738v1
• Date: Wed, 14 Oct 2026 07:59:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-15 21:06:16.026587
• Title: ProtModernBERT: Compute-Efficient Protein Language Modeling
• Title（参考訳）: ProtModernBERT: 計算効率の良いタンパク質言語モデリング
• Abstract要約: ProtModernBERTは,アミノ酸配列に基づいて事前学習したBERTスタイルのモデルである。 ProtBert、Amplify、ESM2と教師付き構造タスクのセットを比較します。 ProtModernBERT は Amplify-120M と ProtBert のパフォーマンスを80～90% の事前学習 FLOP で一致または密に追跡する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large protein language models provide a powerful framework for learning sequence-function relationships and guiding experimental design. However, architectural improvements are underexplored, especially in low-compute regimes of relevance for resource-constrained research laboratories. We show that the training cost for encoder-only transformer architectures can be reduced by leveraging modern architectural refinements, offering an encouraging performance / compute-efficiency trade-off. We introduce ProtModernBERT, a modernized BERT-style model pre-trained on amino acid sequences, and compare it with ProtBert, Amplify, and ESM2 across a set of supervised structural tasks -encompassing secondary structure prediction, disorder prediction, and subcellular localization- and ProteinGym's zero-shot functional benchmark. We find that ProtModernBERT matches or closely tracks the performance of Amplify-120M and ProtBert with up to 80-90\% reduction in pre-training FLOPs, and narrows the gap to ESM2 when controlling for pre-training. Our analysis using a cluster-based validation protocol for hyperparameter selection and randomly initialized models disentangles the contributions of architecture and data, showing that modern components provide stronger inductive biases that are more consequential than parameter count in low-compute regimes.
• Abstract（参考訳）: 大規模タンパク質言語モデルは、シーケンス関数の関係を学習し、実験設計を導くための強力なフレームワークを提供する。 しかし、特に資源に制約された研究機関の関連性の低い状況において、建築上の改善は過小評価されている。 エンコーダのみのトランスフォーマーアーキテクチャのトレーニングコストは、現代的なアーキテクチャの洗練を活用して、高いパフォーマンス/計算効率のトレードオフを提供することで削減できることを示す。 ProtModernBERTは、アミノ酸配列に基づいて事前訓練された近代化BERTスタイルのモデルで、ProtBert、Amplify、ESM2と比較し、二次構造予測、障害予測、細胞内局在化を回避し、ProtGymのゼロショット機能ベンチマークと比較する。 In this found that ProtModernBERT match or closely track the performance of Amplify-120M and ProtBert with up 80-90\% reduction of pre-training FLOPs, and the gaps to ESM2 when in control for pre-training。 超パラメータ選択のためのクラスタベースの検証プロトコルと無作為初期化モデルを用いて分析した結果、現代のコンポーネントは、低計算系ではパラメータカウントよりも高精度な帰納的バイアスを提供することがわかった。

関連論文リスト

• ImProver 2: Iteratively Self-Improving LMs for Neurosymbolic Proof Optimization [19.226502853809734]
  我々は、Lean 4.0で自動証明最適化のためのニューロシンボリックなフレームワークImProver 2を紹介します。 ImProver 2は、データ効率の高いエキスパートイテレーションパイプラインと、非公式な抽象化と並んで形式的な構造を公開する足場を組み合わせたものだ。 適切な足場とトレーニングを行うことで、小さなモデルは、複雑で多様なメトリクスに対して研究レベルの証明を効果的に再構成し、かなり大きなシステムにマッチし、証明最適化をスケーラブルで学習可能なタスクとして確立できることが示される。
  論文  参考訳（メタデータ） (2026-05-21T02:20:26Z)
• On Predicting the Post-training Potential of Pre-trained LLMs [60.07459271263409]
  本稿では,ポストトレーニング前のベースモデルの性能予測という,ポストトレーニング後の潜在能力を予測するための新しいタスクを紹介する。 本稿では,応答判別を活用することで,ベースモデルの生成ギャップを回避できる統一フレームワークであるRuDEを提案する。 実験では、トレーニング後のパフォーマンスと90%以上の相関を示す。
  論文  参考訳（メタデータ） (2026-05-12T11:33:49Z)
• Generalizable Foundation Models for Calorimetry via Mixtures-of-Experts and Parameter Efficient Fine Tuning [0.005473229173811305]
  次点変圧器のバックボーン上に構築したカロリー測定のための一般化可能な基礎モデルを提案する。 トレーニング済みのバックボーンは、複数の材料にまたがる電磁シャワーを生成するために訓練されている。 軽量なエキスパートモジュールの追加とチューニングにより、新しい材料が組み込まれている。
  論文  参考訳（メタデータ） (2026-03-27T23:52:32Z)
• SALAAD: Sparse And Low-Rank Adaptation via ADMM for Large Language Model Inference [38.037874715181964]
  トレーニング中にスパース構造と低ランク構造を誘導するプラグイン・アンド・プレイ・フレームワークであるSALAADを提案する。 モデルスケールでの実験では、SALAADはデプロイメント中のメモリ消費を大幅に削減する。 単一のトレーニングを実行すると、モデル能力の連続的なスペクトルが得られ、多様なメモリ予算をまたいだスムーズで弾力的なデプロイメントが可能になる。
  論文  参考訳（メタデータ） (2026-02-01T00:00:11Z)
• Architectural Trade-offs in Small Language Models Under Compute Constraints [0.0]
  本稿では,厳密な計算制約下での小型言語モデルの体系的研究を行う。 我々は,Tny Shakespeare の文字レベルモデリングと Penn Treebank (PTB) とWikiText-2 の単語レベルモデリングについて検討した。 この結果から,注目モデルがFLOP毎の効率を小型でも上回る一方で,深度や文脈の増大が性能を低下させる可能性が示唆された。
  論文  参考訳（メタデータ） (2025-12-24T01:36:50Z)
• Mechanistic Design and Scaling of Hybrid Architectures [114.3129802943915]
  我々は、様々な計算プリミティブから構築された新しいハイブリッドアーキテクチャを特定し、テストする。 本研究では,大規模計算最適法則と新しい状態最適スケーリング法則解析を用いて,結果のアーキテクチャを実験的に検証する。 我々は,MAD合成法と計算-最適パープレキシティを相関させ,新しいアーキテクチャの正確な評価を可能にする。
  論文  参考訳（メタデータ） (2024-03-26T16:33:12Z)
• Scaling Pre-trained Language Models to Deeper via Parameter-efficient Architecture [68.13678918660872]
  行列積演算子(MPO)に基づくより有能なパラメータ共有アーキテクチャを設計する。 MPO分解はパラメータ行列の情報を再編成し、2つの部分に分解することができる。 私たちのアーキテクチャは、モデルのサイズを減らすために、すべてのレイヤで中央テンソルを共有しています。
  論文  参考訳（メタデータ） (2023-03-27T02:34:09Z)
• AutoBERT-Zero: Evolving BERT Backbone from Scratch [94.89102524181986]
  そこで本稿では,提案するハイブリッドバックボーンアーキテクチャを自動検索するOP-NASアルゴリズムを提案する。 提案するOP-NASの効率を向上させるために,探索アルゴリズムと候補モデルの評価を最適化する。 実験の結果、検索されたアーキテクチャ(AutoBERT-Zero)は、様々な下流タスクにおいてBERTとそのバリエーションの異なるモデル容量を著しく上回っていることがわかった。
  論文  参考訳（メタデータ） (2021-07-15T16:46:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。