論文の概要: LEMON-ZEST: Evolution-Informed Tokenization for Efficient Protein Language Modeling
- arxiv url: http://arxiv.org/abs/2609.37675v1
- Date: Tue, 29 Sep 2026 14:27:24 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-30 21:28:47.624694
- Title: LEMON-ZEST: Evolution-Informed Tokenization for Efficient Protein Language Modeling
- Title（参考訳）: LEMON-ZEST:効率的なタンパク質言語モデリングのための進化型トークン化
- Abstract要約: 複数配列アライメントの保存領域から派生した進化インフォームドボキャブラリであるZESTを紹介する。
ZESTは、シーケンスを平均4つの残基のトークン長に圧縮し、標準の1024のコンテキストウィンドウ内で4,000個の残基を処理する。
1つのH100 GPUで1週間トレーニングされたタンパク質配列間のリモートホモロジーを検出するための,コンパクトな200MシーケンスベースモデルLEMONを提案する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Protein Language Models (PLMs) have made remarkable progress following scaling laws established in natural language processing across sequence- and structure-based tasks, yet the potential of tokenization remains underexploited. Unlike human language, proteins preserve structure despite extensive sequence variation a property standard tokenization strategies fundamentally fail to capture. We introduce ZEST (Zoned Encoding of Sequence Traits), an evolution-informed vocabulary derived from conserved regions of multiple sequence alignments. ZEST allows embedding domain-level biological priors directly at the tokenization stage rather than learning them implicitly through scale. ZEST natively compresses sequences to an average token length of 4 residues, enabling our model to process 4,000 residues within a standard 1024-token context window. Building on this, we present LEMON (Layered Extraction of Molecular Ordering from Nature), a compact 200M-parameter sequence-based model for detection of remote homology between protein sequences trained on a single H100 GPU for one week. Despite its modest size, LEMON outperforms state-of-the-art models ranging from 600M to 3B parameters. Our results demonstrate that evolution-informed tokenization can substitute for massive parameter scaling, opening a new direction for efficient, biologically-grounded protein representation learning. All code, model weights, and results are publicly available under the MIT license.
- Abstract（参考訳）: タンパク質言語モデル(PLM)は、配列や構造に基づくタスクにまたがる自然言語処理において確立されたスケーリング法則に従って著しい進歩を遂げてきたが、トークン化の可能性はまだ明らかになっていない。
ヒト言語とは異なり、タンパク質は広範囲な配列の変化にもかかわらず構造を保ち、特性標準のトークン化戦略は基本的に捕獲に失敗する。
ZEST(Zoned Encoding of Sequence Traits)は,複数配列アライメントの保存領域から派生した進化インフォームド語彙である。
ZESTは、スケールを通じて暗黙的に学習するのではなく、トークン化段階でドメインレベルの生物学的事前情報を直接埋め込むことができる。
ZESTは、配列を平均4つの残基のトークン長にネイティブに圧縮し、標準の1024トークンコンテキストウィンドウ内で4,000個の残基を処理する。
そこで, LEMON (Layered extract of Molecular Ordering from Nature) は, 単一H100 GPUで1週間トレーニングしたタンパク質配列間のリモートホモロジーを検出するための, 200M パラメータ配列に基づくコンパクトモデルである。
LEMONは控えめなサイズだが、600Mから3Bパラメータの最先端モデルより優れている。
以上の結果から,進化インフォームドトークン化は大規模なパラメータスケーリングに代えて,効率的で生物学的に基底的なタンパク質表現学習のための新たな方向を開拓できることが示唆された。
すべてのコード、モデルウェイト、結果はMITライセンス下で公開されている。
関連論文リスト
- EvoLen: Evolution-Guided Tokenization for DNA Language Model [37.47818233836275]
EvoLenは、進化的成層と長さ認識デコードを組み合わせることで、モチーフスケールの関数配列単位をよりよく保存するトークンライザである。
これらの結果は、トークン化が重要な帰納バイアスをもたらし、進化情報を組み込むことにより、より生物学的に意味があり、解釈可能なシーケンス表現が得られることを示している。
論文 参考訳（メタデータ） (2026-04-09T18:41:28Z) - Self Distillation Fine-Tuning of Protein Language Models Improves Versatility in Protein Design [61.2846583160056]
Supervised Fine-tuning (SFT) は、大規模言語モデルを特殊なドメインに適応するための標準的なアプローチである。
これは、高品質なアノテートされたデータは、自然言語よりもタンパク質の入手がはるかに難しいためである。
生成したタンパク質配列の忠実度,信頼性,新規性を改善するために設計された,PLMの高速SFTのための簡易かつ汎用的なレシピを提案する。
論文 参考訳（メタデータ） (2025-12-10T05:34:47Z) - Protein as a Second Language for LLMs [50.34983283157322]
『Protein-as-Second-Language』の枠組みは、新しいシンボリック言語における文としてアミノ酸配列を再構成する。
属性予測,記述的理解,拡張推論にまたがる79,926個のタンパク質-QAインスタンスのバイリンガルコーパスをキュレートする。
提案手法は,オープンソース LLM と GPT-4 間で一貫した利得を提供し,最大 17.2% のROUGE-L 改善を実現している。
論文 参考訳（メタデータ） (2025-10-13T09:21:45Z) - Evolutionary Profiles for Protein Fitness Prediction [45.945064429964084]
EvoIFは、配列構造表現を進化的信号と融合させ、ログノードスコアリングのキャリブレーションされた確率を得る。
タンパク質Gym (217変異アッセイ; >2.5M変異株)について、EvoIFとそのMSA対応変異体は、トレーニング深度のわずか0.1%を使用しながら、最先端または競争的な性能を達成する。
論文 参考訳（メタデータ） (2025-10-08T17:46:02Z) - GENERator: A Long-Context Generative Genomic Foundation Model [66.46537421135996]
本稿では,98k塩基対 (bp) と1.2Bパラメータからなるゲノム基盤モデル GENERator を提案する。
DNAの386Bbpからなる拡張データセットに基づいて、GENERatorは、確立されたベンチマークと新しく提案されたベンチマークの両方で最先端のパフォーマンスを実証する。
また、特に特定のアクティビティプロファイルを持つエンハンサーシーケンスを即応的に生成することで、シーケンス最適化において大きな可能性を秘めている。
論文 参考訳（メタデータ） (2025-02-11T05:39:49Z) - Unlocking Efficiency: Adaptive Masking for Gene Transformer Models [19.699485326192846]
Nucleotide Transformer、DNABert、LOGOなどの遺伝子トランスフォーマーモデルは最適な遺伝子配列を学習するために訓練されている。
遺伝子配列は、NLPドメインの単語や文に似たよく定義された意味単位を持たない。
提案したCM-GEMS(Curriculum Masking-based Gene Masking Strategy)は,優れた表現学習能力を示す。
論文 参考訳（メタデータ） (2024-08-13T19:45:02Z) - PEvoLM: Protein Sequence Evolutionary Information Language Model [0.0]
タンパク質配列は、アミノ酸(AA)と呼ばれる連続したトークンまたは文字の集合である
本研究では,タンパク質配列を数値ベクトル表現に変換する埋め込み言語モデル(ELMo)を提案する。
このモデルは、次のAAを予測するだけでなく、類似しているが異なる配列から派生した次のAAの確率分布についても訓練された。
論文 参考訳（メタデータ） (2023-08-16T06:46:28Z) - Reprogramming Pretrained Language Models for Protein Sequence
Representation Learning [68.75392232599654]
エンドツーエンドの表現学習フレームワークである辞書学習(R2DL)による表現学習を提案する。
R2DLは、タンパク質配列の埋め込みを学ぶために、事前訓練された英語モデルを再プログラムする。
我々のモデルは,事前訓練および標準教師付き手法によって設定されたベースラインに対して,最大105ドルの精度でデータ効率を大幅に向上させることができる。
論文 参考訳（メタデータ） (2023-01-05T15:55:18Z) - Pre-training Co-evolutionary Protein Representation via A Pairwise
Masked Language Model [93.9943278892735]
タンパク質配列表現学習の鍵となる問題は、配列中の残基間の共変量によって反映される共進化情報をキャプチャすることである。
Pairwise Masked Language Model (PMLM) と呼ばれる専用言語モデルによる事前学習により,この情報を直接キャプチャする新しい手法を提案する。
提案手法は, 相互関係を効果的に把握し, ベースラインと比較して, 接触予測性能を最大9%向上できることを示す。
論文 参考訳（メタデータ） (2021-10-29T04:01:32Z) - Pre-training Protein Language Models with Label-Agnostic Binding Pairs
Enhances Performance in Downstream Tasks [1.452875650827562]
タンパク質配列の1%未満は構造的にも機能的にも注釈付けされている。
本稿では,結合タンパク質配列と非結合タンパク質配列を混合したRoBERTaモデルを提案する。
トランスフォーマーの注意機構は,タンパク質結合部位の発見に寄与することが示唆された。
論文 参考訳（メタデータ） (2020-12-05T17:37:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。