論文の概要: ProTok: Unified Protein Tokenization via Modular Multi-Codebook Quantization

• arxiv url: http://arxiv.org/abs/2610.18481v1
• Date: Tue, 13 Oct 2026 14:43:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-16 21:06:24.45032
• Title: ProTok: Unified Protein Tokenization via Modular Multi-Codebook Quantization
• Title（参考訳）: ProTok: モジュール型マルチコードブック量子化による統一タンパク質トークン化
• Abstract要約: 本稿では,3つのモダリティすべてをモジュール型離散語彙にマッピングするタンパク質トークン化ツールProTokを紹介する。 単一のProTokチェックポイントは、リトレーニングなしで任意のモダリティサブセットからの柔軟な推論をサポートする。 7つのStructTokenBenchベンチマークでは、14のタスクと28のテストスプリットにまたがって、ProTokはすべての構造専用トークンーの平均1.4のランクを達成している。
• 参考スコア（独自算出の注目度）: 5.886200278450183
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Protein sequence, structure, and functional annotations each capture complementary aspects of protein biology, yet existing tokenizers encode each modality independently, limiting the expressiveness of discrete protein representations. We present ProTok, a unified protein tokenizer that maps all three modalities into a modular discrete vocabulary via product quantization with per-modality codebook groups and modality dropout. A single ProTok checkpoint supports flexible inference from any modality subset without retraining. On seven StructTokenBench benchmarks spanning 14 tasks and 28 test splits, ProTok achieves an average rank of 1.4 across all structure-only tokenizers, placing first on 21 splits and among the top two on 27 of the 28. These gains come without sacrificing reconstruction: ProTok's tokens reach 0.939 lDDT on CATH 4.2, showing that multi-codebook quantization and multi-modal training yield tokens that are both reconstructable and informative. ProTok's structure tokens further lead all baseline structure tokenizers on zero-shot functional retrieval across CATH, Enzyme Commission, and Gene Ontology label hierarchies. The vocabulary also supports generation: a compact language model trained from scratch over ProTok tokens jointly generates backbone and sequence, with 52% of sampled backbones designable versus 21% for a parameter-matched GeoBPE baseline. ProTok shows that structure, sequence, and function can share one discrete vocabulary, motivating protein language models that reason over a unified token stream.
• Abstract（参考訳）: タンパク質配列、構造、機能アノテーションはそれぞれタンパク質生物学の相補的な側面を捉えているが、既存のトークン化剤はそれぞれのモダリティを独立にコードし、個々のタンパク質表現の表現性を制限している。 ProTokは、3つのモダリティ全てをモジュラー離散ボキャブラリにマッピングする統一されたタンパク質トークンであり、製品量子化とモジュールごとのコードブックグループ、モダリティドロップアウトによって実現される。 単一のProTokチェックポイントは、リトレーニングなしで任意のモダリティサブセットからの柔軟な推論をサポートする。 7つのStructTokenBenchベンチマークでは、14のタスクと28のテストスプリットにまたがって、ProTokはすべての構造専用のトークンエータで平均1.4のランクを獲得し、21のスプリットで1位、28の27の上位2位にランクインした。 プロトックのトークンはCATH 4.2で0.939 lDDTに達し、マルチコードブックの量子化とマルチモーダルトレーニングにより、再構築可能かつ情報的にトークンが生成される。 ProTokの構造トークンは、CATH、Enzyme Commission、Gene Ontologyラベル階層をまたいだゼロショット機能検索において、すべてのベースライン構造トークン化を導く。 ProTokトークンをスクラッチからトレーニングしたコンパクト言語モデルは、バックボーンとシーケンスを共同で生成し、52%のサンプルバックボーンがパラメータマッチングされたGeoBPEベースラインで21%に対して指定できる。 ProTokは、構造、シーケンス、関数が1つの独立した語彙を共有し、統一されたトークンストリームを介して推論するタンパク質言語モデルを動機付けていることを示している。

関連論文リスト

• Designing Protein Structures from Natural Language [58.94754292279692]
  Prompteinaは、自然言語で指定された新しいより広範な設計目的をサポートする最初の全原子構造生成モデルである。 プレトレーニングされた構造生成モデルであるProteina-Complexaを、テキスト条件付きプレトレーニングと微調整により適用し、残基を対応するテキストと整列させる。 プロンプティーナは18の構造特性の15の基線を上回り、意図された機能の記述とより密に一致するタンパク質を生成する。
  論文  参考訳（メタデータ） (2026-10-09T17:51:55Z)
• More Than Words: Compositional Tokenization for Efficient Language Models [9.273273023595065]
  CoBPE は語彙ベースのトークン (table) で、小さな再利用可能な表面修飾器のセットが付属している。 780Mと1.3Bスケールでスクラッチから制御された事前トレーニングにおいて、CoBPEはシーケンスを30%短縮し、平均ダウンストリーム性能を1.2ポイント改善した。
  論文  参考訳（メタデータ） (2026-10-04T23:01:24Z)
• Adaptive Protein Tokenization [0.0]
  既存のタンパク質構造トークン化剤は、周辺地域の情報をプールすることでトークンを作成する。 本稿では,タンパク質構造のグローバルなトークン化手法について述べる。 適応トークンが情報コンテンツに基づく推論基準をどのように実現し,設計可能性を高めるかを示す。
  論文  参考訳（メタデータ） (2026-02-06T06:15:14Z)
• MergeDNA: Context-aware Genome Modeling with Dynamic Tokenization through Token Merging [65.07273789940116]
  本稿では,動的ゲノミクストークンと潜在トランスフォーマーをコンテキスト対応事前学習タスクで協調的に最適化する階層型アーキテクチャを提案する。 MergeDNAは3つの人気のあるDNAベンチマークと、微調整やゼロショット評価を伴う複数のマルチオミクスタスクにおいて優れたパフォーマンスを実現している。
  論文  参考訳（メタデータ） (2025-11-17T19:27:41Z)
• ProtInvTree: Deliberate Protein Inverse Folding with Reward-guided Tree Search [77.55575655986252]
  ProtInvTreeはタンパク質逆フォールディングのための報酬誘導ツリー検索フレームワークである。 シークエンス生成は、意図的に、ステップワイズな意思決定プロセスとして再構成される。 検索深度と幅を広げて、再トレーニングすることなく、フレキシブルなテストタイムスケーリングをサポートする。
  論文  参考訳（メタデータ） (2025-06-01T09:34:20Z)
• FoldToken2: Learning compact, invariant and generative protein structure language [48.1647245005672]
  我々はFoldToken2を提案し、元の構造の復元性を維持しつつ、同変構造を離散トークンに変換する。 タンパク質構造再構築タスクにおいてFoldToken2を評価し,従来のFoldToken1よりもTMScoreで20%,RMSDで81%優れていた。 我々はFoldToken2が、タンパク質構造表現学習、構造アライメント、構造生成タスクのさらなる改善をもたらすと考えている。
  論文  参考訳（メタデータ） (2024-06-11T09:24:51Z)
• FoldToken: Learning Protein Language via Vector Quantization and Beyond [56.19308144551836]
  タンパク質配列構造を離散シンボルとして表現するために textbfFoldTokenizer を導入する。 学習したシンボルを textbfFoldToken と呼び、FoldToken の配列が新しいタンパク質言語として機能する。
  論文  参考訳（メタデータ） (2024-02-04T12:18:51Z)
• Pre-training Protein Language Models with Label-Agnostic Binding Pairs Enhances Performance in Downstream Tasks [1.452875650827562]
  タンパク質配列の1%未満は構造的にも機能的にも注釈付けされている。 本稿では,結合タンパク質配列と非結合タンパク質配列を混合したRoBERTaモデルを提案する。 トランスフォーマーの注意機構は,タンパク質結合部位の発見に寄与することが示唆された。
  論文  参考訳（メタデータ） (2020-12-05T17:37:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。