論文の概要: Flow-Matching-Based Protein Structure Tokenizer Made Efficient and Easy
- arxiv url: http://arxiv.org/abs/2609.33129v1
- Date: Sun, 27 Sep 2026 02:56:09 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-06 10:15:30.033487
- Title: Flow-Matching-Based Protein Structure Tokenizer Made Efficient and Easy
- Title(参考訳): 効率的かつ簡便なフローマッチ型タンパク質構造トケナイザ
- Abstract要約: ProFiTはタンパク質構造トークン化のための軽量なフローマッチングトークン化器である。
幅広い設定で広範囲な評価を行い、ProFiTが様々な下流タスクに適応可能であることを示す。
- 参考スコア(独自算出の注目度): 36.34975444394847
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: As the bridge between protein modality and discrete modeling, protein structure tokenization still largely relies on heavily engineered training objectives tailored to specific downstream tasks and large training datasets, which hinders its transfer to broader application scenarios. To address this issue, we propose ProFiT, a lightweight flow matching tokenizer. With simple training strategies that encourage healthy codebook utilization, ProFiT can be trained efficiently and naturally learns semantically meaningful representations without any manual semantic alignment, while achieving reconstruction quality and generalization that match or surpass those of substantially larger tokenizers. We conduct extensive evaluations across a wide range of settings and demonstrate that ProFiT is a plug-and-play tokenizer adaptable to diverse downstream tasks. This study further reveals the significant potential of the flow matching tokenizer paradigm. Our code is publicly available at https://github.com/QDKStorm/ProFiT.
- Abstract(参考訳): タンパク質のモダリティと離散モデリングの橋渡しとして、タンパク質構造のトークン化は依然として、特定の下流タスクや大規模なトレーニングデータセットに合わせた、高度なエンジニアリングされたトレーニング目標に大きく依存しているため、より広範なアプリケーションシナリオへの移行を妨げている。
この問題に対処するため,軽量なフローマッチングトークンであるProFiTを提案する。
健全なコードブックの利用を促進する単純なトレーニング戦略により、ProFiTは、手作業による意味的アライメントなしに、意味的に意味のある表現を効率よく、自然に学習することができる。
ProFiTは様々なダウンストリームタスクに適応可能なプラグイン・アンド・プレイ・トークンーザであることを示す。
本研究は,フローマッチング・トークンーザ・パラダイムの意義を明らかにする。
私たちのコードはhttps://github.com/QDKStorm/ProFiT.comで公開されています。
関連論文リスト
- Flow Autoencoders are Effective Protein Tokenizers [0.0]
本稿では,タンパク質構造のトークン化と生成のためのフローベーストークン化ツールであるKanziを紹介する。
Kanziは、フローマッチング損失でトレーニングされた拡散オートエンコーダで構成される。
これらの変化は、既存のトークン化器よりも優れたパラメータ効率モデルの訓練を安定化させることが判明した。
論文 参考訳(メタデータ) (2025-09-30T23:29:39Z) - Context-aware Prompt Tuning: Advancing In-Context Learning with Adversarial Methods [69.36397993451742]
In this work introduced Context-aware Prompt Tuning (CPT) - ICL, PT, and adversarial attack。
入力および出力フォーマットのユニークな構造を考慮して、特定のコンテキストトークンを変更する。
敵の攻撃にインスパイアされた我々は、損失を最大化するのではなく、最小化に焦点をあてて、コンテキストに存在するラベルに基づいて入力を調整する。
論文 参考訳(メタデータ) (2024-10-22T17:45:47Z) - CorDA: Context-Oriented Decomposition Adaptation of Large Language Models for Task-Aware Parameter-Efficient Fine-tuning [101.81127587760831]
現在の微調整手法は、学習すべき下流タスクのコンテキストや、維持すべき重要な知識のコンテキストに広く適用できるアダプタを構築している。
学習可能なタスク対応アダプタを構築するコンテキスト指向の分解適応手法であるCorDAを提案する。
本手法は,知識保存型適応と指導レビュー型適応の2つの選択肢を実現する。
論文 参考訳(メタデータ) (2024-06-07T19:10:35Z) - Getting the most out of your tokenizer for pre-training and domain
adaptation [26.427537023771844]
トークン化器のサイズ,事前トークン化正規表現,およびトレーニングデータは,モデルの生成速度に大きな影響を及ぼすことを示す。
我々は,事前学習したLCMのトークン化を専門とし,生成速度と有効コンテキストサイズに大きな利得を得る。
論文 参考訳(メタデータ) (2024-02-01T21:49:34Z) - MASTER: Multi-task Pre-trained Bottlenecked Masked Autoencoders are
Better Dense Retrievers [140.0479479231558]
本研究では,様々な事前学習タスクをマルチタスク事前学習モデル(MASTER)に統合することを目的とする。
MASTERは共有エンコーダのマルチデコーダアーキテクチャを利用して、タスク全体にわたる豊富なセマンティック情報を高密度ベクトルに圧縮する表現ボトルネックを構築することができる。
論文 参考訳(メタデータ) (2022-12-15T13:57:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。