論文の概要: Elucidating the Design Space of Multimodal Protein Language Models

• arxiv url: http://arxiv.org/abs/2504.11454v1
• Date: Tue, 15 Apr 2025 17:59:43 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-16 22:10:59.347674
• Title: Elucidating the Design Space of Multimodal Protein Language Models
• Title（参考訳）: マルチモーダルタンパク質言語モデルの設計空間の解明
• Authors: Cheng-Yen, Hsieh, Xinyou Wang, Daiheng Zhang, Dongyu Xue, Fei Ye, Shujian Huang, Zaixiang Zheng, Quanquan Gu,
• Abstract要約: マルチモーダルタンパク質言語モデル(PLM)は、シーケンスとトークンに基づく構造情報を統合する。 本稿では,マルチモーダルPLMの設計空間を体系的に解明し,その限界を克服する。 我々の進歩はよりきめ細かな監督にアプローチし、トークンベースのマルチモーダルPLMが堅牢な構造モデリングを実現することを実証する。
• 参考スコア（独自算出の注目度）: 69.45389963530036
• License:
• Abstract: Multimodal protein language models (PLMs) integrate sequence and token-based structural information, serving as a powerful foundation for protein modeling, generation, and design. However, the reliance on tokenizing 3D structures into discrete tokens causes substantial loss of fidelity about fine-grained structural details and correlations. In this paper, we systematically elucidate the design space of multimodal PLMs to overcome their limitations. We identify tokenization loss and inaccurate structure token predictions by the PLMs as major bottlenecks. To address these, our proposed design space covers improved generative modeling, structure-aware architectures and representation learning, and data exploration. Our advancements approach finer-grained supervision, demonstrating that token-based multimodal PLMs can achieve robust structural modeling. The effective design methods dramatically improve the structure generation diversity, and notably, folding abilities of our 650M model by reducing the RMSD from 5.52 to 2.36 on PDB testset, even outperforming 3B baselines and on par with the specialized folding models.
• Abstract（参考訳）: マルチモーダルタンパク質言語モデル(PLM)は、配列とトークンに基づく構造情報を統合し、タンパク質モデリング、生成、設計の強力な基盤となる。 しかし、3次元構造の離散トークンへのトークン化への依存は、微細な構造の詳細と相関に関する忠実さを著しく損なう。 本稿では,マルチモーダルPLMの設計空間を体系的に解明し,その限界を克服する。 PLMによるトークン化損失と不正確な構造トークン予測を主要なボトルネックとして同定する。 提案する設計空間は、生成モデリング、構造認識アーキテクチャ、表現学習、データ探索の改善を網羅している。 我々の進歩はよりきめ細かな監督にアプローチし、トークンベースのマルチモーダルPLMが堅牢な構造モデリングを実現することを実証する。 有効設計法は構造生成の多様性を劇的に向上させ, 特に, PDBテストセット上でRMSDを5.52から2.36に削減し, 3Bベースラインを上回り, 特別な折り畳みモデルと同等にすることで, 650Mモデルの折り畳み性能を劇的に向上させる。

関連論文リスト

• DPLM-2: A Multimodal Diffusion Protein Language Model [75.98083311705182]
  DPLM-2は, 離散拡散タンパク質言語モデル(DPLM)を拡張し, 配列と構造の両方に適合する多モーダルタンパク質基盤モデルである。 DPLM-2は、配列と構造、およびその限界と条件の結合分布を学習する。 実験によりDPLM-2は高度に互換性のあるアミノ酸配列とそれに対応する3D構造を同時に生成できることが示された。
  論文  参考訳（メタデータ） (2024-10-17T17:20:24Z)
• Cliqueformer: Model-Based Optimization with Structured Transformers [102.55764949282906]
  大規模なニューラルネットワークは予測タスクに優れるが、タンパク質工学や材料発見といった設計問題への応用には、オフラインモデルベース最適化(MBO)の問題を解決する必要がある。 機能的グラフィカルモデル(FGM)を用いてブラックボックス関数の構造を学習するトランスフォーマーベースのアーキテクチャであるCliqueformerを提案する。 化学および遺伝子設計タスクを含む様々な領域において、Cliqueformerは既存の方法よりも優れた性能を示している。
  論文  参考訳（メタデータ） (2024-10-17T00:35:47Z)
• Interpreting token compositionality in LLMs: A robustness analysis [10.777646083061395]
  Constituent-Aware Pooling (CAP)は、大規模言語モデルが言語構造をどのように処理するかを分析するために設計された方法論である。 CAPは様々なモデルレベルで構成型プールを通してモデル活性化に介入する。 本研究は,合成セマンティクス処理とモデル解釈可能性に関する,現在のトランスフォーマーアーキテクチャの基本的制約を明らかにする。
  論文  参考訳（メタデータ） (2024-10-16T18:10:50Z)
• A Large Language Model and Denoising Diffusion Framework for Targeted Design of Microstructures with Commands in Natural Language [0.0]
  自然言語処理(NLP)、大言語モデル(LLM)、拡散確率モデル(DDPM)を統合したフレームワークを提案する。 我々のフレームワークは、事前訓練されたLLMによって駆動されるコンテキストデータ拡張を用いて、多様なマイクロ構造記述子のデータセットを生成し、拡張する。 再学習されたNERモデルは、ユーザが提供する自然言語入力から関連するマイクロ構造記述子を抽出し、DDPMによってターゲットとなる機械的特性とトポロジ的特徴を持つマイクロ構造を生成する。
  論文  参考訳（メタデータ） (2024-09-22T14:45:22Z)
• Creating a Microstructure Latent Space with Rich Material Information for Multiphase Alloy Design [19.10106845551149]
  本研究は, 高精度CPSP関係を確立するために, 真の微細構造情報を統合する改良された合金設計アルゴリズムを提案する。 このアプローチでは、変分オートエンコーダに基づくディープラーニングフレームワークを使用して、実際のミクロ構造データを潜在空間にマッピングする。
  論文  参考訳（メタデータ） (2024-09-04T12:26:19Z)
• Role of Structural and Conformational Diversity for Machine Learning Potentials [4.608732256350959]
  量子力学におけるデータバイアスとモデル一般化の関係について検討する。 この結果から,一般化指標の微妙なパターンが明らかになった。 これらの知見は、QMデータ生成のための貴重な洞察とガイドラインを提供する。
  論文  参考訳（メタデータ） (2023-10-30T19:33:12Z)
• Guiding Language Model Reasoning with Planning Tokens [122.43639723387516]
  大規模言語モデル(LLM)は、最近、複雑な推論タスクを実行する能力に対して、かなりの関心を集めている。 より構造的なチェーン・オブ・シークレット・ステップの創出を促す階層的な生成手法を提案する。 提案手法では、トレーニング可能なパラメータ(0.001%)の無視可能な増加が必要であり、完全な微調整か、よりパラメータ効率の良いスキームで適用することができる。
  論文  参考訳（メタデータ） (2023-10-09T13:29:37Z)
• Autoregressive Structured Prediction with Language Models [73.11519625765301]
  本稿では, PLM を用いた自己回帰的手法を用いて, モデル構造を行動列として記述する。 我々のアプローチは、私たちが見てきた全ての構造化予測タスクにおいて、新しい最先端を実現する。
  論文  参考訳（メタデータ） (2022-10-26T13:27:26Z)
• Parameter-Efficient Mixture-of-Experts Architecture for Pre-trained Language Models [68.9288651177564]
  量子多体物理学から行列積演算子(MPO)に基づく新しいMoEアーキテクチャを提案する。 分解されたMPO構造により、元のMoEアーキテクチャのパラメータを減らすことができる。 GPT2に基づく3つの有名な下流自然言語データセットの実験は、モデルキャパシティの向上における性能と効率の向上を示している。
  論文  参考訳（メタデータ） (2022-03-02T13:44:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。