論文の概要: Elucidating the Design Space of Multimodal Protein Language Models

• arxiv url: http://arxiv.org/abs/2504.11454v2
• Date: Wed, 16 Apr 2025 02:35:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-24 11:29:22.960971
• Title: Elucidating the Design Space of Multimodal Protein Language Models
• Title（参考訳）: マルチモーダルタンパク質言語モデルの設計空間の解明
• Authors: Cheng-Yen Hsieh, Xinyou Wang, Daiheng Zhang, Dongyu Xue, Fei Ye, Shujian Huang, Zaixiang Zheng, Quanquan Gu,
• Abstract要約: マルチモーダルタンパク質言語モデル(PLM)は、シーケンスとトークンに基づく構造情報を統合する。 本稿では,マルチモーダルPLMの設計空間を体系的に解明し,その限界を克服する。 我々の進歩はよりきめ細かな監督にアプローチし、トークンベースのマルチモーダルPLMが堅牢な構造モデリングを実現することを実証する。
• 参考スコア（独自算出の注目度）: 69.3650883370033
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Multimodal protein language models (PLMs) integrate sequence and token-based structural information, serving as a powerful foundation for protein modeling, generation, and design. However, the reliance on tokenizing 3D structures into discrete tokens causes substantial loss of fidelity about fine-grained structural details and correlations. In this paper, we systematically elucidate the design space of multimodal PLMs to overcome their limitations. We identify tokenization loss and inaccurate structure token predictions by the PLMs as major bottlenecks. To address these, our proposed design space covers improved generative modeling, structure-aware architectures and representation learning, and data exploration. Our advancements approach finer-grained supervision, demonstrating that token-based multimodal PLMs can achieve robust structural modeling. The effective design methods dramatically improve the structure generation diversity, and notably, folding abilities of our 650M model by reducing the RMSD from 5.52 to 2.36 on PDB testset, even outperforming 3B baselines and on par with the specialized folding models.
• Abstract（参考訳）: マルチモーダルタンパク質言語モデル(PLM)は、配列とトークンに基づく構造情報を統合し、タンパク質モデリング、生成、設計の強力な基盤となる。 しかし、3次元構造の離散トークンへのトークン化への依存は、微細な構造の詳細と相関に関する忠実さを著しく損なう。 本稿では,マルチモーダルPLMの設計空間を体系的に解明し,その限界を克服する。 PLMによるトークン化損失と不正確な構造トークン予測を主要なボトルネックとして同定する。 提案する設計空間は、生成モデリング、構造認識アーキテクチャ、表現学習、データ探索の改善を網羅している。 我々の進歩はよりきめ細かな監督にアプローチし、トークンベースのマルチモーダルPLMが堅牢な構造モデリングを実現することを実証する。 有効設計法は構造生成の多様性を劇的に向上させ, 特に, PDBテストセット上でRMSDを5.52から2.36に削減し, 3Bベースラインを上回り, 特別な折り畳みモデルと同等にすることで, 650Mモデルの折り畳み性能を劇的に向上させる。

関連論文リスト

• SDIGLM: Leveraging Large Language Models and Multi-Modal Chain of Thought for Structural Damage Identification [2.9239817922453333]
  SDIGLMは, マルチモーダル構造損傷同定モデルである。 このマルチモーダル CoT を活用することで、SDIGLM は様々なインフラタイプで95.24%の精度を達成し、構造的損傷の特定において汎用 LMM を超えている。
  論文  参考訳（メタデータ） (2025-04-12T11:37:10Z)
• Aligning Large Language Models and Geometric Deep Models for Protein Representation [57.59506688299817]
  遅延表現アライメントは、異なるモダリティからの埋め込みを共有空間にマッピングするために使用され、しばしば大きな言語モデル(LLM)の埋め込み空間と一致している。 プリミティブなタンパク質中心の大規模言語モデル (MLLM) が登場したが、それらは表現の至る所で最適なアライメントの実践に関する根本的な理解が欠如しているアプローチに大きく依存している。 本研究では,タンパク質領域におけるLLMと幾何学的深部モデル(GDM)のマルチモーダル表現のアライメントについて検討する。 本研究は, モデルおよびタンパク質の観点からのアライメント要因について検討し, 現行アライメント手法の課題を特定し, アライメントプロセスを改善するための戦略を提案する。
  論文  参考訳（メタデータ） (2024-11-08T04:15:08Z)
• DPLM-2: A Multimodal Diffusion Protein Language Model [75.98083311705182]
  DPLM-2は, 離散拡散タンパク質言語モデル(DPLM)を拡張し, 配列と構造の両方に適合する多モーダルタンパク質基盤モデルである。 DPLM-2は、配列と構造、およびその限界と条件の結合分布を学習する。 実験によりDPLM-2は高度に互換性のあるアミノ酸配列とそれに対応する3D構造を同時に生成できることが示された。
  論文  参考訳（メタデータ） (2024-10-17T17:20:24Z)
• Cliqueformer: Model-Based Optimization with Structured Transformers [102.55764949282906]
  大規模なニューラルネットワークは予測タスクに優れるが、タンパク質工学や材料発見といった設計問題への応用には、オフラインモデルベース最適化(MBO)の問題を解決する必要がある。 機能的グラフィカルモデル(FGM)を用いてブラックボックス関数の構造を学習するトランスフォーマーベースのアーキテクチャであるCliqueformerを提案する。 化学および遺伝子設計タスクを含む様々な領域において、Cliqueformerは既存の方法よりも優れた性能を示している。
  論文  参考訳（メタデータ） (2024-10-17T00:35:47Z)
• Interpreting token compositionality in LLMs: A robustness analysis [10.777646083061395]
  Constituent-Aware Pooling (CAP)は、大規模言語モデルが言語構造をどのように処理するかを分析するために設計された方法論である。 CAPは様々なモデルレベルで構成型プールを通してモデル活性化に介入する。 本研究は,合成セマンティクス処理とモデル解釈可能性に関する,現在のトランスフォーマーアーキテクチャの基本的制約を明らかにする。
  論文  参考訳（メタデータ） (2024-10-16T18:10:50Z)
• A Large Language Model and Denoising Diffusion Framework for Targeted Design of Microstructures with Commands in Natural Language [0.0]
  自然言語処理(NLP)、大言語モデル(LLM)、拡散確率モデル(DDPM)を統合したフレームワークを提案する。 我々のフレームワークは、事前訓練されたLLMによって駆動されるコンテキストデータ拡張を用いて、多様なマイクロ構造記述子のデータセットを生成し、拡張する。 再学習されたNERモデルは、ユーザが提供する自然言語入力から関連するマイクロ構造記述子を抽出し、DDPMによってターゲットとなる機械的特性とトポロジ的特徴を持つマイクロ構造を生成する。
  論文  参考訳（メタデータ） (2024-09-22T14:45:22Z)
• 3D-MolT5: Leveraging Discrete Structural Information for Molecule-Text Modeling [41.07090635630771]
  分子を配列空間と3次元構造空間の両方でモデル化する統合フレームワークである textbf3D-MolT5 を提案する。 このアプローチの鍵となる革新は、きめ細かい3Dサブ構造表現を特別な3Dトークン語彙にマッピングすることである。 当社のアプローチは、これまでの作業における重要な課題に対処しながら、モーダル間相互作用とアライメントを大幅に改善します。
  論文  参考訳（メタデータ） (2024-06-09T14:20:55Z)
• StructLM: Towards Building Generalist Models for Structured Knowledge Grounding [49.10029030628653]
  大規模言語モデル(LLM)では、最先端(SoTA)モデルの背後にある構造化データラグを平均35%処理できる。 私たちは、MistralとCodeLlamaモデルファミリに基づいたStructLMと呼ばれる一連のモデルをトレーニングします。 我々のStructLMシリーズは、評価された18のデータセットのうち16のタスク固有モデルを超え、8つのSKGタスクに新しいSoTAパフォーマンスを確立する。
  論文  参考訳（メタデータ） (2024-02-26T15:47:01Z)
• Role of Structural and Conformational Diversity for Machine Learning Potentials [4.608732256350959]
  量子力学におけるデータバイアスとモデル一般化の関係について検討する。 この結果から,一般化指標の微妙なパターンが明らかになった。 これらの知見は、QMデータ生成のための貴重な洞察とガイドラインを提供する。
  論文  参考訳（メタデータ） (2023-10-30T19:33:12Z)
• Autoregressive Structured Prediction with Language Models [73.11519625765301]
  本稿では, PLM を用いた自己回帰的手法を用いて, モデル構造を行動列として記述する。 我々のアプローチは、私たちが見てきた全ての構造化予測タスクにおいて、新しい最先端を実現する。
  論文  参考訳（メタデータ） (2022-10-26T13:27:26Z)
• Parameter-Efficient Mixture-of-Experts Architecture for Pre-trained Language Models [68.9288651177564]
  量子多体物理学から行列積演算子(MPO)に基づく新しいMoEアーキテクチャを提案する。 分解されたMPO構造により、元のMoEアーキテクチャのパラメータを減らすことができる。 GPT2に基づく3つの有名な下流自然言語データセットの実験は、モデルキャパシティの向上における性能と効率の向上を示している。
  論文  参考訳（メタデータ） (2022-03-02T13:44:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。