論文の概要: 3D-MolT5: Leveraging Discrete Structural Information for Molecule-Text Modeling

• arxiv url: http://arxiv.org/abs/2406.05797v2
• Date: Tue, 18 Mar 2025 08:03:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-19 16:29:09.840544
• Title: 3D-MolT5: Leveraging Discrete Structural Information for Molecule-Text Modeling
• Title（参考訳）: 3D-MolT5:分子テクスチャモデリングのための離散構造情報を活用する
• Authors: Qizhi Pei, Rui Yan, Kaiyuan Gao, Jinhua Zhu, Lijun Wu,
• Abstract要約: 分子を配列空間と3次元構造空間の両方でモデル化する統合フレームワークである textbf3D-MolT5 を提案する。 このアプローチの鍵となる革新は、きめ細かい3Dサブ構造表現を特別な3Dトークン語彙にマッピングすることである。 当社のアプローチは、これまでの作業における重要な課題に対処しながら、モーダル間相互作用とアライメントを大幅に改善します。
• 参考スコア（独自算出の注目度）: 41.07090635630771
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The integration of molecular and natural language representations has emerged as a focal point in molecular science, with recent advancements in Language Models (LMs) demonstrating significant potential for comprehensive modeling of both domains. However, existing approaches face notable limitations, particularly in their neglect of three-dimensional (3D) information, which is crucial for understanding molecular structures and functions. While some efforts have been made to incorporate 3D molecular information into LMs using external structure encoding modules, significant difficulties remain, such as insufficient interaction across modalities in pre-training and challenges in modality alignment. To address the limitations, we propose \textbf{3D-MolT5}, a unified framework designed to model molecule in both sequence and 3D structure spaces. The key innovation of our approach lies in mapping fine-grained 3D substructure representations into a specialized 3D token vocabulary. This methodology facilitates the seamless integration of sequence and structure representations in a tokenized format, enabling 3D-MolT5 to encode molecular sequences, molecular structures, and text sequences within a unified architecture. Leveraging this tokenized input strategy, we build a foundation model that unifies the sequence and structure data formats. We then conduct joint pre-training with multi-task objectives to enhance the model's comprehension of these diverse modalities within a shared representation space. Thus, our approach significantly improves cross-modal interaction and alignment, addressing key challenges in previous work. Further instruction tuning demonstrated that our 3D-MolT5 has strong generalization ability and surpasses existing methods with superior performance in multiple downstream tasks. Our code is available at https://github.com/QizhiPei/3D-MolT5.
• Abstract（参考訳）: 分子と自然言語の表現の統合は、分子科学の焦点として現れており、近年の言語モデル(LM)の進歩は、両方のドメインを包括的にモデル化する大きな可能性を示している。 しかし、既存のアプローチは、特に分子構造や機能を理解する上で重要な3次元情報を無視した際、顕著な制限に直面している。 外部構造をコードするモジュールを用いて3D分子情報をLMに組み込む試みがいくつか行われているが、事前学習におけるモダリティ間の相互作用が不十分なことや、モダリティアライメントの課題など、重大な困難が残っている。 この制限に対処するために,分子を配列空間と3次元構造空間の両方でモデル化する統合フレームワークである「textbf{3D-MolT5}」を提案する。 このアプローチの鍵となる革新は、きめ細かい3Dサブ構造表現を特別な3Dトークン語彙にマッピングすることである。 この手法は、3D-MolT5で分子配列、分子構造、およびテキスト配列を統一されたアーキテクチャ内でエンコードできるように、トークン化されたフォーマットでのシーケンスと構造表現のシームレスな統合を促進する。 このトークン化された入力戦略を活用することで、シーケンスと構造データフォーマットを統一する基盤モデルを構築します。 次に、多タスク目的との協調事前学習を行い、共有表現空間内のこれらの多様性に対するモデルの理解を深める。 このように、我々のアプローチは、モーダル間相互作用とアライメントを大幅に改善し、以前の作業における重要な課題に対処します。 さらに,我々の3D-MolT5は強力な一般化能力を有し,複数のダウンストリームタスクにおいて優れた性能を持つ既存手法よりも優れていることを示す。 私たちのコードはhttps://github.com/QizhiPei/3D-MolT5.comで利用可能です。

関連論文リスト

• Elucidating the Design Space of Multimodal Protein Language Models [69.3650883370033]
  マルチモーダルタンパク質言語モデル(PLM)は、シーケンスとトークンに基づく構造情報を統合する。 本稿では,マルチモーダルPLMの設計空間を体系的に解明し,その限界を克服する。 我々の進歩はよりきめ細かな監督にアプローチし、トークンベースのマルチモーダルPLMが堅牢な構造モデリングを実現することを実証する。
  論文  参考訳（メタデータ） (2025-04-15T17:59:43Z)
• Cross-Modal and Uncertainty-Aware Agglomeration for Open-Vocabulary 3D Scene Understanding [58.38294408121273]
  CUA-O3Dと呼ばれるオープン語彙3次元シーン理解のためのクロスモーダル・不確実性認識アグリゲーションを提案する。 提案手法は,(1)空間認識型視覚基盤モデルの幾何学的知識とともに,VLMのセマンティックな先入観を取り入れること,(2)モデル固有の不確かさを捉えるために,新しい決定論的不確実性推定を用いること,の2つの課題に対処する。
  論文  参考訳（メタデータ） (2025-03-20T20:58:48Z)
• Towards Unified Latent Space for 3D Molecular Latent Diffusion Modeling [80.59215359958934]
  3次元分子生成は、薬物発見と物質科学に不可欠である。 既存のアプローチは、典型的には不変かつ同変なモジュラリティに対して別々のラテント空間を保持する。 本稿では,3次元分子を結合した潜在空間から潜在配列に圧縮する多モードVAEを提案する。
  論文  参考訳（メタデータ） (2025-03-19T08:56:13Z)
• Tokenizing 3D Molecule Structure with Quantized Spherical Coordinates [28.452581855002855]
  Mol-StrucTokは、3次元分子構造をトークン化する新しい方法である。 球面座標系において局所的な原子座標を抽出して3次元分子の線記法を設計する。 ベクトル量子化変分オートエンコーダ(VQ-VAE)を用いてこれらの座標をトークン化し、生成記述子として扱う。
  論文  参考訳（メタデータ） (2024-12-02T14:50:44Z)
• DPLM-2: A Multimodal Diffusion Protein Language Model [75.98083311705182]
  DPLM-2は, 離散拡散タンパク質言語モデル(DPLM)を拡張し, 配列と構造の両方に適合する多モーダルタンパク質基盤モデルである。 DPLM-2は、配列と構造、およびその限界と条件の結合分布を学習する。 実験によりDPLM-2は高度に互換性のあるアミノ酸配列とそれに対応する3D構造を同時に生成できることが示された。
  論文  参考訳（メタデータ） (2024-10-17T17:20:24Z)
• 3M-Diffusion: Latent Multi-Modal Diffusion for Language-Guided Molecular Structure Generation [18.55127917150268]
  3M拡散は、新しいマルチモーダルな分子グラフ生成法である。 望ましい性質を持つ多様な、理想的には新しい分子構造を生成する。
  論文  参考訳（メタデータ） (2024-03-11T21:44:54Z)
• Sculpting Molecules in Text-3D Space: A Flexible Substructure Aware Framework for Text-Oriented Molecular Optimization [10.868749018881115]
  本稿では,多モードガイダンス最適化タスクとして定式化することで,逆設計問題に対処する革新的な手法を提案する。 提案手法は,分子最適化タスク,すなわち3DToMoloの実装のためのテクスチャ構造アライメント対称拡散フレームワークを含む。 3DToMoloは、テキスト記述特徴やグラフ構造特徴などの多彩なモダリティを調和させることを目的としており、この分野の専門家による特定の対称構造とテクスチュラル制約に従う分子構造をシームレスに生成することを目的としている。
  論文  参考訳（メタデータ） (2024-03-06T03:15:25Z)
• Towards 3D Molecule-Text Interpretation in Language Models [125.56693661827181]
  3D-MoLMは、LMに3D分子エンコーダを装着することで、3D分子の解釈と解析を可能にする。 この積分は、3D分子テキストプロジェクターによって達成され、3D分子エンコーダの表現空間とLMの入力空間をブリッジする。 我々は、3D分子中心の命令チューニングデータセット -- 3D-MoITを慎重にキュレートした。
  論文  参考訳（メタデータ） (2024-01-25T03:42:00Z)
• 3D-Mol: A Novel Contrastive Learning Framework for Molecular Property Prediction with 3D Information [1.1777304970289215]
  3D-Molはより正確な空間構造表現のために設計された新しいアプローチである。 分子を3つの階層グラフに分解し、幾何学的情報をよりよく抽出する。 3D-Molと最先端のベースラインを7つのベンチマークで比較し,優れた性能を示す。
  論文  参考訳（メタデータ） (2023-09-28T10:05:37Z)
• Automated 3D Pre-Training for Molecular Property Prediction [54.15788181794094]
  新たな3D事前学習フレームワーク(3D PGT)を提案する。 3D分子グラフのモデルを事前訓練し、3D構造のない分子グラフに微調整する。 提案した3次元PGTの精度, 効率, 一般化能力を示すために, 2次元分子グラフの大規模実験を行った。
  論文  参考訳（メタデータ） (2023-06-13T14:43:13Z)
• Generation of 3D Molecules in Pockets via Language Model [0.0]
  逐次線記法(SMILES)やグラフ表現に基づく分子の生成モデルは、構造に基づく薬物設計の分野への関心が高まっている。 本稿では,言語モデルと幾何学的深層学習技術を組み合わせたポケットベースの3次元分子生成手法であるLingo3DMolを紹介する。
  論文  参考訳（メタデータ） (2023-05-17T11:31:06Z)
• Language models can generate molecules, materials, and protein binding sites directly in three dimensions as XYZ, CIF, and PDB files [0.0]
  言語モデルは分子設計の強力なツールである。 言語モデルが3次元の新規かつ有効な構造を生成する方法を示す。 化学ファイルシーケンスで訓練されているにもかかわらず、言語モデルは最先端のモデルに匹敵するパフォーマンスを保っている。
  論文  参考訳（メタデータ） (2023-05-09T18:35:38Z)
• MUDiff: Unified Diffusion for Complete Molecule Generation [104.7021929437504]
  本稿では,原子の特徴,2次元離散分子構造,および3次元連続分子座標を含む分子の包括的表現を生成する新しいモデルを提案する。 拡散過程を認知するための新しいグラフトランスフォーマーアーキテクチャを提案する。 我々のモデルは、安定で多様な分子を設計するための有望なアプローチであり、分子モデリングの幅広いタスクに適用できる。
  論文  参考訳（メタデータ） (2023-04-28T04:25:57Z)
• An Equivariant Generative Framework for Molecular Graph-Structure Co-Design [54.92529253182004]
  分子グラフ構造アンダーラインCo設計のための機械学習ベースの生成フレームワークであるMollCodeを提案する。 MolCodeでは、3D幾何情報によって分子2Dグラフの生成が促進され、それによって分子3D構造の予測が導かれる。 分子設計における2次元トポロジーと3次元幾何は本質的に相補的な情報を含んでいることが明らかとなった。
  論文  参考訳（メタデータ） (2023-04-12T13:34:22Z)
• Scalable Fragment-Based 3D Molecular Design with Reinforcement Learning [68.8204255655161]
  分子構築に階層的エージェントを用いるスケーラブルな3D設計のための新しいフレームワークを提案する。 様々な実験において、エネルギーのみを考慮に入れたエージェントが、100以上の原子を持つ分子を効率よく生成できることが示されている。
  論文  参考訳（メタデータ） (2022-02-01T18:54:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。