論文の概要: Towards 3D Molecule-Text Interpretation in Language Models

• arxiv url: http://arxiv.org/abs/2401.13923v2
• Date: Sun, 17 Mar 2024 08:51:45 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-20 02:12:30.842664
• Title: Towards 3D Molecule-Text Interpretation in Language Models
• Title（参考訳）: 言語モデルにおける3次元分子テキスト解釈に向けて
• Authors: Sihang Li, Zhiyuan Liu, Yanchen Luo, Xiang Wang, Xiangnan He, Kenji Kawaguchi, Tat-Seng Chua, Qi Tian,
• Abstract要約: 3D-MoLMは、LMに3D分子エンコーダを装着することで、3D分子の解釈と解析を可能にする。 この積分は、3D分子テキストプロジェクターによって達成され、3D分子エンコーダの表現空間とLMの入力空間をブリッジする。 我々は、3D分子中心の命令チューニングデータセット -- 3D-MoITを慎重にキュレートした。
• 参考スコア（独自算出の注目度）: 125.56693661827181
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Language Models (LMs) have greatly influenced diverse domains. However, their inherent limitation in comprehending 3D molecular structures has considerably constrained their potential in the biomolecular domain. To bridge this gap, we focus on 3D molecule-text interpretation, and propose 3D-MoLM: 3D-Molecular Language Modeling. Specifically, 3D-MoLM enables an LM to interpret and analyze 3D molecules by equipping the LM with a 3D molecular encoder. This integration is achieved by a 3D molecule-text projector, bridging the 3D molecular encoder's representation space and the LM's input space. Moreover, to enhance 3D-MoLM's ability of cross-modal molecular understanding and instruction following, we meticulously curated a 3D molecule-centric instruction tuning dataset -- 3D-MoIT. Through 3D molecule-text alignment and 3D molecule-centric instruction tuning, 3D-MoLM establishes an integration of 3D molecular encoder and LM. It significantly surpasses existing baselines on downstream tasks, including molecule-text retrieval, molecule captioning, and more challenging open-text molecular QA tasks, especially focusing on 3D-dependent properties. We release our codes and datasets at https://github.com/lsh0520/3D-MoLM.
• Abstract（参考訳）: 言語モデル(LM)は多様なドメインに大きな影響を与えている。 しかし、3D分子構造を解釈する際の固有の制限は、生体分子領域におけるそのポテンシャルを著しく制限している。 このギャップを埋めるために、3次元分子文の解釈に注目し、3次元分子言語モデリング(3D-MoLM: 3D-Molecular Language Modeling)を提案する。 具体的には、3D-MoLMは、LMに3D分子エンコーダを装着することにより、3D分子の解釈と解析を可能にする。 この積分は、3D分子テキストプロジェクターによって達成され、3D分子エンコーダの表現空間とLMの入力空間をブリッジする。 さらに, 3D-MoLMの分子間理解とその後の指示能力を高めるために, 3D分子中心の命令チューニングデータセット -- 3D-MoITを精巧にキュレートした。 3D分子テキストアライメントと3D分子中心の命令チューニングを通じて、3D-MoLMは3D分子エンコーダとLMの統合を確立する。 これは、分子文検索、分子キャプション、そしてより困難なオープンテキスト分子QAタスク、特に3D依存性に焦点を当てた、下流タスクの既存のベースラインを大幅に上回っている。 コードとデータセットはhttps://github.com/lsh0520/3D-MoLM.comで公開しています。

関連論文リスト

• NExT-Mol: 3D Diffusion Meets 1D Language Modeling for 3D Molecule Generation [72.22099363325145]
  NExT-Mol: 3D Diffusion Meets 1D Language Modeling for 3D Molecule Generationを提案する。 NExT-Molは1D分子生成のために広範囲に事前訓練された分子LMを使用し、その後、生成された分子の3Dコンホメータを予測する。 我々は,NExT-Molの性能を向上させるために,LMのモデルサイズをスケールアップし,拡散ニューラルアーキテクチャを改良し,三次元トランスファー学習に1Dを適用した。
  論文  参考訳（メタデータ） (2025-02-18T08:40:13Z)
• 3UR-LLM: An End-to-End Multimodal Large Language Model for 3D Scene Understanding [49.15555885075644]
  オープンソースの2D MLLMとLCMをベースとしたパイプラインを開発し,高品質な3Dテキストペアを生成する。 本稿では,3次元シーンの正確な解釈を目的としたエンドツーエンド3次元MLLMである3UR-LLMモデルを紹介する。
  論文  参考訳（メタデータ） (2025-01-14T03:50:23Z)
• 3D-MolT5: Towards Unified 3D Molecule-Text Modeling with 3D Molecular Tokenization [41.07090635630771]
  3D-MolT5は1次元分子配列と3次元分子構造の両方をモデル化する統合されたフレームワークである。 鍵となる革新は、細粒度の3次元部分構造表現を特別な3次元トークン語彙にマッピングする方法論にある。 提案した3D-MolT5は,分子特性予測,分子キャプション,テキストベースの分子生成タスクにおいて,既存の手法よりも優れた性能を示す。
  論文  参考訳（メタデータ） (2024-06-09T14:20:55Z)
• VP-LLM: Text-Driven 3D Volume Completion with Large Language Models through Patchification [56.211321810408194]
  大規模言語モデル(LLM)はマルチモーダル理解および生成タスクにおいて大きな可能性を示している。 本稿では,LLMを利用して条件付き3D補完を行うVolume Patch LLM(VP-LLM)を提案する。 以上の結果から,LLMが複雑なテキスト命令を解釈し,3Dオブジェクトを理解する能力は,最先端の拡散に基づく3Dコンプリートモデルに勝るものであることが示唆された。
  論文  参考訳（メタデータ） (2024-06-08T18:17:09Z)
• 3M-Diffusion: Latent Multi-Modal Diffusion for Language-Guided Molecular Structure Generation [18.55127917150268]
  3M拡散は、新しいマルチモーダルな分子グラフ生成法である。 望ましい性質を持つ多様な、理想的には新しい分子構造を生成する。
  論文  参考訳（メタデータ） (2024-03-11T21:44:54Z)
• 3D-Mol: A Novel Contrastive Learning Framework for Molecular Property Prediction with 3D Information [1.1777304970289215]
  3D-Molはより正確な空間構造表現のために設計された新しいアプローチである。 分子を3つの階層グラフに分解し、幾何学的情報をよりよく抽出する。 3D-Molと最先端のベースラインを7つのベンチマークで比較し,優れた性能を示す。
  論文  参考訳（メタデータ） (2023-09-28T10:05:37Z)
• 3D-LLM: Injecting the 3D World into Large Language Models [60.43823088804661]
  大規模言語モデル (LLM) と視覚言語モデル (VLM) は、常識推論のような複数のタスクで優れていることが証明されている。 本稿では,大規模言語モデルに3Dワールドを注入し,新しい3D-LLMのファミリーを導入することを提案する。 具体的には、3D-LLMは3Dポイントクラウドとその機能を入力として取り込んで、さまざまな3D関連タスクを実行することができる。
  論文  参考訳（メタデータ） (2023-07-24T17:59:02Z)
• 3D-Transformer: Molecular Representation with Transformer in 3D Space [11.947499562836953]
  3Dトランスフォーマー(3D-Transformer)は、3D空間情報を組み込んだ分子表現用トランスフォーマーの変種である。 本実験は, 結晶特性予測タスクとタンパク質-リガンド結合親和性予測タスクにおいて, 最先端モデルに対して有意な改善が認められた。
  論文  参考訳（メタデータ） (2021-10-04T05:11:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。