論文の概要: Towards 3D Molecule-Text Interpretation in Language Models
- arxiv url: http://arxiv.org/abs/2401.13923v1
- Date: Thu, 25 Jan 2024 03:42:00 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-26 15:45:36.107903
- Title: Towards 3D Molecule-Text Interpretation in Language Models
- Title(参考訳): 言語モデルにおける3次元分子テキスト解釈に向けて
- Authors: Sihang Li, Zhiyuan Liu, Yanchen Luo, Xiang Wang, Xiangnan He, Kenji
Kawaguchi, Tat-Seng Chua, Qi Tian
- Abstract要約: 3D-MoLMは、LMに3D分子エンコーダを装着することで、3D分子の解釈と解析を可能にする。
この積分は、3D分子テキストプロジェクターによって達成され、3D分子エンコーダの表現空間とLMの入力空間をブリッジする。
我々は、3D分子中心の命令チューニングデータセット -- 3D-MoITを慎重にキュレートした。
- 参考スコア(独自算出の注目度): 130.97513046458624
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Language Models (LMs) have greatly influenced diverse domains. However, their
inherent limitation in comprehending 3D molecular structures has considerably
constrained their potential in the biomolecular domain. To bridge this gap, we
focus on 3D molecule-text interpretation, and propose 3D-MoLM: 3D-Molecular
Language Modeling. Specifically, 3D-MoLM enables an LM to interpret and analyze
3D molecules by equipping the LM with a 3D molecular encoder. This integration
is achieved by a 3D molecule-text projector, bridging the 3D molecular
encoder's representation space and the LM's input space. Moreover, to enhance
3D-MoLM's ability of cross-modal molecular understanding and instruction
following, we meticulously curated a 3D molecule-centric instruction tuning
dataset -- 3D-MoIT. Through 3D molecule-text alignment and 3D molecule-centric
instruction tuning, 3D-MoLM establishes an integration of 3D molecular encoder
and LM. It significantly surpasses existing baselines on downstream tasks,
including molecule-text retrieval, molecule captioning, and more challenging
open-text molecular QA tasks, especially focusing on 3D-dependent properties.
- Abstract(参考訳): 言語モデル(LM)は多様なドメインに大きな影響を与えている。
しかし、3D分子構造を解釈する際の固有の制限は、生体分子領域におけるそのポテンシャルを著しく制限している。
このギャップを埋めるため,我々は3d分子テキスト解釈に着目し,3d-molm:3d分子言語モデリングを提案する。
具体的には、3D-MoLMは、LMに3D分子エンコーダを装着することにより、3D分子の解釈と解析を可能にする。
この統合は3d分子テキストプロジェクタによって実現され、3d分子エンコーダの表現空間とlmの入力空間を橋渡しする。
さらに, 3D-MoLMの分子間理解とその後の指示能力を高めるために, 3D分子中心の命令チューニングデータセット -- 3D-MoITを精巧にキュレートした。
3D分子テキストアライメントと3D分子中心の命令チューニングを通じて、3D-MoLMは3D分子エンコーダとLMの統合を確立する。
これは、分子文検索、分子キャプション、そしてより困難なオープンテキスト分子QAタスク、特に3D依存性に焦点を当てた、下流タスクの既存のベースラインを大幅に上回っている。
関連論文リスト
- 3M-Diffusion: Latent Multi-Modal Diffusion for Text-Guided Generation of
Molecular Graphs [20.84977867473101]
本稿では,新しい分子グラフ生成法である3M-Diffusionを提案する。
本稿では,3M-Diffusionが提供したテキスト記述にセマンティックに適合する高品質で斬新で多様な分子グラフを生成できることを示す。
論文 参考訳(メタデータ) (2024-03-11T21:44:54Z) - 3DMIT: 3D Multi-modal Instruction Tuning for Scene Understanding [12.823274886850697]
我々は3DMITという新しい高速なプロンプトチューニングパラダイムを導入する。
このパラダイムは、3Dシーンと言語間のアライメントステージを排除し、命令プロンプトを3Dモダリティ情報で拡張する。
本研究では,3次元シーン領域における多様なタスクにまたがる手法の有効性を評価する。
論文 参考訳(メタデータ) (2024-01-06T12:20:18Z) - MolCA: Molecular Graph-Language Modeling with Cross-Modal Projector and
Uni-Modal Adapter [91.77292826067465]
言語モデル(LM)は、様々な1Dテキスト関連タスクにおいて、印象的な分子理解能力を示す。
しかし、それらは本質的に2次元グラフの認識を欠いている。
クロスモーダルプロジェクタとユニモーダルアダプタを用いた分子グラフ言語モデリング(MolCA: Molecular Graph-Language Modeling)を提案する。
論文 参考訳(メタデータ) (2023-10-19T14:52:58Z) - 3D-Mol: A Novel Contrastive Learning Framework for Molecular Property
Prediction with 3D Information [1.3236510525513767]
3D-Molはより正確な空間構造表現のために設計された新しいアプローチである。
分子を3つの階層グラフに分解し、幾何学的情報をよりよく抽出する。
3D-Molと最先端のベースラインを7つのベンチマークで比較し,優れた性能を示す。
論文 参考訳(メタデータ) (2023-09-28T10:05:37Z) - 3D-LLM: Injecting the 3D World into Large Language Models [60.43823088804661]
大規模言語モデル (LLM) と視覚言語モデル (VLM) は、常識推論のような複数のタスクで優れていることが証明されている。
本稿では,大規模言語モデルに3Dワールドを注入し,新しい3D-LLMのファミリーを導入することを提案する。
具体的には、3D-LLMは3Dポイントクラウドとその機能を入力として取り込んで、さまざまな3D関連タスクを実行することができる。
論文 参考訳(メタデータ) (2023-07-24T17:59:02Z) - MUDiff: Unified Diffusion for Complete Molecule Generation [104.7021929437504]
本稿では,原子の特徴,2次元離散分子構造,および3次元連続分子座標を含む分子の包括的表現を生成する新しいモデルを提案する。
拡散過程を認知するための新しいグラフトランスフォーマーアーキテクチャを提案する。
我々のモデルは、安定で多様な分子を設計するための有望なアプローチであり、分子モデリングの幅広いタスクに適用できる。
論文 参考訳(メタデータ) (2023-04-28T04:25:57Z) - One Transformer Can Understand Both 2D & 3D Molecular Data [94.93514673086631]
我々はTransformer-Mと呼ばれる新しい分子モデルを開発した。
入力として2Dまたは3Dフォーマットの分子データを取り込み、意味のある意味表現を生成する。
実験の結果,Transformer-Mは2次元および3次元のタスクで高い性能を同時に達成できることがわかった。
論文 参考訳(メタデータ) (2022-10-04T17:30:31Z) - Scalable Fragment-Based 3D Molecular Design with Reinforcement Learning [68.8204255655161]
分子構築に階層的エージェントを用いるスケーラブルな3D設計のための新しいフレームワークを提案する。
様々な実験において、エネルギーのみを考慮に入れたエージェントが、100以上の原子を持つ分子を効率よく生成できることが示されている。
論文 参考訳(メタデータ) (2022-02-01T18:54:24Z) - 3D-Transformer: Molecular Representation with Transformer in 3D Space [11.947499562836953]
3Dトランスフォーマー(3D-Transformer)は、3D空間情報を組み込んだ分子表現用トランスフォーマーの変種である。
本実験は, 結晶特性予測タスクとタンパク質-リガンド結合親和性予測タスクにおいて, 最先端モデルに対して有意な改善が認められた。
論文 参考訳(メタデータ) (2021-10-04T05:11:23Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。