論文の概要: Vision Language Model is NOT All You Need: Augmentation Strategies for Molecule Language Models

• arxiv url: http://arxiv.org/abs/2407.09043v3
• Date: Tue, 23 Jul 2024 07:31:20 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-24 22:04:29.192958
• Title: Vision Language Model is NOT All You Need: Augmentation Strategies for Molecule Language Models
• Title（参考訳）: 視覚言語モデルは必要ではない:分子言語モデルの拡張戦略
• Authors: Namkyeong Lee, Siddhartha Laghuvarapu, Chanyoung Park, Jimeng Sun,
• Abstract要約: そこで本研究では,分子-テキスト対を構造的類似性保持損失で拡張するAMOLEを提案する。 また, 専門知識の少ない分子から, 専門知識の少ない分子へ, 知識を伝達する専門的再構築損失を提案する。
• 参考スコア（独自算出の注目度）: 43.26037039251725
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recently, there has been a growing interest among researchers in understanding molecules and their textual descriptions through molecule language models (MoLM). However, despite some early promising developments, the advancement of MoLM still trails significantly behind that of vision language models (VLM). This is because unique challenges exist apart from VLM in the field of MoLM due to 1) a limited amount of molecule-text paired data and 2) missing expertise that occurred due to the specialized areas of focus among the experts. To this end, we propose AMOLE, which 1) augments molecule-text pairs with structural similarity preserving loss, and 2) transfers the expertise between the molecules. Specifically, AMOLE enriches molecule-text pairs by sharing descriptions among structurally similar molecules with a novel structural similarity preserving loss. Moreover, we propose an expertise reconstruction loss to transfer knowledge from molecules that have extensive expertise to those with less expertise. Extensive experiments on various downstream tasks demonstrate the superiority of AMOLE in comprehending molecules and their descriptions, highlighting its potential for application in real-world drug discovery. The source code for AMOLE is available at https://github.com/Namkyeong/AMOLE.
• Abstract（参考訳）: 近年,分子言語モデル (MoLM) による分子の理解や記述への研究者の関心が高まっている。 しかし、初期の有望な発展にもかかわらず、MoLMの進歩はヴィジュアル言語モデル (VLM) よりもかなり遅れている。 これは、MOLM の分野における VLM とは別個の課題が存在するためである。 1)分子文のペア化データの限られた量と 2)専門家の専門分野による専門知識の欠如。 この目的のために,我々はAMOLEを提案する。 1)構造的類似性保持損失を有する分子文対を増補し、 2) 専門知識を分子間で伝達する。 具体的には、AMOLEは構造的に類似した分子間の記述を新しい構造的類似性保存損失で共有することにより、分子と文のペアを豊かにする。 さらに, 専門知識の少ない分子から, 専門知識の少ない分子へ, 知識を伝達する専門的再構築損失を提案する。 様々な下流タスクに関する大規模な実験は、コンプレッション分子とその記述におけるAMOLEの優位性を示し、現実世界の薬物発見への応用の可能性を強調している。 AMOLEのソースコードはhttps://github.com/Namkyeong/AMOLEで入手できる。

関連論文リスト

• Learning Multi-view Molecular Representations with Structured and Unstructured Knowledge [14.08112359246334]
  本稿では, 化学構造から多視点分子知識を抽出する表現学習モデルMV-Mol, バイオメディカルテキストからの非構造化知識, 知識グラフからの構造化知識について述べる。 MV-Molは分子特性予測に有効であることを示す。
  論文  参考訳（メタデータ） (2024-06-14T08:48:10Z)
• MolX: Enhancing Large Language Models for Molecular Learning with A Multi-Modal Extension [34.586861881519134]
  タスクハンドリング能力の強い大規模言語モデル(LLM)は、様々な分野において顕著な進歩を見せている。 本研究は、分子をマルチモーダルな外部モジュール、すなわちMollXに装備することで、分子の理解能力を高めることを目的とする。 特に,分子の表現にSMILES文字列を直接使用する代わりに,特定のエンコーダを用いて,SMILES文字列と2次元分子グラフ表現の両方から微細な特徴を抽出する。
  論文  参考訳（メタデータ） (2024-06-10T20:25:18Z)
• Leveraging Biomolecule and Natural Language through Multi-Modal Learning: A Survey [75.47055414002571]
  生物分子モデリングと自然言語(BL)の統合は、人工知能、化学、生物学の交差点において有望な学際領域として現れてきた。 生体分子と自然言語の相互モデリングによって達成された最近の進歩について分析する。
  論文  参考訳（メタデータ） (2024-03-03T14:59:47Z)
• Interactive Molecular Discovery with Natural Language [69.89287960545903]
  対象分子を記述・編集するための自然言語を用いた対話型分子設計を提案する。 この課題をより良くするために、実験プロパティ情報を注入することによって強化された知識的で汎用的な生成事前学習モデルChatMolを設計する。
  論文  参考訳（メタデータ） (2023-06-21T02:05:48Z)
• Empowering Molecule Discovery for Molecule-Caption Translation with Large Language Models: A ChatGPT Perspective [53.300288393173204]
  大規模言語モデル(LLM)は、様々なクロスモーダルタスクにおいて顕著なパフォーマンスを示している。 本研究では,分子カプセル翻訳のためのインコンテキストFew-Shot Molecule Learningパラダイムを提案する。 分子理解とテキストベースの分子生成を含む分子キャプション翻訳におけるMollReGPTの有効性を評価する。
  論文  参考訳（メタデータ） (2023-06-11T08:16:25Z)
• MolFM: A Multimodal Molecular Foundation Model [9.934141536012596]
  MolFMは分子構造、バイオメディカルテキスト、知識グラフからの共同表現学習を容易にするために設計された多モード分子基盤モデルである。 我々は,同分子の異なるモジュラリティ間の特徴空間における距離を最小化することにより,我々のクロスモーダル事前学習が局所的および大域的分子知識を捕捉する理論解析を行う。 クロスモーダル検索では、MolFMは既存のモデルよりも12.13%、絶対利得は5.04%、ゼロショットと微調整がそれぞれ優れている。
  論文  参考訳（メタデータ） (2023-06-06T12:45:15Z)
• Multi-modal Molecule Structure-text Model for Text-based Retrieval and Editing [107.49804059269212]
  分子の化学構造とテキスト記述を共同で学習し, マルチモーダルな分子構造テキストモデル, MoleculeSTMを提案する。 実験において、分子STMは、新しい生化学的概念を創出するための最先端の一般化能力を得る。
  論文  参考訳（メタデータ） (2022-12-21T06:18:31Z)
• A Molecular Multimodal Foundation Model Associating Molecule Graphs with Natural Language [63.60376252491507]
  本稿では,分子グラフとその意味的関連テキストデータから事前学習した分子マルチモーダル基礎モデルを提案する。 我々のモデルは、生物学、化学、材料、環境、医学などの分野において、AIを動力とする分野に幅広い影響を与えるだろうと考えています。
  論文  参考訳（メタデータ） (2022-09-12T00:56:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。