論文の概要: Exploring Optimal Transport-Based Multi-Grained Alignments for Text-Molecule Retrieval
- arxiv url: http://arxiv.org/abs/2411.11875v1
- Date: Mon, 04 Nov 2024 06:30:52 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-11-24 05:33:20.229080
- Title: Exploring Optimal Transport-Based Multi-Grained Alignments for Text-Molecule Retrieval
- Title（参考訳）: テキスト・分子検索のための最適輸送ベース多点アライメントの探索
- Authors: Zijun Min, Bingshuai Liu, Liang Zhang, Jia Song, Jinsong Su, Song He, Xiaochen Bo,
- Abstract要約: 最適TRansportに基づく多粒度アライメントモデル(ORMA)を導入する。
ORMAは、テキスト記述と分子間の多義的なアライメントを促進する新しいアプローチである。
ChEBI-20データセットとPCdesデータセットの実験結果から、ORMAが既存のSOTA(State-of-the-art)モデルを大幅に上回っていることが示されている。
- 参考スコア（独自算出の注目度）: 24.061535843472427
- License:
- Abstract: The field of bioinformatics has seen significant progress, making the cross-modal text-molecule retrieval task increasingly vital. This task focuses on accurately retrieving molecule structures based on textual descriptions, by effectively aligning textual descriptions and molecules to assist researchers in identifying suitable molecular candidates. However, many existing approaches overlook the details inherent in molecule sub-structures. In this work, we introduce the Optimal TRansport-based Multi-grained Alignments model (ORMA), a novel approach that facilitates multi-grained alignments between textual descriptions and molecules. Our model features a text encoder and a molecule encoder. The text encoder processes textual descriptions to generate both token-level and sentence-level representations, while molecules are modeled as hierarchical heterogeneous graphs, encompassing atom, motif, and molecule nodes to extract representations at these three levels. A key innovation in ORMA is the application of Optimal Transport (OT) to align tokens with motifs, creating multi-token representations that integrate multiple token alignments with their corresponding motifs. Additionally, we employ contrastive learning to refine cross-modal alignments at three distinct scales: token-atom, multitoken-motif, and sentence-molecule, ensuring that the similarities between correctly matched text-molecule pairs are maximized while those of unmatched pairs are minimized. To our knowledge, this is the first attempt to explore alignments at both the motif and multi-token levels. Experimental results on the ChEBI-20 and PCdes datasets demonstrate that ORMA significantly outperforms existing state-of-the-art (SOTA) models.
- Abstract（参考訳）: バイオインフォマティクスの分野は大きな進歩を遂げ、クロスモーダルなテキスト・分子検索タスクがますます重要になっている。
この課題は、テキスト記述に基づく分子構造を正確に検索することに焦点を当て、テキスト記述と分子を効果的に整列させ、研究者が適切な分子候補を特定するのを助ける。
しかし、既存の多くのアプローチは分子のサブ構造に固有の詳細を見落としている。
本稿では,テキスト記述と分子間の多粒性アライメントを促進する新しいアプローチである,最適TRansportに基づく多粒性アライメントモデル(ORMA)を提案する。
本モデルでは,テキストエンコーダと分子エンコーダを特徴とする。
テキストエンコーダはテキスト記述を処理してトークンレベルと文レベルの両方の表現を生成し、一方分子は階層的な不均一なグラフとしてモデル化され、原子、モチーフ、分子ノードを含み、これらの3つのレベルで表現を抽出する。
ORMAにおける重要なイノベーションは、トークンをモチーフと整合させるためのOT(Optimal Transport)の適用であり、複数のトークンアライメントを対応するモチーフと統合するマルチトークン表現を生成する。
さらに、トークン原子、マルチトケンモチーフ、文分子の3つの異なるスケールで相互モーダルアライメントを洗練するために、対照的な学習を採用し、一致しないペアのペアを最小化しながら、正しく一致したテキスト分子ペア間の類似性を最大化する。
私たちの知る限り、これはモチーフレベルとマルチトークンレベルのアライメントを探求する最初の試みです。
ChEBI-20データセットとPCdesデータセットの実験結果から、ORMAが既存のSOTA(State-of-the-art)モデルを大幅に上回っていることが示されている。
関連論文リスト
- FineMolTex: Towards Fine-grained Molecular Graph-Text Pre-training [36.130217091969335]
FineMolTexは、粗い分子レベルの知識ときめ細かいモチーフレベルの知識を共同で学習する、分子グラフ-テキスト事前学習フレームワークである。
我々は3つの下流タスクに対して実験を行い、テキストベースの分子編集タスクにおいて最大230%の改善を実現した。
論文 参考訳（メタデータ） (2024-09-21T11:19:15Z) - UniMoT: Unified Molecule-Text Language Model with Discrete Token Representation [35.51027934845928]
トークン化アーキテクチャを採用した統一分子テキストLLMであるUniMoTを紹介する。
ベクトル量子化駆動型トークン化器は、分子を因果依存性を持つ分子トークンの配列に変換する。
UniMoTは、分子間テキストとテキスト間タスクの両方を実行するマルチモーダル・ジェネラリストとして登場した。
論文 参考訳（メタデータ） (2024-08-01T18:31:31Z) - Adapting Differential Molecular Representation with Hierarchical Prompts for Multi-label Property Prediction [2.344198904343022]
HiPMは階層的に誘導される分子表現学習フレームワークである。
私たちのフレームワークは、分子表現(MRE)とタスク認識プロンプタ(TAP)の2つのコアコンポーネントで構成されています。
論文 参考訳（メタデータ） (2024-05-29T03:10:21Z) - Data-Efficient Molecular Generation with Hierarchical Textual Inversion [48.816943690420224]
分子生成のための階層型テキスト変換法 (HI-Mol) を提案する。
HI-Molは分子分布を理解する上での階層的情報、例えば粗い特徴ときめ細かい特徴の重要性にインスパイアされている。
単一レベルトークン埋め込みを用いた画像領域の従来のテキストインバージョン法と比較して, マルチレベルトークン埋め込みにより, 基礎となる低ショット分子分布を効果的に学習することができる。
論文 参考訳（メタデータ） (2024-05-05T08:35:23Z) - Atomas: Hierarchical Alignment on Molecule-Text for Unified Molecule Understanding and Generation [42.08917809689811]
SMILES文字列とテキストから表現を共同学習するマルチモーダルな分子表現学習フレームワークAtomasを提案する。
検索タスクでは、Atomasは堅牢な一般化能力を示し、ベースラインを平均30.8%上回っている。
生成タスクでは、Atomasは分子キャプションタスクと分子生成タスクの両方で最先端の結果を達成する。
論文 参考訳（メタデータ） (2024-04-23T12:35:44Z) - Leveraging Biomolecule and Natural Language through Multi-Modal
Learning: A Survey [75.47055414002571]
生物分子モデリングと自然言語(BL)の統合は、人工知能、化学、生物学の交差点において有望な学際領域として現れてきた。
生体分子と自然言語の相互モデリングによって達成された最近の進歩について分析する。
論文 参考訳（メタデータ） (2024-03-03T14:59:47Z) - MolCA: Molecular Graph-Language Modeling with Cross-Modal Projector and
Uni-Modal Adapter [91.77292826067465]
言語モデル(LM)は、様々な1Dテキスト関連タスクにおいて、印象的な分子理解能力を示す。
しかし、それらは本質的に2次元グラフの認識を欠いている。
クロスモーダルプロジェクタとユニモーダルアダプタを用いた分子グラフ言語モデリング(MolCA: Molecular Graph-Language Modeling)を提案する。
論文 参考訳（メタデータ） (2023-10-19T14:52:58Z) - Multi-modal Molecule Structure-text Model for Text-based Retrieval and
Editing [107.49804059269212]
分子の化学構造とテキスト記述を共同で学習し, マルチモーダルな分子構造テキストモデル, MoleculeSTMを提案する。
実験において、分子STMは、新しい生化学的概念を創出するための最先端の一般化能力を得る。
論文 参考訳（メタデータ） (2022-12-21T06:18:31Z) - A Molecular Multimodal Foundation Model Associating Molecule Graphs with
Natural Language [63.60376252491507]
本稿では,分子グラフとその意味的関連テキストデータから事前学習した分子マルチモーダル基礎モデルを提案する。
我々のモデルは、生物学、化学、材料、環境、医学などの分野において、AIを動力とする分野に幅広い影響を与えるだろうと考えています。
論文 参考訳（メタデータ） (2022-09-12T00:56:57Z) - Translation between Molecules and Natural Language [43.518805086280466]
本稿では,未ラベルの自然言語テキストや分子文字列の事前学習のための自己教師型学習フレームワークを提案する。
$textbfMolT5$は、分子キャプションやテキストベースのdenovo分子生成など、従来の視覚言語タスクの新しい、有用な、挑戦的なアナログを可能にする。
論文 参考訳（メタデータ） (2022-04-25T17:48:09Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。