論文の概要: Omni-Mol: Multitask Molecular Model for Any-to-any Modalities
- arxiv url: http://arxiv.org/abs/2502.01074v3
- Date: Thu, 30 Oct 2025 02:03:05 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-10-31 16:05:09.243653
- Title: Omni-Mol: Multitask Molecular Model for Any-to-any Modalities
- Title（参考訳）: Omni-Mol: あらゆるモダリティのためのマルチタスク分子モデル
- Authors: Chengxin Hu, Hao Li, Yihe Yuan, Zezheng Song, Chenyang Zhao, Haixin Wang,
- Abstract要約: 分子生成と理解の両方をサポートする新しいフレームワークであるOmni-Molを提案する。
提案手法は16のタスクにまたがる統一的な命令チューニングを実現し,13のタスクに対して最先端のパフォーマンスを実現する。
- 参考スコア（独自算出の注目度）: 16.523663755439742
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In the molecular domain, numerous studies have explored the use of multimodal large language models (LLMs) to construct a general-purpose, multi-task molecular model. However, these efforts are still far from achieving a truly universal molecular model. We identify three key challenges in this endeavor: (1) Existing molecular task datasets are typically small in scale and lack comprehensive domain coverage. (2) Tasks from different molecular subfields are difficult to effectively learn jointly through LLMs due to significant distributional shifts and competition among tasks, which introduces instability in the learning process. (3) Both inter-task and intra-task molecular representations demand different intrinsic dimensions in the language space, making it challenging to balance between redundancy and insufficiency in language model representations. To address these challenges, we innovatively categorize existing small-molecule tasks into four types: Mol2Mol, Mol2Text, Mol2Num, and Text2Mol. We then collect a dataset encompassing over 16 tasks with more than 1.4 million samples, making it the largest molecular instruction-tuning dataset to date. Leveraging the extensive pretraining of LLMs on existing chemical literature, we propose a novel multimodal LLM framework, named Omni-Mol, which unifies all small-molecule tasks and supports both molecular generation and understanding. The core of Omni-Mol is our proposed MoGE, which dynamically adapts to the intrinsic rank of different tasks. This mixture-of-experts architecture enhances the model's ability to handle diverse tasks and modalities effectively. Our model achieves unified instruction tuning across 16 tasks and attains state-of-the-art performance on 13 of them. Extensive experiments further demonstrate the scalability and versatility of Omni-Mol.
- Abstract（参考訳）: 分子領域では、汎用的なマルチタスク分子モデルを構築するために、多目的大言語モデル(LLM)の使用について多くの研究がなされている。
しかし、これらの試みは真の普遍的な分子モデルを達成するには程遠い。
1) 既存の分子タスクデータセットは通常、規模が小さく、包括的なドメインカバレッジが欠如している。
2) 異なる分子サブフィールドからのタスクは, 分散の著しい変化と, 学習過程の不安定性をもたらすタスク間の競合により, LLMを通して効果的に学習することが困難である。
3) タスク間分子表現とタスク内分子表現は言語空間において異なる固有次元を必要とするため,言語モデル表現における冗長性と不十分性のバランスが困難である。
これらの課題に対処するため、既存の小分子タスクを革新的にMol2Mol、Mol2Text、Mol2Num、Text2Molの4つのタイプに分類した。
その後、14万以上のサンプルを含む16以上のタスクを含むデータセットを収集し、これまでで最大の分子インストラクションチューニングデータセットとなった。
既存の化学文献に LLM の広範な事前学習を取り入れた,Omni-Mol という新しいマルチモーダル LLM フレームワークを提案し,全ての小分子タスクを統一し,分子生成と理解の両方をサポートする。
Omni-MolのコアとなるMoGEは、異なるタスクの内在的なランクに動的に適応する。
このMix-of-expertsアーキテクチャは、モデルが様々なタスクやモダリティを効果的に扱う能力を高める。
提案手法は16のタスクにまたがる統一的な命令チューニングを実現し,13のタスクに対して最先端のパフォーマンスを実現する。
大規模な実験は、Omni-Molのスケーラビリティと汎用性をさらに実証する。
関連論文リスト
- PharMolixFM: All-Atom Foundation Models for Molecular Modeling and Generation [4.402280157389038]
我々は全原子基盤モデルを構築するための統一フレームワークであるPharMolixFMを提案する。
我々のフレームワークは、最先端のマルチモーダル生成モデルを用いた3つの変種を含む。
PharMolixFM-Diffはタンパク質-小分子ドッキングにおける競合予測精度を実現する。
論文 参考訳（メタデータ） (2025-03-12T12:53:43Z) - MAMMAL -- Molecular Aligned Multi-Modal Architecture and Language [0.4631438140637248]
MAMMALは多タスク基盤モデルの作成に応用された汎用的手法であり、多様なモダリティにわたる大規模生物学的データセットから学習する。
11の下流タスクで評価され、9つのタスクでSOTA(the new state of the art)に到達し、2つのタスクでSOTAに匹敵する。
抗体-抗原およびナノボディ-抗原複合体上でのαfold 3結合予測能について検討し, 4点中3点においてMAMMALの分類性能は有意に向上した。
論文 参考訳（メタデータ） (2024-10-28T20:45:52Z) - Token-Mol 1.0: Tokenized drug design with large language model [10.258299488278514]
Token-Molはトークンのみの3Dドラッグデザインモデルで、2Dや3D構造を含む全ての分子情報をトークンにエンコードする。
トランスデコーダアーキテクチャ上に構築され、ランダム因果マスキング技術を用いて訓練されている。
既存の分子事前学習モデルと比較して、Token-Molはより幅広い下流タスクを扱うのに優れた習熟度を示す。
論文 参考訳（メタデータ） (2024-07-10T07:22:15Z) - UniIF: Unified Molecule Inverse Folding [67.60267592514381]
全分子の逆折り畳みのための統一モデルUniIFを提案する。
提案手法は,全タスクにおける最先端手法を超越した手法である。
論文 参考訳（メタデータ） (2024-05-29T10:26:16Z) - nach0: Multimodal Natural and Chemical Languages Foundation Model [7.815497069231599]
本稿では, 様々な化学的・生物学的課題を解決できる新しい基礎モデルであるnach0を紹介する。
nach0は、科学文献、特許、分子文字列の未ラベルテキストで事前訓練されたマルチドメインおよびマルチタスクエンコーダLLMである。
論文 参考訳（メタデータ） (2023-11-21T07:56:30Z) - Learning Invariant Molecular Representation in Latent Discrete Space [52.13724532622099]
本稿では,分散シフトに対する不変性とロバスト性を示す分子表現を学習するための新しい枠組みを提案する。
我々のモデルは、様々な分布シフトが存在する場合に、最先端のベースラインに対してより強力な一般化を実現する。
論文 参考訳（メタデータ） (2023-10-22T04:06:44Z) - Learning Over Molecular Conformer Ensembles: Datasets and Benchmarks [44.934084652800976]
コンフォーマーアンサンブルを用いた学習の可能性を徹底的に評価するための,最初のMoleculAR Conformer Ensemble Learningベンチマークを導入する。
その結果,コンバータ空間からの直接学習は,様々なタスクやモデルの性能を向上させることができることがわかった。
論文 参考訳（メタデータ） (2023-09-29T20:06:46Z) - Three-Way Trade-Off in Multi-Objective Learning: Optimization,
Generalization and Conflict-Avoidance [47.42067405054353]
MOL(Multi-objective Learning)は、機械学習の新興問題においてしばしば発生する問題である。
MOLにおける重要な課題の1つは、反復最適化プロセスにおける異なる目的間の潜在的な衝突である。
近年,MGDAやその変種など,MOLの動的重み付けアルゴリズムが開発されている。
論文 参考訳（メタデータ） (2023-05-31T17:31:56Z) - Implicit Geometry and Interaction Embeddings Improve Few-Shot Molecular
Property Prediction [53.06671763877109]
我々は, 複雑な分子特性を符号化した分子埋め込みを開発し, 数発の分子特性予測の性能を向上させる。
我々の手法は大量の合成データ、すなわち分子ドッキング計算の結果を利用する。
複数の分子特性予測ベンチマークでは、埋め込み空間からのトレーニングにより、マルチタスク、MAML、プロトタイプラーニング性能が大幅に向上する。
論文 参考訳（メタデータ） (2023-02-04T01:32:40Z) - Efficient Model-Based Multi-Agent Mean-Field Reinforcement Learning [89.31889875864599]
マルチエージェントシステムにおける学習に有効なモデルベース強化学習アルゴリズムを提案する。
我々の理論的な貢献は、MFCのモデルベース強化学習における最初の一般的な後悔の限界である。
コア最適化問題の実用的なパラメトリゼーションを提供する。
論文 参考訳（メタデータ） (2021-07-08T18:01:02Z) - ASGN: An Active Semi-supervised Graph Neural Network for Molecular
Property Prediction [61.33144688400446]
本稿では,ラベル付き分子とラベルなし分子の両方を組み込んだ,アクティブ半教師付きグラフニューラルネットワーク(ASGN)を提案する。
教師モデルでは,分子構造や分子分布から情報を共同で活用する汎用表現を学習するための,新しい半教師付き学習手法を提案する。
最後に,分子多様性の観点から,フレームワーク学習全体を通して情報的データを選択するための新しい能動的学習戦略を提案する。
論文 参考訳（メタデータ） (2020-07-07T04:22:39Z) - Modeling Shared Responses in Neuroimaging Studies through MultiView ICA [94.31804763196116]
被験者の大規模なコホートを含むグループ研究は、脳機能組織に関する一般的な結論を引き出す上で重要である。
グループ研究のための新しい多視点独立成分分析モデルを提案し、各被験者のデータを共有独立音源と雑音の線形結合としてモデル化する。
まず、fMRIデータを用いて、被験者間の共通音源の同定における感度の向上を示す。
論文 参考訳（メタデータ） (2020-06-11T17:29:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。