論文の概要: Enhancing Spatial Reasoning in Large Language Models for Metal-Organic Frameworks Structure Prediction
- arxiv url: http://arxiv.org/abs/2601.09285v1
- Date: Wed, 14 Jan 2026 08:45:07 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-01-15 18:59:20.338483
- Title: Enhancing Spatial Reasoning in Large Language Models for Metal-Organic Frameworks Structure Prediction
- Title(参考訳): 金属-有機フレームワーク構造予測のための大規模言語モデルにおける空間推論の強化
- Authors: Mianzhi Pan, JianFei Li, Peishuo Liu, Botian Wang, Yawen Ouyang, Yiming Rong, Hao Zhou, Jianbing Zhang,
- Abstract要約: 大型言語モデル (LLM) は結晶生成において有望であるが、MOFへの応用はMOFの高原子量化によって妨げられている。
ブロックレベルのMOF構造予測に特化して適応した最初のLLMフレームワークであるMOF-LLMを紹介する。
提案手法は,正確なMOF構造予測のためのQwen-38Bモデルの空間推論能力を大幅に向上させる。
- 参考スコア(独自算出の注目度): 12.040331998543069
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Metal-organic frameworks (MOFs) are porous crystalline materials with broad applications such as carbon capture and drug delivery, yet accurately predicting their 3D structures remains a significant challenge. While Large Language Models (LLMs) have shown promise in generating crystals, their application to MOFs is hindered by MOFs' high atomic complexity. Inspired by the success of block-wise paradigms in deep generative models, we pioneer the use of LLMs in this domain by introducing MOF-LLM, the first LLM framework specifically adapted for block-level MOF structure prediction. To effectively harness LLMs for this modular assembly task, our training paradigm integrates spatial-aware continual pre-training (CPT), structural supervised fine-tuning (SFT), and matching-driven reinforcement learning (RL). By incorporating explicit spatial priors and optimizing structural stability via Soft Adaptive Policy Optimization (SAPO), our approach substantially enhances the spatial reasoning capability of a Qwen-3 8B model for accurate MOF structure prediction. Comprehensive experiments demonstrate that MOF-LLM outperforms state-of-the-art denoising-based and LLM-based methods while exhibiting superior sampling efficiency.
- Abstract(参考訳): 金属-有機フレームワーク(MOF)は炭素捕獲やドラッグデリバリーといった幅広い用途を持つ多孔質結晶材料であるが、3D構造を正確に予測することは依然として重要な課題である。
大型言語モデル (LLM) は結晶生成において有望であるが、MOF への応用はMOF の高原子量化によって妨げられている。
深部生成モデルにおけるブロックワイドパラダイムの成功に触発されて、ブロックレベルMOF構造予測に特化して適応した最初のLLMフレームワークであるMOF-LLMを導入することにより、この領域におけるLCMの利用を開拓した。
このモジュール組立作業にLLMを効果的に活用するために、我々の訓練パラダイムは、空間認識型連続事前学習(CPT)、構造制御型微調整(SFT)、マッチング駆動型強化学習(RL)を統合する。
空間的事前条件を組み込んで,ソフト適応ポリシー最適化(SAPO)による構造安定性を最適化することにより,正確なMOF構造予測のためのQwen-38Bモデルの空間的推論能力を大幅に向上させる。
総合的な実験により、MOF-LLMは、より優れたサンプリング効率を示しながら、最先端のデノナイジング法およびLCM法よりも優れた性能を示すことが示された。
関連論文リスト
- From Building Blocks to Planning: Multi-Step Spatial Reasoning in LLMs with Reinforcement Learning [10.98910502098502]
空間的推論を原子構造ブロックとその構成に分解する2段階の手法を提案する。
まず, モデルに基本空間物理学を組み込むために, 回転, 翻訳, スケーリングなどの基本空間変換の教師付き微調整を適用する。
次に、この物理認識モデルを凍結し、GRPOフレームワーク内で軽量のLoRAアダプタを訓練し、これらのビルディングブロックを構成するポリシーを学習し、マルチステッププランニングする。
論文 参考訳(メタデータ) (2025-12-31T00:36:03Z) - Efficient Training of Diffusion Mixture-of-Experts Models: A Practical Recipe [51.26601054313749]
Diffusion MoEモデルに対する最近の取り組みは、主により洗練されたルーティングメカニズムの開発に焦点を当てている。
大規模言語モデル(LLM)で確立されたMoE設計パラダイムに着想を得て,効率的な拡散MoEモデルを構築する上で重要なアーキテクチャ要素のセットを特定する。
本稿では,潜在空間拡散フレームワークと画素空間拡散フレームワークの両方に効率よく適用可能な新しいアーキテクチャを提案する。
論文 参考訳(メタデータ) (2025-12-01T03:52:31Z) - Speed Always Wins: A Survey on Efficient Architectures for Large Language Models [51.817121227562964]
大規模言語モデル(LLM)は、言語理解、生成、推論、マルチモーダルモデルの能力境界の押し付けにおいて、素晴らしい結果をもたらしている。
トランスフォーマーモデルは、現代のLLMの基礎として、優れたスケーリング特性を備えた強力なベースラインを提供する。
従来のトランスフォーマーアーキテクチャは、相当な計算を必要とし、大規模なトレーニングと実践的なデプロイメントに重大な障害を生じさせる。
論文 参考訳(メタデータ) (2025-08-13T14:13:46Z) - MOFGPT: Generative Design of Metal-Organic Frameworks using Language Models [5.417632175667162]
応用固有の性質を持つ金属有機フレームワーク(MOF)は、材料化学における中心的な課題である。
我々はMOFのデノボ設計のための強化学習型トランスフォーマーベースのフレームワークを提案する。
特性フィードバックをシーケンス生成に統合することにより、このモデルを合成可能でトポロジカルに有効なMOFに向けて駆動する。
論文 参考訳(メタデータ) (2025-05-30T20:09:11Z) - Leveraging Importance Sampling to Detach Alignment Modules from Large Language Models [48.15777554876988]
伝統的なアライメント手法では、しばしば大きな事前訓練されたモデルを再訓練する必要がある。
本稿では,アライメント処理を重要サンプリングの一種として形式化する新しいtextitResidual Alignment Model (textitRAM) を提案する。
本稿では,トークンレベルの復号化を反復的に行う再サンプリングアルゴリズムを開発した。
論文 参考訳(メタデータ) (2025-05-26T08:53:02Z) - Elucidating the Design Space of Multimodal Protein Language Models [69.3650883370033]
マルチモーダルタンパク質言語モデル(PLM)は、シーケンスとトークンに基づく構造情報を統合する。
本稿では,マルチモーダルPLMの設計空間を体系的に解明し,その限界を克服する。
我々の進歩はよりきめ細かな監督にアプローチし、トークンベースのマルチモーダルPLMが堅牢な構造モデリングを実現することを実証する。
論文 参考訳(メタデータ) (2025-04-15T17:59:43Z) - MOFFlow: Flow Matching for Structure Prediction of Metal-Organic Frameworks [42.61784133509237]
金属-有機フレームワーク(英: Metal-organic framework、MOF)は、炭素捕獲や薬物の放出といった多くの分野で有望な応用を持つ結晶材料のクラスである。
ab initio計算や深い生成モデルを含む既存のアプローチは、単位セル内の多くの原子のためにMOF構造が複雑になるのに苦労している。
我々はMOF構造予測に適した最初の深部生成モデルMOFFlowを紹介する。
論文 参考訳(メタデータ) (2024-10-07T13:51:58Z) - Configurable Foundation Models: Building LLMs from a Modular Perspective [115.63847606634268]
LLMを多数の機能モジュールに分解する傾向が高まり、複雑なタスクに取り組むためにモジュールの一部とモジュールの動的アセンブリを推論することができる。
各機能モジュールを表すブロックという用語を造語し、モジュール化された構造をカスタマイズ可能な基礎モデルとして定義する。
検索とルーティング,マージ,更新,成長という,レンガ指向の4つの操作を提示する。
FFN層はニューロンの機能的特殊化と機能的ニューロン分割を伴うモジュラーパターンに従うことが判明した。
論文 参考訳(メタデータ) (2024-09-04T17:01:02Z) - MOFormer: Self-Supervised Transformer model for Metal-Organic Framework
Property Prediction [7.367477168940467]
金属有機フレームワーク(英: Metal-Organic Frameworks、MOFs)は、エネルギー貯蔵、脱塩、ガス貯蔵、ガス分離などの用途に使用できる多孔質材料である。
特定のアプリケーションに最適なMOFを見つけるには、膨大な数の候補を効率よく正確に探索する必要がある。
そこで本研究では,MOFの特性予測のために,MOFormerと呼ばれるトランスフォーマーモデルに基づく構造に依存しないディープラーニング手法を提案する。
論文 参考訳(メタデータ) (2022-10-25T17:29:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。