論文の概要: Atomistic Language Models Understand and Generate Materials

• arxiv url: http://arxiv.org/abs/2606.21395v1
• Date: Fri, 19 Jun 2026 13:01:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-25 13:42:42.577826
• Title: Atomistic Language Models Understand and Generate Materials
• Title（参考訳）: Atomistic Language Models Understand and Generate Materials
• Authors: Sathya Edamadaka, Krithik Ramesh, Ju Li, Rafael Gómez-Bombarelli,
• Abstract要約: 我々は、ネイティブなマルチモーダリティを追求するために、Atomistic Language Models (ALMs)を導入します。 単一の言語のバックボーンは、原子構造を理解し、自然言語から材料を生成する。 ALMは結晶構造予測とデノボ生成の最先端の結果を得る。
• 参考スコア（独自算出の注目度）: 4.0674327089133175
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Atomistic structure and natural language have long been modeled separately, with language models either calling atomistic models as tools or being fine-tuned on lossy textual encodings that discard atomistic information. We introduce Atomistic Language Models (ALMs) to pursue native multimodality, in which a single language backbone understands atomistic structures, generates materials from natural language, and optimizes crystal structures as instructed by text. By unifying a pretrained atomistic encoder, large language model, and denoising diffusion model through purely continuous projectors and staged training, ALMs achieve state-of-the-art results on crystal structure prediction and de novo generation. ALMs are enabled by a continuous bridge that maps language model embeddings directly into the steering space of atomistic diffusion, and are assisted by Text-to-Crystal Feynman-Kac (T2C-FK), a particle-based sampler that scores partial denoising trajectories to enforce stoichiometric targets at inference time. To evaluate the ability of ALMs to optimize and generate materials from natural-language prompts and 3D atom-coordinate inputs, we introduce ALM Bench, the first benchmark for text-conditioned crystal generation and optimization. Code, training data, and model weights will be released soon.
• Abstract（参考訳）: 原子構造と自然言語は、長い間別々にモデル化されてきたが、言語モデルは、原子モデルをツールとして呼び出すか、または、原子情報を捨てる失われたテキストエンコーディングに基づいて微調整される。 本研究では,原子性言語モデル(ALM)を導入して,単一言語のバックボーンが原子性構造を理解し,自然言語から物質を生成し,結晶構造をテキストで指示されるように最適化する,ネイティブなマルチモーダルを追求する。 純連続プロジェクタとステージドトレーニングにより、事前訓練された原子構造エンコーダ、大規模言語モデル、および拡散モデルを統一することにより、ALMは結晶構造予測およびデノボ生成に関する最先端の結果を得る。 ALMは、言語モデル埋め込みを原子拡散の操舵空間に直接マッピングする連続ブリッジによって実現され、推論時に確率的標的を強制するために偏微分軌道をスコアする粒子ベースのサンプル装置であるText-to-Crystal Feynman-Kac (T2C-FK)によって支援される。 ALMが自然言語のプロンプトと3次元原子座標入力から材料を最適化・生成する能力を評価するために,テキスト条件付き結晶生成と最適化のための最初のベンチマークであるALM Benchを紹介する。 コード、トレーニングデータ、モデルウェイトが近くリリースされる。

関連論文リスト

• Beyond Language Modeling: An Exploration of Multimodal Pretraining [125.34714978184638]
  我々は、制御されたオフスクラッチ事前学習実験を通して経験的明瞭度を提供する。 我々はトランスフュージョン・フレームワークを採用し、言語と視覚の拡散を次々に予測する。 我々は、MoEアーキテクチャが、言語によって要求される高いモデル容量を提供することにより、このスケーリング非対称性を調和させることを実証する。
  論文  参考訳（メタデータ） (2026-03-03T18:58:00Z)
• LLM Meets Diffusion: A Hybrid Framework for Crystal Material Generation [25.009649087291432]
  CrysLLMGenは、LLMと拡散モデルを統合するハイブリッドフレームワークであり、結晶生成にそれらの相補的な強度を利用する。 我々のフレームワークは、いくつかのベンチマークタスクやデータセットで最先端の生成モデルより優れています。
  論文  参考訳（メタデータ） (2025-10-27T06:08:19Z)
• Text to Band Gap: Pre-trained Language Models as Encoders for Semiconductor Band Gap Prediction [9.325818199739759]
  本稿では,半導体材料のバンドギャップを予測するために,RoBERTa,T5,Llama-3,MatSciBERTなどのトランスフォーマーベース言語モデルについて検討する。 入力は、化学組成、結晶系、空間群、その他の構造的および電子的性質などの重要な材料特性を符号化する。
  論文  参考訳（メタデータ） (2025-01-07T00:56:26Z)
• L3GO: Language Agents with Chain-of-3D-Thoughts for Generating Unconventional Objects [53.4874127399702]
  本稿では,3Dメッシュ生成を推論可能な3Dメッシュ生成手法であるL3GO(チェーン・オブ・3D思想)を用いた言語エージェントを提案する。 我々は,新しいベンチマークである Unconventionally Feasible Objects (UFO) と,Blender上に構築されたSimpleBlenv を開発した。 提案手法は,ShapeNet上での3Dメッシュ生成のための標準GPT-4および他の言語エージェントを上回る。
  論文  参考訳（メタデータ） (2024-02-14T09:51:05Z)
• Fine-Tuned Language Models Generate Stable Inorganic Materials as Text [53.81190146434045]
  テキストエンコードされた原子構造データに基づく微調整された大規模言語モデルは、実装が簡単で信頼性が高い。 我々の最強モデルは、CDVAEの約2倍の速度で準安定であると予測された物質を生成することができる。 テキストプロンプト固有の柔軟性のため、我々のモデルは安定物質を無条件に生成するために同時に使用することができる。
  論文  参考訳（メタデータ） (2024-02-06T20:35:28Z)
• On decoder-only architecture for speech-to-text and large language model integration [59.49886892602309]
  Speech-LLaMAは、音声情報をテキストベースの大規模言語モデルに効果的に組み込む新しいアプローチである。 我々は多言語音声からテキストへの翻訳タスクの実験を行い、強いベースラインよりも大幅に改善されたことを示す。
  論文  参考訳（メタデータ） (2023-07-08T06:47:58Z)
• Crystal Transformer: Self-learning neural language model for Generative and Tinkering Design of Materials [4.813020904720316]
  BLMMクリスタルトランス (BLMM Crystal Transformer) は、無機材料の生成およびスティンカー設計のためのニューラルネットワークに基づく確率的生成モデルである。 89.7%の電荷中立度と84.8%の平衡電子陰性度を持つ化学的に有効な材料組成を生成することができる。 ユーザフレンドリーなWebアプリは、計算材料ドーピング用に開発され、urlwww. Materialssatlas.org/blmtinkerで自由にアクセスできる。
  論文  参考訳（メタデータ） (2022-04-25T20:20:26Z)
• Towards Language Modelling in the Speech Domain Using Sub-word Linguistic Units [56.52704348773307]
  音節や音素を含む言語単位に基づくLSTMに基づく新しい生成音声LMを提案する。 限られたデータセットでは、現代の生成モデルで要求されるものよりも桁違いに小さいので、我々のモデルはバブリング音声を近似する。 補助的なテキストLM,マルチタスク学習目標,補助的な調音特徴を用いた訓練の効果を示す。
  論文  参考訳（メタデータ） (2021-10-31T22:48:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。