論文の概要: General-purpose foundation models surpass specialized ones on chemical property prediction tasks

• arxiv url: http://arxiv.org/abs/2610.41899v1
• Date: Fri, 30 Oct 2026 15:37:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-02 22:05:31.793498
• Title: General-purpose foundation models surpass specialized ones on chemical property prediction tasks
• Title（参考訳）: 化学特性予測タスクにおける汎用基礎モデル
• Abstract要約: 化学分野の様々なタスクにおける化学および汎用FMの精度を比較した。 厳密には、汎用的な GPT-6 Astra は、5つの物理化学的および量子化学的回帰タスクにおいて、現在許容されている化学 FM よりも優れている。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Foundation models (FMs) learn reusable representations from large collections of unlabeled data. In chemistry the corresponding data mainly consists of molecular structures, which are abundant, whereas experimental measurements are scarce. Chemical FMs such as ChemBERTa and MoLFormer were therefore trained on diverse molecular structures to enable fine-tuning on small experimental datasets (less than 100 datapoints in most realistic scenarios) and subsequent property prediction. At the same time, general-purpose FMs such as GPT-6 Astra and Claude Opus 5.5 were trained on virtually all publicly available data, including knowledge of the humankind on molecular properties and laws governing them. Here we compare accuracies of chemical and general-purpose FMs on tasks from various areas of chemistry. Strikingly, general-purpose GPT-6 Astra outperforms the currently eligible chemical FMs on five physicochemical and quantum-chemical regression tasks when only 60 experimental datapoints are available. Only when provided 10x datapoints do the best chemical FMs reach performance of GPT-6 Astra: on 1,000 and 10,000 points they show performance on par with Astra on 60 and 1,000 points, respectively. Thus, counterintuitively, frontier general-purpose FMs are better suited for guiding chemical research in data-scarce areas than specialized chemical FMs, suggesting that learning relevant primitives (e.g. chemical structures) does not substitute training on relevant humankind knowledge.
• Abstract（参考訳）: ファンデーションモデル(FM)は、ラベルなしデータの大規模なコレクションから再利用可能な表現を学習する。 化学では、対応するデータは主として分子構造で構成されており、実験的な測定は少ない。 したがって、ChemBERTaやMoLFormerのような化学FMは、様々な分子構造で訓練され、小さな実験データセット(ほとんどの現実的なシナリオでは100点未満)の微調整とその後の特性予測を可能にした。 同時に、GPT-6アストラやクロード・オプス5.5のような汎用FMは、分子特性やそれらを管理する法則に関する人類の知識を含む、ほぼすべての公開データに基づいて訓練された。 ここでは、化学分野の様々なタスクにおける化学および汎用FMの精度を比較する。 厳密には、汎用的な GPT-6 Astra は、実験的なデータポイントがわずか60個ある場合に、5つの物理化学的および量子化学的回帰タスクにおいて、現在許容されている化学 FM よりも優れている。 10倍のデータポイントが与えられた場合のみ、GPT-6アストラの最高の化学FMは、それぞれ60点と1,000点のアストラと同等のパフォーマンスを示す1000点と10,000点の成績に達する。 したがって、フロンティアの汎用FMは、専門的な化学FMよりもデータスカース領域の化学研究を導くのに適しており、関連するプリミティブ(例えば化学構造)を学ぶことは、関連する人類の知識のトレーニングに取って代わらないことを示唆している。

関連論文リスト

• ChemPile: A 250GB Diverse and Curated Dataset for Chemical Foundation Models [2.0815739337757555]
  我々は75億以上のキュレートされた化学データのトークンを含むオープンデータセットであるChemPileを提示する。 データセットは、化学による人間の学習の旅を反映している。 ChemPileは基本的な概念とドメイン固有の複雑さの両方をキャプチャする。
  論文  参考訳（メタデータ） (2025-05-18T20:22:21Z)
• SciDFM: A Large Language Model with Mixture-of-Experts for Science [18.748699390397363]
  我々は,SciDFMを紹介した。SciDFMは,スクラッチから訓練され,大学レベルの科学的推論を行うことができる。 ドメイン固有のデータベースのデータだけでなく、さまざまな分野の科学論文や書籍を含む大規模学習コーパスを収集する。 SciDFMはSciEvalやSciQなどの一般的な科学的ベンチマークにおいて高い性能を示し、類似サイズのモデル間のドメイン固有ベンチマークにおいてSOTA性能に達することを示す。
  論文  参考訳（メタデータ） (2024-09-27T03:00:29Z)
• ChemDFM-X: Towards Large Multimodal Model for Chemistry [16.811223849365483]
  化学用クロスモーダル対話基盤モデル(ChemDFM-X)について紹介する。 近似計算とタスク固有モデル予測により、初期モダリティから、多様なマルチモーダルデータを生成する。 ChemDFM-Xは、様々なデータモダリティを持つ様々な化学タスクの広範な実験で評価される。
  論文  参考訳（メタデータ） (2024-09-20T03:55:34Z)
• ChemLLM: A Chemical Large Language Model [49.308528569982805]
  大規模言語モデル(LLM)は化学応用において顕著な進歩を遂げた。 しかし、コミュニティには化学に特化したLLMが欠落している。 本稿では,化学に特化した最初のLLMを特徴とする包括的フレームワークであるChemLLMを紹介する。
  論文  参考訳（メタデータ） (2024-02-10T01:11:59Z)
• Progress and Opportunities of Foundation Models in Bioinformatics [77.74411726471439]
  基礎モデル(FM)は、特に深層学習の領域において、計算生物学の新しい時代に定着した。 我々の焦点は、特定の生物学的問題にFMを応用することであり、研究ニーズに適切なFMを選択するために研究コミュニティを指導することを目的としています。 データノイズ、モデル説明可能性、潜在的なバイアスなど、生物学においてFMが直面する課題と限界を分析します。
  論文  参考訳（メタデータ） (2024-02-06T02:29:17Z)
• MolGrapher: Graph-based Visual Recognition of Chemical Structures [50.13749978547401]
  化学構造を視覚的に認識するためにMolGrapherを導入する。 すべての候補原子と結合をノードとして扱い、それらをグラフ化する。 グラフニューラルネットワークを用いてグラフ内の原子と結合ノードを分類する。
  論文  参考訳（メタデータ） (2023-08-23T16:16:11Z)
• Improving Molecular Representation Learning with Metric Learning-enhanced Optimal Transport [49.237577649802034]
  分子レグレッション問題に対する一般化能力を高めるために,MROTと呼ばれる新しい最適輸送ベースアルゴリズムを開発した。 MROTは最先端のモデルよりも優れており、新しい物質の発見を加速する有望な可能性を示している。
  論文  参考訳（メタデータ） (2022-02-13T04:56:18Z)
• Federated Learning of Molecular Properties in a Heterogeneous Setting [79.00211946597845]
  これらの課題に対処するために、フェデレーションヘテロジニアス分子学習を導入する。 フェデレートラーニングにより、エンドユーザは、独立したクライアント上に分散されたトレーニングデータを保存しながら、グローバルモデルを協調的に構築できる。 FedChemは、化学におけるAI改善のための新しいタイプのコラボレーションを可能にする必要がある。
  論文  参考訳（メタデータ） (2021-09-15T12:49:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。