論文の概要: Does Pretraining Teach Chemical Language Models Chemistry?

• arxiv url: http://arxiv.org/abs/2610.18651v2
• Date: Wed, 14 Oct 2026 17:58:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-15 21:06:15.68033
• Title: Does Pretraining Teach Chemical Language Models Chemistry?
• Title（参考訳）: 教育用化学言語モデルの構築は可能か?
• Abstract要約: 化学言語モデル(CLM)は、下流の様々なタスクに伝達する表現を学習することを目的として、大量の分子のコーパスで事前訓練されている。 我々は64個の分子特性予測データセットを用いて事前学習の効果を系統的に研究した。 CLMにおける事前学習の下流での利得はスケールせず、勾配ブースティングベースライン以下で性能が飽和していることが判明した。
• 参考スコア（独自算出の注目度）: 0.30046308577147424
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Chemical language models (CLMs) are pretrained on large corpora of molecules with the aim of learning representations that transfer to diverse downstream tasks. Here, we systematically study the effects of pretraining using a series of such CLMs across 64 molecular property prediction datasets. We find that the downstream gains of pretraining in CLMs do not scale and performance saturates below gradient-boosting baselines. Across the regimes evaluated, only supervised pretraining on traditional physico-chemical descriptors consistently improves downstream performance for the CLMs tested whereas some forms of pretraining result in models worse than a randomly initialized encoder. While models can resolve molecular structure well, they do so no better than a randomly initialized model, suggesting that, at best, CLMs learn descriptor-like properties in addition to low-level token statistics during pretraining, but surprisingly little chemistry beyond what classical molecular features already capture.
• Abstract（参考訳）: 化学言語モデル(CLM)は、下流の様々なタスクに伝達する表現を学習することを目的として、大量の分子のコーパスで事前訓練されている。 そこで本研究では,64個の分子特性予測データセットにまたがる一連のCLMを用いた事前学習の効果を系統的に検討する。 CLMにおける事前学習の下流での利得はスケールせず、勾配ブースティングベースライン以下で性能が飽和していることが判明した。 従来の物理化学的記述子での教師付き事前訓練は、試験されたCLMの下流性能を一貫して改善する一方、いくつかの形態の事前訓練はランダムに初期化エンコーダよりも悪い結果をもたらす。 モデルは分子構造をうまく解くことができるが、それらはランダムに初期化されたモデルに勝るものではなく、CLMは少なくとも、事前訓練中に低レベルのトークン統計に加えて、記述子のような性質を学ぶことを示唆している。

関連論文リスト

• Probing Chemical Language Models: Effects of Pre-training and Fine-tuning [21.971157486965378]
  化学言語モデル(CLM)はSMILESのような線形化表現で訓練される。 どのような化学的に意味のある部分構造をコードしているかは、まだ不明である。 本研究では, 分子サブストラクチャの微調整が分子サブストラクチャの学習表現に与える影響について検討した。
  論文  参考訳（メタデータ） (2026-07-02T13:16:31Z)
• The Pre-Training Study of Expanded-SPLADE Models on Web Document Titles [0.08949202626090576]
  本稿では,事前学習データセットと事前学習オプションが,検索微調整のための事前学習モデルに及ぼす影響について検討する。 未刈取と最も厳密な刈取の両方において高い検索効率の微調整されたモデルは、概ね一般コーパスで事前訓練されている。
  論文  参考訳（メタデータ） (2026-05-02T12:07:49Z)
• How Well Do Large-Scale Chemical Language Models Transfer to Downstream Tasks? [3.423332499970556]
  大規模分子データに基づいて事前訓練された化学言語モデルは、分子特性予測に広く利用されている。 モデルサイズ、データセットサイズ、トレーニング計算などのトレーニングリソースの増加は、事前学習損失と下流タスクのパフォーマンスの両方を改善するという信念は、化学領域において体系的に検証されていない。 トレーニングリソースの増加に伴い、事前学習の損失は一貫して減少するが、ダウンストリームタスクのパフォーマンスは改善が限られている。
  論文  参考訳（メタデータ） (2026-02-12T06:14:34Z)
• Why Knowledge Distillation Works in Generative Models: A Minimal Working Explanation [50.784080714897776]
  知識蒸留(KD)は、現代の生産モデルの訓練と展開における中核的な要素である。 我々は,KDが学生モデルにおける精度とリコールのトレードオフを引き起こすことを示す。 本分析は、生成モデルにおけるKDの有効性について、単純かつ一般的な説明を提供する。
  論文  参考訳（メタデータ） (2025-05-19T13:39:47Z)
• Pre-trained Molecular Language Models with Random Functional Group Masking [54.900360309677794]
  SMILESをベースとしたアンダーリネム分子アンダーリネム言語アンダーリネムモデルを提案し,特定の分子原子に対応するSMILESサブシーケンスをランダムにマスキングする。 この技術は、モデルに分子構造や特性をよりよく推測させ、予測能力を高めることを目的としている。
  論文  参考訳（メタデータ） (2024-11-03T01:56:15Z)
• The Fine Line: Navigating Large Language Model Pretraining with Down-streaming Capability Analysis [27.310894780313618]
  本稿では,様々な事前学習中間点におけるモデル能力の総合的な比較を行う。 特定のダウンストリームメトリクスが、異なるサイズのモデルにまたがる同様のトレーニングダイナミクスを示すことを確認します。 コアの発見に加えて、AmberとOpenLLaMAを再現し、中間チェックポイントをリリースしました。
  論文  参考訳（メタデータ） (2024-04-01T16:00:01Z)
• MolCPT: Molecule Continuous Prompt Tuning to Generalize Molecular Representation Learning [77.31492888819935]
  分子表現学習のための「プリトレイン,プロンプト,ファインチューン」という新しいパラダイム,分子連続プロンプトチューニング(MolCPT)を提案する。 MolCPTは、事前訓練されたモデルを使用して、スタンドアロンの入力を表現的なプロンプトに投影するモチーフプロンプト関数を定義する。 いくつかのベンチマークデータセットの実験により、MollCPTは分子特性予測のために学習済みのGNNを効率的に一般化することが示された。
  論文  参考訳（メタデータ） (2022-12-20T19:32:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。