論文の概要: How Well Do Large-Scale Chemical Language Models Transfer to Downstream Tasks?

• arxiv url: http://arxiv.org/abs/2602.11618v2
• Date: Tue, 17 Feb 2026 12:54:31 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-18 13:57:33.604157
• Title: How Well Do Large-Scale Chemical Language Models Transfer to Downstream Tasks?
• Title（参考訳）: 大規模ケミカル言語モデルが下流タスクにどの程度うまく移行するか?
• Authors: Tatsuya Sagawa, Ryosuke Kojima,
• Abstract要約: 大規模分子データに基づいて事前訓練された化学言語モデルは、分子特性予測に広く利用されている。 モデルサイズ、データセットサイズ、トレーニング計算などのトレーニングリソースの増加は、事前学習損失と下流タスクのパフォーマンスの両方を改善するという信念は、化学領域において体系的に検証されていない。 トレーニングリソースの増加に伴い、事前学習の損失は一貫して減少するが、ダウンストリームタスクのパフォーマンスは改善が限られている。
• 参考スコア（独自算出の注目度）: 3.423332499970556
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Chemical Language Models (CLMs) pre-trained on large scale molecular data are widely used for molecular property prediction. However, the common belief that increasing training resources such as model size, dataset size, and training compute improves both pretraining loss and downstream task performance has not been systematically validated in the chemical domain. In this work, we evaluate this assumption by pretraining CLMs while scaling training resources and measuring transfer performance across diverse molecular property prediction (MPP) tasks. We find that while pretraining loss consistently decreases with increased training resources, downstream task performance shows limited improvement. Moreover, alternative metrics based on the Hessian or loss landscape also fail to estimate downstream performance in CLMs. We further identify conditions under which downstream performance saturates or degrades despite continued improvements in pretraining metrics, and analyze the underlying task dependent failure modes through parameter space visualizations. These results expose a gap between pretraining based evaluation and downstream performance, and emphasize the need for model selection and evaluation strategies that explicitly account for downstream task characteristics.
• Abstract（参考訳）: 大規模分子データに事前訓練された化学言語モデル(CLM)は、分子特性予測に広く用いられている。 しかし、モデルサイズ、データセットサイズ、トレーニング計算などのトレーニングリソースの増加は、事前学習損失と下流タスク性能の両方を改善するという一般的な信念は、化学領域において体系的に検証されていない。 本研究では,分子特性予測(MPP)タスクにおける学習資源のスケーリングと伝達性能の測定を行い,CLMの事前学習により,この仮定を評価する。 トレーニングリソースの増加に伴い、事前学習の損失は一貫して減少するが、ダウンストリームタスクのパフォーマンスは改善が限られている。 さらに、Hessianまたはロスランドスケープに基づいた別のメトリクスも、CLMの下流のパフォーマンスを見積もることができない。 さらに,パラメータ空間の可視化によるタスク依存障害モードの解析を行い,測定基準の改善が継続されているにもかかわらず,ダウンストリーム性能が飽和あるいは劣化する条件を明らかにした。 これらの結果は、事前学習に基づく評価と下流のパフォーマンスのギャップを明らかにし、下流のタスク特性を明確に考慮したモデル選択と評価戦略の必要性を強調している。

関連論文リスト

• Can Pre-training Indicators Reliably Predict Fine-tuning Outcomes of LLMs? [42.608899417822656]
  本研究では,501BパラメータLLM変種を用いて,系統的な事前学習構成を持つデータセットを構築した。 本稿では,事前学習から得られた新しい教師なしおよび教師なしのプロキシメトリクスを導入し,相対的な性能予測誤差率を50%以上削減する。
  論文  参考訳（メタデータ） (2025-04-16T21:19:09Z)
• Beyond Scaling: Measuring and Predicting the Upper Bound of Knowledge Retention in Language Model Pre-Training [68.94373533768501]
  我々は、知識保持をモデル化し、そのコーパスから事実情報を記憶するための事前学習言語モデルの能力を示し、学習前にそれを推定する原則的手法を導入する。 本稿では,知識周波数,知識特異度,モデルサイズを統合し,クローズドブック質問応答(QA)の精度を予測する情報理論予測器である,サイズ依存型相互情報(SMI)を提案する。
  論文  参考訳（メタデータ） (2025-02-06T13:23:53Z)
• Scaling Laws for Predicting Downstream Performance in LLMs [75.28559015477137]
  この研究は、性能推定のためのより計算効率のよい指標として、事前学習損失に焦点を当てている。 FLP-Mは、事前トレーニング中に複数のソースからのデータセットを統合する実践的なニーズに対処する、パフォーマンス予測の基本的なアプローチである。
  論文  参考訳（メタデータ） (2024-10-11T04:57:48Z)
• The Fine Line: Navigating Large Language Model Pretraining with Down-streaming Capability Analysis [27.310894780313618]
  本稿では,様々な事前学習中間点におけるモデル能力の総合的な比較を行う。 特定のダウンストリームメトリクスが、異なるサイズのモデルにまたがる同様のトレーニングダイナミクスを示すことを確認します。 コアの発見に加えて、AmberとOpenLLaMAを再現し、中間チェックポイントをリリースしました。
  論文  参考訳（メタデータ） (2024-04-01T16:00:01Z)
• Impact of Noisy Supervision in Foundation Model Learning [91.56591923244943]
  本論文は、事前学習データセットにおけるノイズの性質を包括的に理解し分析する最初の研究である。 雑音の悪影響を緩和し、一般化を改善するため、特徴空間に適応するチューニング法(NMTune)を提案する。
  論文  参考訳（メタデータ） (2024-03-11T16:22:41Z)
• Learning to Modulate pre-trained Models in RL [22.812215561012874]
  訓練済みモデルの微調整は、しばしば破滅的な忘れ込みに悩まされる。 本研究は、ほとんどの微調整アプローチにおいて、事前学習タスクのパフォーマンスが著しく低下していることを示す。 凍結事前学習モデルの情報フローを変調することにより,学習スキルの劣化を回避する新しい手法L2Mを提案する。
  論文  参考訳（メタデータ） (2023-06-26T17:53:05Z)
• Same Pre-training Loss, Better Downstream: Implicit Bias Matters for Language Models [46.24479693469042]
  本稿では,(1)事前学習損失が下流性能を完全に説明できないこと,(2)事前学習損失がない場合の下流性能とモデルの平坦性はよく相関していることを示す。
  論文  参考訳（メタデータ） (2022-10-25T17:45:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。