論文の概要: BERTology of Molecular Property Prediction
- arxiv url: http://arxiv.org/abs/2603.13627v1
- Date: Fri, 13 Mar 2026 22:18:22 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-03-17 16:19:35.306767
- Title: BERTology of Molecular Property Prediction
- Title（参考訳）: 分子特性予測のBERトロジー
- Authors: Mohammad Mostafanejad, Paul Saxe, T. Daniel Crawford,
- Abstract要約: 化学言語モデル(CLM)は、分子特性予測(MPP)タスクのための一般的な古典的機械学習モデルとの競合候補として浮上している。
本研究では,MPP 用 CLM の事前学習および微調整性能に及ぼすデータセットサイズ,モデルサイズ,標準化などの諸要因の影響について,厳密に制御された何百もの実験を実施・分析する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Chemical language models (CLMs) have emerged as promising competitors to popular classical machine learning models for molecular property prediction (MPP) tasks. However, an increasing number of studies have reported inconsistent and contradictory results for the performance of CLMs across various MPP benchmark tasks. In this study, we conduct and analyze hundreds of meticulously controlled experiments to systematically investigate the effects of various factors, such as dataset size, model size, and standardization, on the pre-training and fine-tuning performance of CLMs for MPP. In the absence of well-established scaling laws for encoder-only masked language models, our aim is to provide comprehensive numerical evidence and a deeper understanding of the underlying mechanisms affecting the performance of CLMs for MPP tasks, some of which appear to be entirely overlooked in the literature.
- Abstract（参考訳）: 化学言語モデル(CLM)は、分子特性予測(MPP)タスクのための一般的な古典的機械学習モデルとの競合候補として浮上している。
しかし、様々なMPPベンチマークタスクにおけるCLMの性能に矛盾する結果が報告されている研究が増えている。
本研究では,MPP 用 CLM の事前学習および微調整性能に及ぼすデータセットサイズ,モデルサイズ,標準化などの諸要因の影響を系統的に検討するために,何百もの精巧に制御された実験を実施・分析する。
エンコーダのみのマスキング言語モデルに対して,十分に確立されたスケーリング法則が欠如しているため,MPPタスクのCLMの性能に影響を及ぼすメカニズムを,包括的数値的証拠と深く理解することを目的としている。
関連論文リスト
- MAPS: Advancing Multi-Modal Reasoning in Expert-Level Physical Science [62.96434290874878]
現在のMLLM(Multi-Modal Large Language Models)は、一般的な視覚的推論タスクにおいて強力な機能を示している。
我々は,MLLMに基づく物理知覚とシミュレーションによるマルチモーダル科学推論(MAPS)という新しいフレームワークを開発した。
MAPSは、専門家レベルのマルチモーダル推論タスクを物理的知覚モデル(PPM)を介して物理図理解に分解し、シミュレータを介して物理的知識で推論する。
論文 参考訳（メタデータ） (2025-01-18T13:54:00Z) - Comparative Analysis of Pooling Mechanisms in LLMs: A Sentiment Analysis Perspective [0.0]
BERTやGPTのようなトランスフォーマーベースのモデルは、トークンレベルの埋め込みを文レベルの表現に集約するためにプール層に依存している。
Mean、Max、Weighted Sumといった一般的なプール機構は、この集約プロセスにおいて重要な役割を果たす。
本稿では,これらのプール機構が文レベル感情分析の文脈における2つの著名なLCMファミリー(BERTとGPT)に与える影響について検討する。
論文 参考訳（メタデータ） (2024-11-22T00:59:25Z) - Learn from Downstream and Be Yourself in Multimodal Large Language Model Fine-Tuning [104.27224674122313]
微調整MLLMは、特定の下流タスクのパフォーマンスを改善するための一般的なプラクティスとなっている。
一般化と特殊化のトレードオフのバランスをとるために,事前学習と微調整の両方におけるパラメータの重要度を測定することを提案する。
論文 参考訳（メタデータ） (2024-11-17T01:16:37Z) - Chain-of-Thought Prompting for Demographic Inference with Large Multimodal Models [58.58594658683919]
大規模マルチモーダルモデル (LMM) は、様々な研究課題において変換可能性を示している。
以上の結果から,LMMはゼロショット学習,解釈可能性,未修正入力の処理に長所があることが示唆された。
本稿では,目標外予測問題を効果的に緩和するChain-of-Thought拡張プロンプト手法を提案する。
論文 参考訳（メタデータ） (2024-05-24T16:26:56Z) - Do Emergent Abilities Exist in Quantized Large Language Models: An
Empirical Study [90.34226812493083]
本研究の目的は,LLMを小言語モデルと区別する重要な特徴である現象能力に対する量子化の影響を検討することである。
実験により、これらの創発能力は4ビット量子化モデルに残っており、2ビットモデルは深刻な性能劣化に直面していることがわかった。
低ビットモデルの性能向上のために,(1) 部品(またはサブ構造)が量子化に敏感である場合の微視的影響解析,(2) モデル微視化による性能補償の2つの実験を行った。
論文 参考訳（メタデータ） (2023-07-16T15:11:01Z) - A Mechanistic Interpretation of Arithmetic Reasoning in Language Models
using Causal Mediation Analysis [128.0532113800092]
算数問題に対するトランスフォーマーに基づくLMの機械的解釈を提案する。
これにより、算術に関連する情報がLMによってどのように処理されるかについての洞察が得られる。
論文 参考訳（メタデータ） (2023-05-24T11:43:47Z) - When does MAML Work the Best? An Empirical Study on Model-Agnostic Meta-Learning in NLP Applications [26.458825286934857]
データ量、タスク間の類似性、一般的な言語モデルとタスク固有の適応のバランスなど、多くの影響要因が、NLPにおけるMAMLの性能に影響を与える可能性がある。
本稿では,これらの影響要因を調査し,MAMLが最適に機能するかどうかを実験的に検討する。
論文 参考訳（メタデータ） (2020-05-24T09:29:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。