Fugu-MT 論文翻訳(概要): BERTology of Molecular Property Prediction

論文の概要: BERTology of Molecular Property Prediction

arxiv url: http://arxiv.org/abs/2603.13627v1
Date: Fri, 13 Mar 2026 22:18:22 GMT
ステータス: 翻訳完了
システム内更新日: 2026-03-17 16:19:35.306767
Title: BERTology of Molecular Property Prediction
Title（参考訳）: 分子特性予測のBERトロジー
Abstract要約: 化学言語モデル(CLM)は、分子特性予測(MPP)タスクのための一般的な古典的機械学習モデルとの競合候補として浮上している。本研究では,MPP 用 CLM の事前学習および微調整性能に及ぼすデータセットサイズ,モデルサイズ,標準化などの諸要因の影響について,厳密に制御された何百もの実験を実施・分析する。
参考スコア（独自算出の注目度）: 0.0
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Chemical language models (CLMs) have emerged as promising competitors to popular classical machine learning models for molecular property prediction (MPP) tasks. However, an increasing number of studies have reported inconsistent and contradictory results for the performance of CLMs across various MPP benchmark tasks. In this study, we conduct and analyze hundreds of meticulously controlled experiments to systematically investigate the effects of various factors, such as dataset size, model size, and standardization, on the pre-training and fine-tuning performance of CLMs for MPP. In the absence of well-established scaling laws for encoder-only masked language models, our aim is to provide comprehensive numerical evidence and a deeper understanding of the underlying mechanisms affecting the performance of CLMs for MPP tasks, some of which appear to be entirely overlooked in the literature.
Abstract（参考訳）: 化学言語モデル(CLM)は、分子特性予測(MPP)タスクのための一般的な古典的機械学習モデルとの競合候補として浮上している。しかし、様々なMPPベンチマークタスクにおけるCLMの性能に矛盾する結果が報告されている研究が増えている。本研究では,MPP 用 CLM の事前学習および微調整性能に及ぼすデータセットサイズ,モデルサイズ,標準化などの諸要因の影響を系統的に検討するために,何百もの精巧に制御された実験を実施・分析する。エンコーダのみのマスキング言語モデルに対して,十分に確立されたスケーリング法則が欠如しているため,MPPタスクのCLMの性能に影響を及ぼすメカニズムを,包括的数値的証拠と深く理解することを目的としている。

関連論文リスト

Learning POMDP World Models from Observations with Language-Model Priors [52.11151769796862]
部分的に観測可能なマルコフ決定プロセス(POMDP)は、内部世界モデルのための柔軟なモデリングクラスを提供する。先行知識を活用することで,言語モデルがコストのかかる相互作用を低減できるかどうかを問う。我々は,emphPinductor が LLM ベースの POMDP 学習手法の性能とサンプル効率に一致することを示す。
論文参考訳（メタデータ） (2026-05-13T16:18:15Z)
Tabular foundation models for in-context prediction of molecular properties [44.41091354279448]
タブラル基礎モデル(TFM)は、コンテキスト内学習を通じて予測を行い、タスク固有のトレーニングなしで推論を可能にする。我々は、標準化された医薬品のベンチマークと化学工学のデータセットの両方で、低・中・データ体制におけるTFMを評価した。ベンチマーク全体を通して、この手法は微調整に比べて計算コストを抑えながら優れた予測性能を示す。
論文参考訳（メタデータ） (2026-04-17T14:58:43Z)
MAPS: Advancing Multi-Modal Reasoning in Expert-Level Physical Science [62.96434290874878]
現在のMLLM(Multi-Modal Large Language Models)は、一般的な視覚的推論タスクにおいて強力な機能を示している。我々は,MLLMに基づく物理知覚とシミュレーションによるマルチモーダル科学推論(MAPS)という新しいフレームワークを開発した。 MAPSは、専門家レベルのマルチモーダル推論タスクを物理的知覚モデル(PPM)を介して物理図理解に分解し、シミュレータを介して物理的知識で推論する。
論文参考訳（メタデータ） (2025-01-18T13:54:00Z)
Comparative Analysis of Pooling Mechanisms in LLMs: A Sentiment Analysis Perspective [0.0]
BERTやGPTのようなトランスフォーマーベースのモデルは、トークンレベルの埋め込みを文レベルの表現に集約するためにプール層に依存している。 Mean、Max、Weighted Sumといった一般的なプール機構は、この集約プロセスにおいて重要な役割を果たす。本稿では,これらのプール機構が文レベル感情分析の文脈における2つの著名なLCMファミリー(BERTとGPT)に与える影響について検討する。
論文参考訳（メタデータ） (2024-11-22T00:59:25Z)
Learn from Downstream and Be Yourself in Multimodal Large Language Model Fine-Tuning [104.27224674122313]
微調整MLLMは、特定の下流タスクのパフォーマンスを改善するための一般的なプラクティスとなっている。一般化と特殊化のトレードオフのバランスをとるために,事前学習と微調整の両方におけるパラメータの重要度を測定することを提案する。
論文参考訳（メタデータ） (2024-11-17T01:16:37Z)
Do Influence Functions Work on Large Language Models? [10.463762448166714]
影響関数は、個々のトレーニングデータポイントがモデルの予測に与える影響を定量化する上で重要である。我々は,複数のタスクにまたがる影響関数を評価し,ほとんどの設定において不整合なパフォーマンスを示す。
論文参考訳（メタデータ） (2024-09-30T06:50:18Z)
Chain-of-Thought Prompting for Demographic Inference with Large Multimodal Models [58.58594658683919]
大規模マルチモーダルモデル (LMM) は、様々な研究課題において変換可能性を示している。以上の結果から,LMMはゼロショット学習,解釈可能性,未修正入力の処理に長所があることが示唆された。本稿では,目標外予測問題を効果的に緩和するChain-of-Thought拡張プロンプト手法を提案する。
論文参考訳（メタデータ） (2024-05-24T16:26:56Z)
The Role of Model Architecture and Scale in Predicting Molecular Properties: Insights from Fine-Tuning RoBERTa, BART, and LLaMA [0.0]
本研究では,各種ケミノフォマティクスタスクの微調整におけるLarge Language Models(LLMs)の有効性を比較するための体系的枠組みを提案する。分子特性を予測するために,RoBERTa,BART,LLaMAの3つのモデルを評価した。 LLaMAベースのモデルは、一般的に最低限のバリデーション損失を提供しており、タスクやスケールの順応性が優れていることを示唆している。
論文参考訳（メタデータ） (2024-05-02T02:20:12Z)
Do Emergent Abilities Exist in Quantized Large Language Models: An Empirical Study [90.34226812493083]
本研究の目的は,LLMを小言語モデルと区別する重要な特徴である現象能力に対する量子化の影響を検討することである。実験により、これらの創発能力は4ビット量子化モデルに残っており、2ビットモデルは深刻な性能劣化に直面していることがわかった。低ビットモデルの性能向上のために,(1) 部品(またはサブ構造)が量子化に敏感である場合の微視的影響解析,(2) モデル微視化による性能補償の2つの実験を行った。
論文参考訳（メタデータ） (2023-07-16T15:11:01Z)
A Mechanistic Interpretation of Arithmetic Reasoning in Language Models using Causal Mediation Analysis [128.0532113800092]
算数問題に対するトランスフォーマーに基づくLMの機械的解釈を提案する。これにより、算術に関連する情報がLMによってどのように処理されるかについての洞察が得られる。
論文参考訳（メタデータ） (2023-05-24T11:43:47Z)
Multilingual Multi-Aspect Explainability Analyses on Machine Reading Comprehension Models [76.48370548802464]
本稿では,マルチヘッド自己注意と最終MRCシステム性能の関係を検討するために,一連の解析実験を実施することに焦点を当てる。問合せ及び問合せ理解の注意が問合せプロセスにおいて最も重要なものであることが判明した。包括的可視化とケーススタディを通じて、注意マップに関するいくつかの一般的な知見も観察し、これらのモデルがどのように問題を解くかを理解するのに役立ちます。
論文参考訳（メタデータ） (2021-08-26T04:23:57Z)
When does MAML Work the Best? An Empirical Study on Model-Agnostic Meta-Learning in NLP Applications [26.458825286934857]
データ量、タスク間の類似性、一般的な言語モデルとタスク固有の適応のバランスなど、多くの影響要因が、NLPにおけるMAMLの性能に影響を与える可能性がある。本稿では,これらの影響要因を調査し,MAMLが最適に機能するかどうかを実験的に検討する。
論文参考訳（メタデータ） (2020-05-24T09:29:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。