論文の概要: Generalist Large Language Models for Molecular Property Prediction: Distilling Knowledge from Specialist Models

• arxiv url: http://arxiv.org/abs/2603.12344v1
• Date: Thu, 12 Mar 2026 18:06:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-16 17:38:11.707429
• Title: Generalist Large Language Models for Molecular Property Prediction: Distilling Knowledge from Specialist Models
• Title（参考訳）: 分子特性予測のためのジェネラリスト大言語モデル:スペシャリストモデルからの知識の希薄化
• Authors: Khiem Le, Sreejata Dey, Marcos Martínez Galindo, Vanessa Lopez, Ting Hua, Nitesh V. Chawla, Hoang Thanh Lam,
• Abstract要約: 本研究では,木に基づく専門モデルから大規模言語モデルへ補完的な知識を伝達する知識蒸留手法であるTreeKDを提案する。 提案手法は,機能的グループ機能に関する決定木を訓練し,学習した予測ルールを自然言語として言語化し,文脈学習を実現する。 TDCベンチマークによる22のADMET特性の実験により、TreeKDはLLMの性能を大幅に向上することが示された。
• 参考スコア（独自算出の注目度）: 28.15640069443448
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Molecular Property Prediction (MPP) is a central task in drug discovery. While Large Language Models (LLMs) show promise as generalist models for MPP, their current performance remains below the threshold for practical adoption. We propose TreeKD, a novel knowledge distillation method that transfers complementary knowledge from tree-based specialist models into LLMs. Our approach trains specialist decision trees on functional group features, then verbalizes their learned predictive rules as natural language to enable rule-augmented context learning. This enables LLMs to leverage structural insights that are difficult to extract from SMILES strings alone. We further introduce rule-consistency, a test-time scaling technique inspired by bagging that ensembles predictions across diverse rules from a Random Forest. Experiments on 22 ADMET properties from the TDC benchmark demonstrate that TreeKD substantially improves LLM performance, narrowing the gap with SOTA specialist models and advancing toward practical generalist models for molecular property prediction.
• Abstract（参考訳）: 分子特性予測(MPP)は、薬物発見における中心的な課題である。 LLM(Large Language Models)はMPPのジェネラリストモデルとして有望であるが、現在のパフォーマンスは実用的採用のしきい値を下回っている。 本研究では,木系スペシャリストモデルからLLMに相補的知識を伝達する新しい知識蒸留法であるTreeKDを提案する。 提案手法は,機能的グループ機能に関する決定木を訓練し,学習した予測ルールを自然言語として言語化し,ルール強化コンテキスト学習を実現する。 これにより、LSMはSMILES文字列からのみ抽出することが難しい構造的洞察を活用することができる。 さらに、ランダムフォレストから様々なルールにまたがって予測をまとめる、バッグにインスパイアされたテストタイムスケーリング技術であるルール一貫性を導入します。 TDCベンチマークによる22のADMET特性の実験では、TreeKDはLLM性能を大幅に改善し、SOTA専門家モデルとのギャップを狭め、分子特性予測のための実用的な一般モデルに向けて進んでいることが示されている。

関連論文リスト

• Large Language Models as Markov Chains [7.078696932669912]
  有限状態空間上で定義された自己回帰変換言語モデルとマルコフ連鎖の同値性を描く。 以上の結果とLLMで観察された病理行動との関連性を検討した。 最新のLlamaとGemmaのモデル群による実験は、我々の理論が実際にそれらの振る舞いを正しく捉えていることを示している。
  論文  参考訳（メタデータ） (2024-10-03T17:45:31Z)
• Optimized Feature Generation for Tabular Data via LLMs with Decision Tree Reasoning [53.241569810013836]
  本稿では,大規模言語モデル(LLM)を用いて,効率的な特徴生成ルールを同定するフレームワークを提案する。 我々は、自然言語で容易に表現できるため、この推論情報を伝達するために決定木を使用します。 OCTreeは様々なベンチマークで様々な予測モデルの性能を継続的に向上させる。
  論文  参考訳（メタデータ） (2024-06-12T08:31:34Z)
• Learning to Generate Explainable Stock Predictions using Self-Reflective Large Language Models [54.21695754082441]
  説明可能なストック予測を生成するために,LLM(Large Language Models)を教えるフレームワークを提案する。 反射剤は自己推論によって過去の株価の動きを説明する方法を学ぶ一方、PPOトレーナーは最も可能性の高い説明を生成するためにモデルを訓練する。 我々のフレームワークは従来のディープラーニング法とLLM法の両方を予測精度とマシューズ相関係数で上回ることができる。
  論文  参考訳（メタデータ） (2024-02-06T03:18:58Z)
• Evaluating and Explaining Large Language Models for Code Using Syntactic Structures [74.93762031957883]
  本稿では,コード用大規模言語モデルに特有の説明可能性手法であるASTxplainerを紹介する。 その中核にあるASTxplainerは、トークン予測をASTノードに整合させる自動メソッドを提供する。 私たちは、最も人気のあるGitHubプロジェクトのキュレートデータセットを使用して、コード用の12の人気のあるLLMに対して、実証的な評価を行います。
  論文  参考訳（メタデータ） (2023-08-07T18:50:57Z)
• LMPriors: Pre-Trained Language Models as Task-Specific Priors [78.97143833642971]
  適切な事前条件でモデルを拡張するための原則的手法を開発した。 これは、世界に対する私たちの理解と相容れない方法で学ぶことを奨励するものです。 我々は,近年の大規模言語モデル(LM)の成功から着想を得た。
  論文  参考訳（メタデータ） (2022-10-22T19:09:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。