論文の概要: Beyond Benchmark Accuracy: A Diagnostic Test for LLM Chemical Prediction

• arxiv url: http://arxiv.org/abs/2610.19906v1
• Date: Wed, 14 Oct 2026 10:03:05 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-15 21:06:16.081263
• Title: Beyond Benchmark Accuracy: A Diagnostic Test for LLM Chemical Prediction
• Title（参考訳）: ベンチマークの精度を超えて: LLM化学予測のための診断テスト
• Abstract要約: ターゲットエンティティの識別情報が隠された場合の化学予測モデルを評価する枠組みを提案する。 このフレームワークでは、ターゲットはエンティティIDによって直接定義されるのではなく、既知のソースエンティティと明示的な構造的編集操作によって定義される。 臭気予測,分子特性予測,レトロ合成,反応収率予測の6つの課題にまたがって,この枠組みを評価する。
• 参考スコア（独自算出の注目度）: 9.666160071288035
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: LLMs have achieved strong performance on chemical prediction benchmarks. However, existing evaluation methods typically provide target entity identity information directly, making it difficult to determine whether model predictions arise from transferable structure-property reasoning capabilities or rely on target-related contextual information or memory retrieval. We propose the Identity-Blinded Reasoning Diagnostic framework to evaluate chemical prediction models when target entity identity information is hidden. In this framework, the target is no longer directly defined by its entity identity, but instead by a known source entity and an explicit structural edit operation. This setting preserves the information required to determine the target while reducing the opportunity for models to access target identity cues. We evaluate this framework across six tasks spanning odor prediction, molecular property prediction, retrosynthesis, and reaction yield prediction. The results show that models generally achieve better prediction performance when source and target entity properties are consistent. Providing explicit source entity labels further strengthens this dependence. Moreover, while keeping the target entity, structural change, and ground-truth label unchanged, replacing only the source entity label causes some model predictions to systematically shift toward the substituted source labels. These results indicate that high benchmark accuracy in chemical prediction tasks does not necessarily imply that LLMs possess reliable structure-property reasoning capabilities. Our diagnostic framework provides a controlled evaluation approach for testing whether models can genuinely update predictions according to entity changes. The framework can be extended to other AI for Science tasks, particularly those where targets can be defined through transformations of known entities.
• Abstract（参考訳）: LLMは化学予測ベンチマークで高い性能を達成している。 しかし、既存の評価手法は、一般的にターゲットエンティティのアイデンティティ情報を直接提供し、転送可能な構造-プロパティ推論能力からモデル予測が生じるか、あるいはターゲット関連コンテキスト情報やメモリ検索に依存するかを決定するのが困難である。 本稿では,ターゲットエンティティの識別情報が隠蔽された場合の化学予測モデルを評価するために,ID-Blinded Reasoning Diagnosticフレームワークを提案する。 このフレームワークでは、ターゲットはエンティティIDによって直接定義されるのではなく、既知のソースエンティティと明示的な構造的編集操作によって定義される。 この設定は、ターゲットを決定するのに必要な情報を保存し、モデルがターゲットのアイデンティティーキューにアクセスする機会を減らします。 臭気予測,分子特性予測,レトロ合成,反応収率予測の6つの課題にまたがって,この枠組みを評価する。 その結果、ソースとターゲットのエンティティプロパティが一貫性のある場合、モデルが一般的により良い予測性能を達成することを示す。 明示的なソースエンティティラベルを提供することは、この依存をさらに強化する。 さらに、ターゲットエンティティ、構造変化、接地トラスラベルを維持しながら、ソースエンティティラベルのみを置き換えることで、いくつかのモデル予測が置換されたソースラベルに体系的に移行する。 これらの結果から, 化学予測タスクにおける高いベンチマーク精度は, LLMが信頼性の高い構造論的推論能力を持っていることを必ずしも示唆するものではないことが示唆された。 我々の診断フレームワークは、モデルが実体の変化に応じて予測を真に更新できるかどうかをテストするための制御された評価手法を提供する。 このフレームワークは、他のAI for Scienceタスク、特に既知のエンティティの変換を通じてターゲットを定義することができるタスクに拡張することができる。

関連論文リスト

• LLM sequential decision making under uncertainty in biochemical domains [4.5018775756511635]
  5つの大言語モデル(LLM)を、7つのデータセットの統計ベースラインに対してベンチマークする。 決定的にテストされた構成は、ドメイン全体で平均的な統計ベースラインを上回っません。 コンテキスト内履歴の削除は探索を復元し、事前とデータは切り離さなければならないことを示す。
  論文  参考訳（メタデータ） (2026-09-27T00:49:09Z)
• Orthogonal JEPA: Factorized Predictive States for Latent World Models [95.20158869896393]
  予測因数分解に基づく潜在的世界モデリングフレームワークであるメソッドを導入する。 そこで本研究では,予測構造を弱め,あるいは矛盾する勾配を抑えつつ,冗長なキャパシティを支配的信号に割り当てる手法を提案する。 制御された視覚、単細胞転写学、縦断的な健康記録、連続的な制御、分子動力学の実験は、表現品質、予測、計画、長期安定性を評価する。
  論文  参考訳（メタデータ） (2026-08-20T13:59:57Z)
• Unsupervised Skill Discovery for Agentic Data Analysis [55.42853694128929]
  DataCOPEは、データ分析エージェントのための教師なし検証対象のスキル発見フレームワークである。 トラジェクトリ生成のためのデータ分析エージェント、信号抽出のための教師なし検証器、および対照的なスキル蒸留のためのスキルマネージャを反復的にコーディネートする。 我々は,Deep Data Researchのレポートスタイル分析とDABStepの推論スタイル解析についてDataCOPEを評価した。
  論文  参考訳（メタデータ） (2026-06-04T17:20:47Z)
• On the Impact of Uncertainty and Calibration on Likelihood-Ratio Membership Inference Attacks [42.18575921329484]
  我々は,情報理論の枠組みにおける可能性比攻撃(LiRA)の性能を解析する。 我々は、MIAの有効性に対する不確実性と校正の影響についての洞察を提供することを目的として、MIA敵の利点に基づいて境界を導出する。
  論文  参考訳（メタデータ） (2024-02-16T13:41:18Z)
• Bring Your Own Data! Self-Supervised Evaluation for Large Language Models [52.15056231665816]
  大規模言語モデル(LLM)の自己教師型評価のためのフレームワークを提案する。 閉書知識,毒性,長期文脈依存性を測定するための自己指導型評価戦略を実証する。 自己監督評価と人監督評価との間には強い相関関係が認められた。
  論文  参考訳（メタデータ） (2023-06-23T17:59:09Z)
• Uncertainty-guided Source-free Domain Adaptation [77.3844160723014]
  ソースフリードメイン適応(SFDA)は、事前訓練されたソースモデルのみを使用することで、未ラベルのターゲットデータセットに分類器を適応させることを目的としている。 本稿では、ソースモデル予測の不確実性を定量化し、ターゲット適応の導出に利用することを提案する。
  論文  参考訳（メタデータ） (2022-08-16T08:03:30Z)
• Leveraging Unlabeled Data to Predict Out-of-Distribution Performance [63.740181251997306]
  実世界の機械学習デプロイメントは、ソース(トレーニング)とターゲット(テスト)ディストリビューションのミスマッチによって特徴づけられる。 本研究では,ラベル付きソースデータとラベルなしターゲットデータのみを用いて,対象領域の精度を予測する手法を検討する。 本稿では,モデルの信頼度をしきい値として学習し,精度をラベルなし例のごく一部として予測する実践的手法である平均閾値保持信頼度(ATC)を提案する。
  論文  参考訳（メタデータ） (2022-01-11T23:01:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。