論文の概要: Do LLMs Know When They Are Wrong About Molecules? In-Context Property Prediction with Self-Reported Uncertainty

• arxiv url: http://arxiv.org/abs/2610.41745v1
• Date: Fri, 30 Oct 2026 13:50:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-02 22:05:31.760884
• Title: Do LLMs Know When They Are Wrong About Molecules? In-Context Property Prediction with Self-Reported Uncertainty
• Title（参考訳）: LLMはいつ分子について間違っているか知っているか? 自己報告の不確かさによる文脈特性予測
• Abstract要約: 大規模言語モデル(LLM)は多くの領域で使用されているが、分子特性の予測はいまだに研究されていない。 我々は、7つのフロンティアLSMの分子特性予測能力と、インコンテキストの例から自己報告された不確実性を評価し、それらを同じ分子上で訓練された古典的基底線と比較した。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models (LLMs) are used in many domains, but molecular property prediction with them is still little explored. In this work we evaluate the capability of 7 frontier LLMs to predict molecular properties together with a self-reported uncertainty from in-context examples, and compare them with classical baselines trained on the same molecules. We use 4 datasets and screen each for contamination of the training data of the LLMs: three are clean, and the fourth, ESOL, is memorised by most of the models and serves as a comparison. On the clean datasets every LLM improves with the context, at 30 examples the most accurate one beats every baseline. The requested reasoning effort changes accuracy little. The self-reported uncertainty ranks the prediction errors weakly, with Spearman rank correlations of up to 0.46, about the level reached by the uncertainties of the baselines. Combining uncertainty and prediction, on lipophilicity the most certain half of the best LLM is the most accurate at small context sizes; on BACE and antiviral, and on lipophilicity at large context sizes, the best LLMs are on par with the best baseline. On the contaminated ESOL dataset the LLMs show no improvement with the context size, as expected for a memorised dataset, and their stated uncertainty is smaller on the molecules whose value they recall.
• Abstract（参考訳）: 大規模言語モデル(LLM)は多くの領域で使用されているが、分子特性の予測はいまだに研究されていない。 本研究では、7つのフロンティアLSMの分子特性予測能力と、インコンテキストの例から自己報告された不確実性を評価し、それらを同じ分子上で訓練された古典的基底線と比較する。 3つはクリーンで、4つ目はESOLで、ほとんどのモデルで記憶され、比較として機能します。 クリーンなデータセットでは、すべてのLLMがコンテキストによって改善される。 要求された推論努力は精度をほとんど変更しない。 自己報告された不確実性は予測誤差を弱くランク付けし、ベースラインの不確実性によって到達したレベルについて、スピアマンのランク相関は最大0.46である。 不確実性と予測を組み合わせることで、最も優れたLLMの半分は、BACEとアンチウイルスにおいて最も正確であり、大きなコンテキストサイズでは、最も優れたLLMは、最高のベースラインと同等である。 汚染されたESOLデータセット上では、LLMは記憶されたデータセットが期待するような文脈サイズの改善を示さず、それらの不確実性は記憶する価値を持つ分子でより小さい。

関連論文リスト

• LLM sequential decision making under uncertainty in biochemical domains [4.5018775756511635]
  5つの大言語モデル(LLM)を、7つのデータセットの統計ベースラインに対してベンチマークする。 決定的にテストされた構成は、ドメイン全体で平均的な統計ベースラインを上回っません。 コンテキスト内履歴の削除は探索を復元し、事前とデータは切り離さなければならないことを示す。
  論文  参考訳（メタデータ） (2026-09-27T00:49:09Z)
• Do LLMs Align Human Values Regarding Social Biases? Judging and Explaining Social Biases with LLMs [24.53996114318076]
  大規模言語モデル(LLM)は、人間の値と不一致した場合、望ましくない結果をもたらす可能性がある。 これまでの研究で、専門家が設計したかエージェントベースのエミュレートされたバイアスシナリオを用いて、LLMと人間の価値の相違を明らかにしてきた。 本研究では,異なる種類のバイアスシナリオにおける社会的バイアス(HVSB)に関する人的価値とLLMのアライメントについて検討する。
  論文  参考訳（メタデータ） (2025-09-17T09:58:28Z)
• Cleanse: Uncertainty Estimation Approach Using Clustering-based Semantic Consistency in LLMs [5.161416961439468]
  本研究では,textbfClusttextbfering に基づくsemtextbfantic contextbfsisttextbfency (textbfCleanse) を用いた効果的な不確実性推定手法を提案する。 LLaMA-7B, LLaMA-13B, LLaMA2-7B, Mistral-7Bの4つの市販モデルを用いて, 幻覚検出におけるクリーンスの有効性を検証した。
  論文  参考訳（メタデータ） (2025-07-19T14:48:24Z)
• Verifying the Verifiers: Unveiling Pitfalls and Potentials in Fact Verifiers [59.168391398830515]
  我々は,14のファクトチェックベンチマークのサンプルを用いて,12の事前学習LDMと1つの特殊ファクト検証器を評価した。 データセットにおけるアノテーションエラーとあいまいさに対処することの重要性を強調します。 最上位のパフォーマンスを実現するために、前作でしばしば見落とされがちな、数ショットのインコンテキストの例を持つフロンティアLSM。
  論文  参考訳（メタデータ） (2025-06-16T10:32:10Z)
• Preference Leakage: A Contamination Problem in LLM-as-a-judge [69.96778498636071]
  審査員としてのLLM(Large Language Models)とLLMに基づくデータ合成は、2つの基本的なLLM駆動型データアノテーション法として登場した。 本研究では, 合成データ生成器とLCMに基づく評価器の関連性に起因するLCM-as-a-judgeの汚染問題である選好リークを明らかにする。
  論文  参考訳（メタデータ） (2025-02-03T17:13:03Z)
• Dynamic Uncertainty Ranking: Enhancing Retrieval-Augmented In-Context Learning for Long-Tail Knowledge in LLMs [50.29035873837]
  大規模言語モデル(LLM)は、事前訓練中に多様なドメインから膨大な量の知識を学習することができる。 専門ドメインからの長い尾の知識は、しばしば不足し、表現されていないため、モデルの記憶にはほとんど現れない。 ICLの強化学習に基づく動的不確実性ランキング手法を提案する。
  論文  参考訳（メタデータ） (2024-10-31T03:42:17Z)
• LLM Robustness Against Misinformation in Biomedical Question Answering [50.98256373698759]
  探索拡張生成(RAG)アプローチは,質問応答のための大規模言語モデル(LLM)の折り畳みを低減するために用いられる。 バイオメディカル質問に対する誤報に対する4つのLDMの有効性とロバスト性を評価した。
  論文  参考訳（メタデータ） (2024-10-27T16:23:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。