論文の概要: Accuracy and Reliability of Large Language Models in Cosmetic Chemistry and Skin Health: A Benchmarking Study

• arxiv url: http://arxiv.org/abs/2608.14631v1
• Date: Fri, 24 Jul 2026 03:40:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-23 14:54:39.922054
• Title: Accuracy and Reliability of Large Language Models in Cosmetic Chemistry and Skin Health: A Benchmarking Study
• Title（参考訳）: 宇宙化学と皮膚健康における大規模言語モデルの精度と信頼性:ベンチマークによる検討
• Abstract要約: 化粧品化学に関連するトピックのセットについて,14のLarge Language Models (LLMs) をベンチマークした。 全体的な性能は悪く、量的推論と構造的識別のタスクにおいて最も顕著な欠陥があった。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: As consumers increasingly turn to AI chatbots for skincare advice, the technical accuracy of Large Language Models (LLMs) in cosmetic chemistry remains largely under-evaluated. We benchmarked 14 LLMs on a structured set of topics related to cosmetic chemistry, including the chemical properties of specific cosmetic ingredients and common cosmetic scenarios that may be of interest to consumers. Web search was disabled throughout to assess each model's internalized knowledge rather than its internet retrieval capacity. Overall performance was poor, with the most pronounced deficits in quantitative reasoning and structural identification tasks. While models handled general skincare questions with reasonability, responses consistently lacked the technical depth required for informed consumer decision-making. Notably, conversation with AI can pose a risk: outputs that sound authoritative but contain technical errors are less likely to generate skepticism compared to responses that explicitly acknowledge uncertainty. These findings suggest that general-purpose LLMs, trained predominantly on unverified public data, are currently not reliable sources of cosmetic chemistry information. Progress on two fronts, fine-tuning verified chemical and dermatological datasets, and substantial improvements to algorithmic reasoning, will likely be needed before these tools can be considered as resources for public use.
• Abstract（参考訳）: 消費者がスキンケアのアドバイスのためにAIチャットボットに目を向けるにつれて、化粧品化学におけるLarge Language Models(LLMs)の技術的正確性はほとんど評価されていない。 化粧品成分の化学的性質や一般消費者に好まれる一般的な化粧品のシナリオなど,化粧品化学に関する構造化された話題について14のLCMをベンチマークした。 ウェブ検索は、各モデルの内部知識をインターネット検索能力ではなく評価するために全機能停止された。 全体的な性能は悪く、量的推論と構造的識別のタスクにおいて最も顕著な欠陥があった。 モデルは一般的なスキンケアの問題を推論可能性で扱ったが、消費者の意思決定に必要とされる技術的深度は一貫して欠けていた。 信頼できるが技術的エラーを含む出力は、不確実性を明確に認識する応答に比べて懐疑的になる可能性が低い。 これらの結果から, 一般向けLCMは, 現在, 化粧品の化学情報の信頼性が低いことが示唆された。 2つの面での進歩、微調整された化学・皮膚学的なデータセット、およびアルゴリズム推論の大幅な改善は、これらのツールが公共利用のためのリソースとして扱われる前に必要とされるだろう。

関連論文リスト

• Chem World: A Large-Scale Benchmark and Physics-Informed Framework for Trustworthy Chemical Property Prediction [8.367237766104159]
  化学特性予測のための総合的なベンチマークであるChem Worldを紹介する。 Chem Worldは17種類の化学データセットと800,000以上の分子サンプルを統合している。 また、物理インフォームドニューラルネットワークに基づく予測フレームワークであるMixture-PINNを提案する。
  論文  参考訳（メタデータ） (2026-07-30T11:50:52Z)
• Unveiling Latent Knowledge in Chemistry Language Models through Sparse Autoencoders [42.033443425253644]
  我々はスパースオートエンコーダ技術を拡張して化学言語モデル内の解釈可能な特徴を明らかにし,検討する。 以上の結果から,これらのモデルが化学概念の豊かな風景をエンコードしていることが判明した。 我々のアプローチは、化学にフォーカスしたAIシステムにおける潜在知識を明らかにするための一般的なフレームワークを提供する。
  論文  参考訳（メタデータ） (2025-12-08T22:20:01Z)
• QCBench: Evaluating Large Language Models on Domain-Specific Quantitative Chemistry [19.804237919102903]
  QCBenchは7つの化学サブフィールドにわたる350の計算化学問題からなる定量化学指向のベンチマークである。 それぞれの問題は、ショートカットを防止し、明示的な数値推論を要求するように構成されている。 QCBenchは、計算の弱点のきめ細かい診断を可能にし、モデル固有の制限を明らかにし、将来の改善の基盤となる。
  論文  参考訳（メタデータ） (2025-08-03T08:55:42Z)
• ChemAU: Harness the Reasoning of LLMs in Chemical Research with Adaptive Uncertainty Estimation [21.30938446415292]
  化学問題は通常、特定の用語を含む長い複雑な推論ステップを含む。 ChemAUは化学知識のギャップを特定し、特殊なドメインモデルで化学の専門知識を正確に補う。
  論文  参考訳（メタデータ） (2025-06-01T18:45:49Z)
• MedBrowseComp: Benchmarking Medical Deep Research and Computer Use [10.565661515629412]
  MedBrowseCompは、エージェントが医療事実を検索し、合成する能力を体系的にテストするベンチマークである。 臨床シナリオを反映した1,000以上の人為的な質問が含まれている。 MedBrowseCompをフロンティアエージェントシステムに適用すると、パフォーマンスの欠点が10%も低くなる。
  論文  参考訳（メタデータ） (2025-05-20T22:42:33Z)
• Exploring the Generalizability of Factual Hallucination Mitigation via Enhancing Precise Knowledge Utilization [49.95746521480879]
  PKUE(Precise Knowledge utilization Enhancement, 精密知識利用促進)を導入し, 正確かつ単純な事実質問に対する自己生成応答のモデルを微調整する。 大規模な実験により、PKUEはLLM全体の性能を著しく改善することが示された。
  論文  参考訳（メタデータ） (2025-02-26T13:34:52Z)
• Chemical knowledge-informed framework for privacy-aware retrosynthesis learning [72.39098405805318]
  現在の機械学習に基づくレトロシンセシスは、複数のソースからの反応データを1つのエッジに集め、予測モデルを訓練する。 このパラダイムは、組織の境界を越えた広範なデータ可用性を必要とするため、かなりのプライバシーリスクをもたらす。 本研究では, 化学知識インフォームド・フレームワーク (CKIF) について紹介する。
  論文  参考訳（メタデータ） (2025-02-26T13:13:24Z)
• Fact or Guesswork? Evaluating Large Language Models' Medical Knowledge with Structured One-Hop Judgments [108.55277188617035]
  大規模言語モデル(LLM)は、様々な下流タスクドメインで広く採用されているが、実際の医学的知識を直接呼び起こし、適用する能力は、まだ探索されていない。 標準化された語彙と知識グラフの包括的なリポジトリであるUMLS(Unified Medical Language System)から派生したデータセットであるMKJ(Messical Knowledge Judgment dataset)を紹介する。 バイナリ分類フレームワークを通じて、MKJは、簡潔なワンホップ文の妥当性を評価することによって、LCMが基本的な医学的事実を把握できることを評価する。
  論文  参考訳（メタデータ） (2025-02-20T05:27:51Z)
• ScholarChemQA: Unveiling the Power of Language Models in Chemical Research Question Answering [54.80411755871931]
  質問回答(QA)は、言語モデルの推論と知識の深さを効果的に評価する。 化学QAは、複雑な化学情報を理解しやすい形式に効果的に翻訳することで、教育と研究の両方において重要な役割を担っている。 このデータセットは、不均衡なデータ分散や、潜在的に有用である可能性のあるかなりの量の未ラベルデータを含む、典型的な現実世界の課題を反映している。 収集したデータを完全に活用して,化学的な問題に効果的に答えるQAMatchモデルを提案する。
  論文  参考訳（メタデータ） (2024-07-24T01:46:55Z)
• Are large language models superhuman chemists? [4.87961182129702]
  大規模言語モデル(LLM)は、人間の言語を処理し、明示的に訓練されていないタスクを実行する能力によって、広く関心を集めている。 本稿では,最新のLCMの化学知識と推論能力を評価する自動化フレームワークであるChemBenchを紹介する。 我々は2700以上の質問応答ペアをキュレートし、主要なオープンソースとクローズドソースのLCMを評価し、最良のモデルが最高の化学者より優れていることを発見した。
  論文  参考訳（メタデータ） (2024-04-01T20:56:25Z)
• ChemMiner: A Large Language Model Agent System for Chemical Literature Data Mining [56.15126714863963]
  ChemMinerは、文学から化学データを抽出するエンドツーエンドのフレームワークである。 ChemMinerには、コア参照マッピングのためのテキスト分析エージェント、非テキスト情報抽出のためのマルチモーダルエージェント、データ生成のための合成分析エージェントの3つの特殊エージェントが組み込まれている。 実験の結果,ヒト化学者に匹敵する反応同定率を示すとともに,高い精度,リコール,F1スコアで処理時間を著しく短縮した。
  論文  参考訳（メタデータ） (2024-02-20T13:21:46Z)
• Chemist-X: Large Language Model-empowered Agent for Reaction Condition Recommendation in Chemical Synthesis [55.30328162764292]
  Chemist-Xは、化学合成における反応条件最適化(RCO)タスクを自動化する包括的なAIエージェントである。 このエージェントは、検索強化世代(RAG)技術とAI制御のウェットラブ実験を実行する。 我々の自動ウェットラブ実験の結果は、LLMが制御するエンドツーエンドの操作を、ロボットに人間がいない状態で行うことで達成され、Chemist-Xの自動運転実験における能力が証明された。
  論文  参考訳（メタデータ） (2023-11-16T01:21:33Z)
• Unassisted Noise Reduction of Chemical Reaction Data Sets [59.127921057012564]
  本稿では,データセットから化学的に間違ったエントリを除去するための,機械学習に基づく無支援アプローチを提案する。 その結果,クリーン化およびバランスの取れたデータセットでトレーニングしたモデルの予測精度が向上した。
  論文  参考訳（メタデータ） (2021-02-02T09:34:34Z)
• Machine Learning in Nano-Scale Biomedical Engineering [77.75587007080894]
  ナノスケールバイオメディカルエンジニアリングにおける機械学習の利用に関する既存の研究について概説する。 ML問題として定式化できる主な課題は、3つの主要なカテゴリに分類される。 提示された方法論のそれぞれについて、その原則、応用、制限に特に重点を置いている。
  論文  参考訳（メタデータ） (2020-08-05T15:45:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。