論文の概要: Evaluating LLM-based AI agents integrated with materials synthesis tools: the case of atomic layer deposition

• arxiv url: http://arxiv.org/abs/2608.29309v1
• Date: Sat, 29 Aug 2026 14:51:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-01 18:31:30.921319
• Title: Evaluating LLM-based AI agents integrated with materials synthesis tools: the case of atomic layer deposition
• Title（参考訳）: 材料合成ツールと統合されたLLMベースのAIエージェントの評価:原子層堆積の場合
• Abstract要約: この研究は、材料合成のための大規模言語モデル(LLM)に基づくAIモデルとエージェントの性能評価に使用できるさまざまな戦略の概要を提供する。
• 参考スコア（独自算出の注目度）: 0.013537117504260622
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This work provides an overview of the different strategies that can be used to evaluate the performance of AI models and agents based on large language models (LLMs) for materials synthesis. After providing a brief overview of the key technologies behind the current generation of AI agents based on LLMs, we summarize the different approaches to evaluating these models in the context of materials science and in particular on materials synthesis, with a specific emphasis on scenarios in which the models are directly integrated with experimental tools. We discuss evaluation strategies spanning knowledge and reasoning benchmarks, tool-use benchmarks, and closed loop benchmarks involving the interaction with experimental systems or realistic virtual tools. We use atomic layer deposition (ALD) as a case study, emphasizing how existing approaches in the literature both build from general approaches used beyond materials science and can be generalized to other materials synthesis techniques. Finally, we provide a practical evaluation framework to evaluate LLMs in the context of materials synthesis
• Abstract（参考訳）: この研究は、材料合成のための大規模言語モデル(LLM)に基づくAIモデルとエージェントの性能評価に使用できるさまざまな戦略の概要を提供する。 LLMをベースとした現在のAIエージェントの背景にある重要な技術の概要を概説した後、これらのモデルを材料科学、特に材料合成の文脈で評価するための様々なアプローチを要約し、モデルが実験ツールと直接統合されるシナリオに特に重点を置いている。 本稿では,知識と推論のベンチマーク,ツール使用のベンチマーク,実験システムや現実的な仮想ツールとのインタラクションを含むクローズドループベンチマークを対象とする評価戦略について議論する。 我々は、原子層堆積(ALD)をケーススタディとして使用し、文献における既存のアプローチが、材料科学以外の一般的なアプローチからどのように構築され、他の材料合成技術に一般化できるかを強調した。 最後に、材料合成の文脈でLCMを評価するための実践的評価フレームワークを提供する。

関連論文リスト

• Coupling Language Models with Physics-based Simulation for Synthesis of Inorganic Materials [31.895328442910937]
  無機合成計画におけるLarge Language Models (LLM) の評価のための新しいフレームワークを提案する。 我々は, 工業的に関係のある複数の酸化物相を特徴とするニオブ-酸素系に着目する。 評価設定では、古典的な探索手法は直接競合ではなく、主にホイルとして機能する。
  論文  参考訳（メタデータ） (2026-05-29T19:41:29Z)
• PeroMAS: A Multi-agent System of Perovskite Material Discovery [51.859972927223936]
  ペロブスカイト太陽電池(PSC)は優れた光電子性能とコストポテンシャルで有名である。 既存のAIアプローチは主に、マテリアルデザイン、プロセス最適化、プロパティ予測など、独立したモデルに焦点を当てている。 ペロブスカイト材料発見のためのマルチエージェントシステムPeroMASを提案する。
  論文  参考訳（メタデータ） (2026-02-10T09:33:06Z)
• Towards Agentic Intelligence for Materials Science [73.4576385477731]
  この調査は、コーパスキュレーションからプレトレーニングから、シミュレーションと実験プラットフォームに面した目標条件付きエージェントまで、ユニークなパイプライン中心の視点を推し進める。 コミュニティをブリッジし、参照の共有フレームを確立するために、まず、AIと材料科学をまたいだ用語、評価、ワークフローの段階を整列する統合レンズを提示する。
  論文  参考訳（メタデータ） (2026-01-29T23:48:43Z)
• LeMat-Synth: a multi-modal toolbox to curate broad synthesis procedure databases from scientific literature [60.879220305044726]
  本稿では,大規模言語モデル (LLM) と視覚言語モデル (VLM) を用いて合成手順と性能データを自動抽出・整理するマルチモーダルツールボックスを提案する。 LeMat-Synth (v 1.0):35種類の合成法と16種類の材料クラスにまたがる合成手順を含むデータセット。 我々は,新しいコーパスと合成ドメインへのコミュニティ主導の拡張をサポートするために設計された,モジュール形式のオープンソースライブラリをリリースする。
  論文  参考訳（メタデータ） (2025-10-28T17:58:18Z)
• How do Large Language Models Understand Relevance? A Mechanistic Interpretability Perspective [64.00022624183781]
  大規模言語モデル(LLM)は、関連性を評価し、情報検索(IR)タスクをサポートする。 メカニスティック・インタプリタビリティのレンズを用いて,異なるLLMモジュールが関係判断にどのように寄与するかを検討する。
  論文  参考訳（メタデータ） (2025-04-10T16:14:55Z)
• Evaluating LLM-based Agents for Multi-Turn Conversations: A Survey [64.08485471150486]
  本研究では,大規模言語モデル(LLM)に基づくマルチターン対話環境におけるエージェントの評価手法について検討する。 我々は250近い学術資料を体系的にレビューし、様々な出版場所から芸術の状態を捉えた。
  論文  参考訳（メタデータ） (2025-03-28T14:08:40Z)
• Towards Fully-Automated Materials Discovery via Large-Scale Synthesis Dataset and Expert-Level LLM-as-a-Judge [6.500470477634259]
  本研究は,実践的でデータ駆動型資源を提供することで,材料科学コミュニティを支援することを目的としている。 オープンアクセス文献から17Kのエキスパートが検証した合成レシピの包括的データセットを収集した。 AlchemicalBenchは、合成予測に適用された大規模言語モデルの研究をサポートするエンドツーエンドフレームワークを提供する。
  論文  参考訳（メタデータ） (2025-02-23T06:16:23Z)
• Mining experimental data from Materials Science literature with Large Language Models: an evaluation study [1.9849264945671101]
  本研究は,大規模言語モデル (LLM) の教材科学における科学的資料から構造化情報を抽出する能力を評価することを目的としている。 我々は,情報抽出における2つの重要な課題に焦点をあてる: (i) 研究材料と物性の名前を付けたエンティティ認識(NER) と, (ii) それらのエンティティ間の関係抽出(RE) である。 これらのタスクの実行におけるLCMの性能は、BERTアーキテクチャとルールベースのアプローチ(ベースライン)に基づいて従来のモデルと比較される。
  論文  参考訳（メタデータ） (2024-01-19T23:00:31Z)
• T-Eval: Evaluating the Tool Utilization Capability of Large Language Models Step by Step [69.64348626180623]
  大規模言語モデル (LLM) は様々なNLPタスクにおいて顕著な性能を達成した。 LLMのツール活用能力の評価と分析方法はまだ未検討である。 ツール利用能力を段階的に評価するためにT-Evalを導入する。
  論文  参考訳（メタデータ） (2023-12-21T17:02:06Z)
• Artificial intelligence approaches for materials-by-design of energetic materials: state-of-the-art, challenges, and future directions [0.0]
  我々は,AIによる材料設計の進歩とそのエネルギー材料への応用についてレビューする。 文献における手法を,少数のデータから学習する能力の観点から評価する。 本稿では,メタラーニング,アクティブラーニング,ベイズラーニング,半/弱教師付きラーニングなど,EM教材の今後の研究方向性について提案する。
  論文  参考訳（メタデータ） (2022-11-15T14:41:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。