論文の概要: Autonomous Microscopy Experiments through Large Language Model Agents

• arxiv url: http://arxiv.org/abs/2501.10385v1
• Date: Wed, 18 Dec 2024 09:35:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-02 07:18:59.967479
• Title: Autonomous Microscopy Experiments through Large Language Model Agents
• Title（参考訳）: 大規模言語モデルエージェントによる自律顕微鏡実験
• Authors: Indrajeet Mandal, Jitendra Soni, Mohd Zaki, Morten M. Smedskjaer, Katrin Wondraczek, Lothar Wondraczek, Nitya Nand Gosvami, N. M. Anoop Krishnan,
• Abstract要約: 大規模言語モデル(LLM)は、材料研究のための自動運転研究所(SDL)の開発を加速させた。 本稿では,原子間力顕微鏡(AFM)を自動化するフレームワークであるAILA(Artificially Intelligent Lab Assistant)を紹介する。 我々の体系的な評価は、最先端の言語モデルがドキュメント検索のような基本的なタスクに悩まされていることを示している。
• 参考スコア（独自算出の注目度）: 4.241267255764773
• License:
• Abstract: The emergence of large language models (LLMs) has accelerated the development of self-driving laboratories (SDLs) for materials research. Despite their transformative potential, current SDL implementations rely on rigid, predefined protocols that limit their adaptability to dynamic experimental scenarios across different labs. A significant challenge persists in measuring how effectively AI agents can replicate the adaptive decision-making and experimental intuition of expert scientists. Here, we introduce AILA (Artificially Intelligent Lab Assistant), a framework that automates atomic force microscopy (AFM) through LLM-driven agents. Using AFM as an experimental testbed, we develop AFMBench-a comprehensive evaluation suite that challenges AI agents based on language models like GPT-4o and GPT-3.5 to perform tasks spanning the scientific workflow: from experimental design to results analysis. Our systematic assessment shows that state-of-the-art language models struggle even with basic tasks such as documentation retrieval, leading to a significant decline in performance in multi-agent coordination scenarios. Further, we observe that LLMs exhibit a tendency to not adhere to instructions or even divagate to additional tasks beyond the original request, raising serious concerns regarding safety alignment aspects of AI agents for SDLs. Finally, we demonstrate the application of AILA on increasingly complex experiments open-ended experiments: automated AFM calibration, high-resolution feature detection, and mechanical property measurement. Our findings emphasize the necessity for stringent benchmarking protocols before deploying AI agents as laboratory assistants across scientific disciplines.
• Abstract（参考訳）: 大規模言語モデル(LLM)の出現は、材料研究のための自動運転実験室(SDL)の開発を加速させた。 トランスフォーメーションの可能性にもかかわらず、現在のSDL実装は、様々な研究室にわたる動的実験シナリオへの適応性を制限する、厳密で事前定義されたプロトコルに依存している。 重要な課題は、AIエージェントが専門家の適応的な意思決定と実験的な直感をいかに効果的に再現できるかを測定することである。 本稿では,原子間力顕微鏡(AFM)を自動化するフレームワークであるAILA(Artificially Intelligent Lab Assistant)を紹介する。 実験的なテストベッドとしてAFMを用いて、実験的な設計から結果分析まで、科学的なワークフローにまたがるタスクを実行するために、GPT-4oやGPT-3.5といった言語モデルに基づくAIエージェントに挑戦する、総合的な評価スイートであるAFMBenchを開発した。 我々の体系的な評価は、最先端の言語モデルがドキュメント検索のような基本的なタスクでも苦労していることを示し、マルチエージェント調整シナリオにおけるパフォーマンスが著しく低下していることを示している。 さらに、LSMは指示に従わない傾向や、元の要求を超える追加のタスクに希釈する傾向を示し、SDLのAIエージェントの安全性の整合性に関する深刻な懸念を提起する。 最後に、AILAのオープンエンド実験(自動AFM校正、高分解能特徴検出、機械的特性測定)への応用を実証する。 我々の研究は、AIエージェントを実験室のアシスタントとして科学分野に展開する前に、厳密なベンチマークプロトコルの必要性を強調した。

関連論文リスト

• MLGym: A New Framework and Benchmark for Advancing AI Research Agents [51.9387884953294]
  我々はMeta MLGymとMLGym-Benchを紹介した。これはAI研究タスクにおける大規模言語モデルの評価と開発のための新しいフレームワークとベンチマークである。 これは機械学習(ML)タスクのための最初のGym環境であり、そのようなエージェントをトレーニングするための強化学習(RL)アルゴリズムの研究を可能にする。 我々は、Claude-3.5-Sonnet、Llama-3.1 405B、GPT-4o、o1-preview、Gemini-1.5 Proなどのベンチマークで、多くのフロンティア大言語モデル(LLM)を評価した。
  論文  参考訳（メタデータ） (2025-02-20T12:28:23Z)
• Representation Learning of Lab Values via Masked AutoEncoder [2.785172582119726]
  逐次的な実験値の計算のためのトランスフォーマーベースのマスク付きオートエンコーダフレームワークであるLab-MAEを提案する。 MIMIC-IVデータセットの実験的評価は、Lab-MAEが最先端のベースラインを大幅に上回っていることを示している。 Lab-MAEは、患者の人口集団間で同等のパフォーマンスを達成し、臨床予測において公平性を向上させる。
  論文  参考訳（メタデータ） (2025-01-05T20:26:49Z)
• Can Modern LLMs Act as Agent Cores in Radiology Environments? [54.36730060680139]
  大規模言語モデル(LLM)は、様々な領域にわたる精度と解釈性の向上を提供する。 本論文は, コンクリートラジオロジー剤構築の前提条件について検討することを目的とする。 LLMをベースとしたエージェントのための総合的な総合的総合評価データセットRadABench-Dataを提案する。 第二にRadABench-EvalPlatは、プロンプト駆動ワークフローを特徴とするエージェントのための新しい評価プラットフォームである。
  論文  参考訳（メタデータ） (2024-12-12T18:20:16Z)
• Agents for self-driving laboratories applied to quantum computing [2.840384720502993]
  本稿では,実験者の実験知識の組織化とエージェントによる実験の自動化を支援するため,k-agentsフレームワークを提案する。 本フレームワークでは,実験結果の分析方法を含む実験室の知識をカプセル化するために,大規模言語モデルに基づくエージェントを用いている。 実験を自動化するために,複数ステップの実験手順をステートマシンに分割し,他のエージェントと対話して各ステップの実行を行い,実験結果を解析する実行エージェントを導入する。
  論文  参考訳（メタデータ） (2024-12-10T23:30:44Z)
• ML Research Benchmark [0.0]
  MLRB(ML Research Benchmark)は,最近の機械学習カンファレンスのトラックから派生した7つの競合レベルタスクからなる。 本稿では,Claude-3 や GPT-4o などのフロンティアモデルを用いたエージェント足場を用いて,新しいベンチマークを提案し,評価する。 結果は、Claude-3.5 Sonnetエージェントがベンチマーク全体で最高のパフォーマンスを示し、機械学習モデルの設計と開発に優れていたことを示唆している。
  論文  参考訳（メタデータ） (2024-10-29T21:38:42Z)
• Proactive Agent: Shifting LLM Agents from Reactive Responses to Active Assistance [95.03771007780976]
  我々は、人間の指示なしにタスクを予測および開始できるプロアクティブエージェントを開発するという課題に取り組む。 まず,実世界の人的活動を収集し,前向きなタスク予測を生成する。 これらの予測は、ヒトのアノテータによって受け入れられるか拒否されるかのどちらかとしてラベル付けされる。 ラベル付きデータは、人間の判断をシミュレートする報酬モデルをトレーニングするために使用される。
  論文  参考訳（メタデータ） (2024-10-16T08:24:09Z)
• MLR-Copilot: Autonomous Machine Learning Research based on Large Language Models Agents [10.86017322488788]
  大規模言語モデルを用いた自律型機械学習研究(MLR-Copilot)を提案する。 大規模言語モデル(LLM)エージェントを用いた研究アイデアの自動生成と実装を通じて、機械学習研究の生産性を向上させるように設計されている。 我々は,5つの機械学習研究課題に関するフレームワークを評価し,研究の進展とイノベーションを促進するためのフレームワークの可能性を示す実験結果を示した。
  論文  参考訳（メタデータ） (2024-08-26T05:55:48Z)
• DISCOVERYWORLD: A Virtual Environment for Developing and Evaluating Automated Scientific Discovery Agents [49.74065769505137]
  本研究では,新しい科学的発見の完全なサイクルを実行するエージェントの能力を開発し,ベンチマークする最初の仮想環境であるDiscoVERYWORLDを紹介する。 8つのトピックにまたがる120の異なる課題タスクが含まれており、3レベルの難易度といくつかのパラメトリックなバリエーションがある。 従来の環境においてよく機能する強力なベースラインエージェントが、ほとんどのdiscoVERYWORLDタスクに苦労していることがわかった。
  論文  参考訳（メタデータ） (2024-06-10T20:08:44Z)
• CRISPR-GPT: An LLM Agent for Automated Design of Gene-Editing Experiments [51.41735920759667]
  大規模言語モデル(LLM)は様々なタスクにおいて有望であるが、しばしば特定の知識が欠如し、生物学的設計の問題を正確に解くのに苦労する。 本研究では,CRISPRに基づく遺伝子編集実験の設計プロセスを自動化するために,ドメイン知識と外部ツールを付加したLCMエージェントであるCRISPR-GPTを紹介する。
  論文  参考訳（メタデータ） (2024-04-27T22:59:17Z)
• MLXP: A Framework for Conducting Replicable Experiments in Python [63.37350735954699]
  MLXPはPythonをベースとした,オープンソースの,シンプルで,軽量な実験管理ツールである。 実験プロセスを最小限のオーバーヘッドで合理化し、高いレベルの実践的オーバーヘッドを確保します。
  論文  参考訳（メタデータ） (2024-02-21T14:22:20Z)
• A Comprehensive Performance Study of Large Language Models on Novel AI Accelerators [2.88634411143577]
  大規模言語モデル(LLM)は、いくつかの課題に対処するための有望なアプローチと考えられている。 専門のAIアクセラレータハードウェアシステムは、最近、AIアプリケーションの高速化に利用できるようになった。
  論文  参考訳（メタデータ） (2023-10-06T21:55:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。