論文の概要: Agentic self-driving microscopy benchmarks support qualification but do not necessarily generalize to unseen tasks

• arxiv url: http://arxiv.org/abs/2608.05266v1
• Date: Wed, 05 Aug 2026 17:58:53 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-07 17:43:06.654134
• Title: Agentic self-driving microscopy benchmarks support qualification but do not necessarily generalize to unseen tasks
• Title（参考訳）: エージェント型自動顕微鏡ベンチマークは、必ずしも見つからないタスクに一般化するとは限らない
• Abstract要約: 大規模な言語モデルエージェントは、幅広い科学的特徴付けツールを制御するために、ますます開発されている。 顕微鏡エージェントの設計には、LSMの選択、使用するエージェントの数、エージェント責任、デリゲートルールなど、多くの選択肢がある。 本研究では, エージェントアーキテクチャの異なる選択がマイクロスコープタスクのパフォーマンスに与える影響を明らかにするベンチマークおよびトレースログフレームワークを開発し, b) 特定のエージェントが顕微鏡タスクでうまく動作するかどうかを予測するベンチマークの限界を明らかにする。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large language model agents are increasingly being developed to control a wide range of scientific characterization tools including microscopes and synchrotron beamlines. Research into agentic control of physical infrastructure is nascent and there are few well-established paradigms for how to engineer an agentic system. There are many choices to make when designing a microscopy agent, including the choice of LLM, the number of agents to use, agent responsibilities and delegation rules, retrieval-augmented generation parameters, and more. When designing and optimizing an agentic microscope controller, researchers not only want to ensure that the agent can correctly perform known tasks but also that the agent can generalize to new tasks that it has not encountered before. In this study, we develop a benchmark and trace-logging framework that reveals a) how different choices of agent architecture impact performance at microscopy tasks and b) the limitations of benchmarks for predicting if a particular agent will perform well on unseen microscopy tasks. The framework was used to evaluate one-, two-, and three-agent graph topologies, five LLMs, RAG and context parameters, and operational constraints across 53 microscopy benchmark tests. In total, 105 agent configurations, 1,949 individual test runs, and 49,109 RAG retrievals were recorded. Direct comparisons showed clear differences in latency, token use, cost, and failure mode between configurations. However, surrogate models trained on agent architecture and test results did not reliably predict an agent's performance on new, unseen tasks. These results show that these benchmarks are useful for qualification, regression testing, diagnosis, and direct comparison, but the current heterogeneous test suite does not support a task-independent global configuration model.
• Abstract（参考訳）: 大規模な言語モデルエージェントは、顕微鏡やシンクロトロンビームラインを含む幅広い科学的特徴付けツールを制御するために、ますます開発されている。 物理インフラのエージェント制御の研究は初期段階にあり、エージェントシステムを設計する方法の確立されたパラダイムがほとんどない。 顕微鏡エージェントの設計には、LSMの選択、使用するエージェントの数、エージェントの責任と委譲ルール、検索強化された生成パラメータなど、多くの選択肢がある。 エージェント顕微鏡コントローラを設計し最適化する場合、研究者はエージェントが既知のタスクを正しく実行できることを保証するだけでなく、エージェントがこれまで遭遇したことのない新しいタスクに一般化できることを望んでいる。 本研究では,ベンチマークとトレースログフレームワークを開発した。 a) エージェントアーキテクチャの異なる選択が顕微鏡作業におけるパフォーマンスにどのように影響するか b) 特定のエージェントが未確認の顕微鏡タスクで正常に機能するかどうかを予測するためのベンチマークの制限。 このフレームワークは、1つ、2つ、3つのエージェントグラフトポロジー、5つのLCM、RAGとコンテキストパラメータ、53の顕微鏡ベンチマークテストの運用上の制約を評価するために使用された。 計105のエージェント構成、1,949の個別テスト実行、49,109のRAG検索が記録された。 直接的な比較では、設定間のレイテンシ、トークン使用、コスト、障害モードに明確な違いが見られた。 しかし、エージェントアーキテクチャとテスト結果に基づいてトレーニングされた代理モデルでは、新しい未知のタスクにおいてエージェントのパフォーマンスを確実に予測することはできなかった。 これらの結果から、これらのベンチマークは、資格、回帰テスト、診断、直接比較に有用であるが、現在の異種テストスイートはタスク非依存のグローバル構成モデルをサポートしていない。

関連論文リスト

• AgentHPOBench: A Benchmark For Evaluating LLM Agents as Sequential Hyperparameter Optimizers [39.39345650320786]
  AgentHPOBenchは、7つの研究カテゴリにわたる30の実行可能な機械学習タスクからなる逐次ベンチマークである。 広範に使用されている12のエージェントと従来型のHPOベースラインを統一プロトコルで評価した。 その結果、現在のエージェントは、ドメイン間で測定可能な実験最適化能力を示すが、継続的改善、複雑なログ診断、報告された参照性能への一貫した進歩において、明確な制限に直面していることがわかった。
  論文  参考訳（メタデータ） (2026-07-31T16:58:00Z)
• Multi-Agent LLM Collaboration for Unit Test Generation via Human-Testing-Inspired Workflows [18.32804849870551]
  大規模言語モデル(LLM)は、自動単体テスト生成の研究を急加速させた。 マルチエージェント協調機構を用いて,人間のテストプラクティスをエミュレートするLLMベースのテスト生成手法であるTestAgentを提案する。 TestAgentは97.46%の実行率、92.34%のラインカバレッジ、90.24%のブランチカバレッジ、6つのJavaプロジェクトで83.69%の突然変異スコアを達成した。
  論文  参考訳（メタデータ） (2026-07-10T05:16:54Z)
• Towards a Virtual Neuroscientist: Autonomous Neuroimaging Analysis via Multi-Agent Collaboration [53.772014300855375]
  我々は,自律型エンドツーエンド神経画像解析のためのマルチエージェントシステムであるNIAgentを紹介する。 従来のフラットなツール呼び出しエージェントとは異なり、NIAgentはコード中心の実行パラダイムを採用している。 本稿では,コホートレベルの検定とエージェント視覚検査を組み合わせた,自律的品質管理のための階層的検証フレームワークを提案する。
  論文  参考訳（メタデータ） (2026-05-10T06:30:19Z)
• Can Coding Agents Reproduce Findings in Computational Materials Science? [49.254975563645786]
  本稿では,大規模言語モデルの科学的主張を再現する能力を評価するためのベンチマークであるAutoMatを紹介する。 課題を専門とする専門家と緊密に連携することで、実際の材料科学論文からの一連の主張をキュレートし、コーディングエージェントがエンドツーエンドのワークフローを回復し実行できるかどうかを検証します。 結果、現在のLSMベースのエージェントはAutoMatの全体的な成功率を低くし、最も優れた設定は54.1%に過ぎなかった。
  論文  参考訳（メタデータ） (2026-05-01T17:42:12Z)
• Agent psychometrics: Task-level performance prediction in agentic coding benchmarks [24.348135523715815]
  本稿では,エージェントプログラミング体制に合わせて,個々のタスクにおける成功や失敗を予測する枠組みを提案する。 我々のアプローチは、イシューステートメント、リポジトリコンテキスト、ソリューション、テストケースなど、タスクから抽出された豊富な機能を備えたアイテム応答理論(IRT)を拡張します。
  論文  参考訳（メタデータ） (2026-04-01T07:59:59Z)
• AgentRouter: A Knowledge-Graph-Guided LLM Router for Collaborative Multi-Agent Question Answering [51.07491603393163]
  tAgentは知識グラフ誘導ルーティング問題としてマルチエージェントQAを定式化するフレームワークである。 エージェントアウトプットのソフトな監督と重み付けされた集約を活用することで、エージェントは多様なエージェントの相補的な強みを捉える、原則化された協調スキームを学ぶ。
  論文  参考訳（メタデータ） (2025-10-06T23:20:49Z)
• AutoLabs: Cognitive Multi-Agent Systems with Self-Correction for Autonomous Chemical Experimentation [0.10999592665107412]
  AutoLabsは、自然言語命令を自動で実行可能なプロトコルに変換するように設計された、自己修正型マルチエージェントアーキテクチャである。 複雑化に関する5つのベンチマーク実験を特徴とする総合評価フレームワークを提案する。 以上の結果から,エージェント推論能力が成功の最も重要な要因であることが示唆された。
  論文  参考訳（メタデータ） (2025-09-30T01:51:46Z)
• Visual Document Understanding and Question Answering: A Multi-Agent Collaboration Framework with Test-Time Scaling [83.78874399606379]
  テスト時間スケーリングを備えたマルチエージェント協調フレームワークであるMACTを提案する。 4つの異なる小規模エージェントから構成され、明確に定義された役割と効果的なコラボレーションがある。 一般および数学的タスクの能力を犠牲にすることなく、より小さなパラメータスケールで優れた性能を示す。
  論文  参考訳（メタデータ） (2025-08-05T12:52:09Z)
• AGENTIF: Benchmarking Instruction Following of Large Language Models in Agentic Scenarios [51.46347732659174]
  LLM(Large Language Models)は、現実世界のエージェントアプリケーションにおいて高度な機能を示す。 AgentIFは、エージェントシナリオでLLM命令に従う能力を体系的に評価する最初のベンチマークである。
  論文  参考訳（メタデータ） (2025-05-22T17:31:10Z)
• Autonomous Microscopy Experiments through Large Language Model Agents [4.241267255764773]
  大規模言語モデル(LLM)は、材料研究のための自己運転実験室(SDL)に革命をもたらしている。 LLM駆動エージェントによる原子間力顕微鏡の自動化フレームワークであるArtificially Intelligent Lab Assistant (AILA)を紹介する。 アートモデルの現状が,基本的なタスクや調整シナリオに苦労していることに気付きました。
  論文  参考訳（メタデータ） (2024-12-18T09:35:28Z)
• MatPlotAgent: Method and Evaluation for LLM-Based Agentic Scientific Data Visualization [86.61052121715689]
  MatPlotAgentは、科学的データ可視化タスクを自動化するために設計された、モデルに依存しないフレームワークである。 MatPlotBenchは、100人の検証されたテストケースからなる高品質なベンチマークである。
  論文  参考訳（メタデータ） (2024-02-18T04:28:28Z)
• MLAgentBench: Evaluating Language Agents on Machine Learning Experimentation [96.71370747681078]
  我々は,CIFAR-10におけるモデル性能の改善から,BabyLMのような最近の研究課題まで,13のタスクからなるMLAgentBenchを紹介した。 各タスクに対して、エージェントはファイルの読み書き、コードの実行、出力の検査などのアクションを実行することができる。 我々は、Claude v1.0、Claude v2.1、Claude v3 Opus、GPT-4、GPT-4-turbo、Gemini-Pro、Mixtralに基づいてベンチマークエージェントをベンチマークし、Claude v3 Opusエージェントが成功率の点で最高であることを示す。
  論文  参考訳（メタデータ） (2023-10-05T04:06:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。