論文の概要: MineralExp: Benchmarking LLM Agents for Experimental Design in Real-World Mineral Exploration
- arxiv url: http://arxiv.org/abs/2611.17931v1
- Date: Fri, 13 Nov 2026 09:10:58 GMT
- ステータス: 情報取得中
- システム内更新日: 2026-11-16 19:22:25.837674
- Title: MineralExp: Benchmarking LLM Agents for Experimental Design in Real-World Mineral Exploration
- Title(参考訳): ミネラルExp:実世界のミネラル探査における実験設計のためのLLMエージェントのベンチマーク
- Abstract要約: 本研究では,地球化学実験設計を仮説に基づく実験選択問題として再検討するベンチマークであるOronicExpを紹介する。
ミネラルExpは277のケースと1,572の実験計画で構成されている。
現在のエージェントは一般的に高いリコールを達成するが、精度は低く、仮説をテストするために必要以上に多くの実験を提案する傾向がある。
- 参考スコア(独自算出の注目度): 24.21946302882999
- License:
- Abstract: In mineral exploration, verifying geological hypotheses relies on designing a variety of geochemical experiments. While large language model (LLM) agents increasingly automate downstream geoscientific data analysis, a crucial upstream capability remains largely unexplored: automated geochemical experimental design, i.e., deciding which experiments to conduct before committing to costly laboratory work. Evaluating this capability of LLM agents is difficult for two reasons. First, geochemical experiments exhibit high methodological diversity and subjectivity: to test the same hypothesis, different geologists may choose different minerals and instruments, so no single protocol can serve as the reference answer. Second, open-ended experimental plans resist representation as structured labels, which makes objective scoring difficult. To address these challenges, we introduce MineralExp, a benchmark that reformulates geochemical experimental design as a hypothesis-based experiment selection problem, i.e., a multi-label classification problem. We abstract concrete instrument names and procedural details into a shared taxonomy of 19 experimental types across five mineral-system processes: Source, Transport, Deposition, Modification, and Preservation. This taxonomy yields deterministic multi-label targets while accommodating diverse experimental protocols. Constructed from published ore-deposit literature and verified by domain experts, MineralExp comprises 277 cases and 1,572 reference experimental plans. Given a geological hypothesis and initial context, an LLM agent selects the relevant tasks and generates concrete experimental plans, which are scored by multi-label classification metrics and an LLM-as-a-Judge metric. The experimental results show that current agents generally achieve high recall but low precision, tending to propose more experiments than are necessary to test the hypothesis.
- Abstract(参考訳): 鉱物探査において、地質仮説の検証は、様々な地球化学実験を設計することに依存する。
大規模言語モデル(LLM)エージェントは、下流の地質学的データ分析をますます自動化するが、重要な上流の能力はほとんど探索されていない: 自動的な地球化学実験設計、すなわち、コストのかかる実験にコミットする前にどの実験を行うかを決定する。
LLM剤のこの性能を評価することは2つの理由から難しい。
まず、地球化学実験は高い方法論的多様性と主観性を示す:同じ仮説をテストするために、異なる地質学者は異なる鉱物や機器を選択することができるため、単一のプロトコルが参照応答として機能することはない。
第二に、オープンエンドの実験計画では構造化ラベルとして表現に抵抗し、客観的なスコアリングが困難になる。
これらの課題に対処するために,地球化学実験設計を仮説に基づく実験選択問題,すなわちマルチラベル分類問題として再検討するベンチマークであるElectronExpを紹介する。
本研究は, 材料, 輸送, 堆積, 改質, 保存の5つのプロセスにまたがる, 実験種19種の共通分類に, 具体的名称と手続き的詳細を抽象化する。
この分類法は、様々な実験的プロトコルを調節しながら決定論的多ラベル目標を導出する。
ミネラルExpは277の事例と1,572の基準実験計画からなる。
地質学的な仮説と初期文脈が与えられた場合、LLMエージェントは関連するタスクを選択し、多ラベル分類メトリクスとLLM-as-a-Judgeメトリックによってスコア付けされた具体的な実験計画を生成する。
実験の結果、現在のエージェントは一般的に高いリコールを達成できるが、精度は低いことが示され、仮説をテストするのに必要以上の実験を提案する傾向がある。
関連論文リスト
- HERA: Assessing an Autonomous Agent for Quantum Device Measurement [1.041244287595653]
大規模な言語モデルエージェントは実験室での測定を始めているが、その科学的結論は精査された上でのみ有用である。
ここでは、量子デバイスの低温輸送測定を行うための自律エージェントHERAを紹介する。
論文 参考訳(メタデータ) (2026-10-29T00:08:00Z) - Autonomous Quantum Measurement with Agentic AI [1.7723033775020511]
量子エージェント(quantum Agent、quantum Agent)は、自律的な量子材料評価のためのエージェント人工知能フレームワークである。
quNTAをエビデンス駆動・安全保護・クローズドループ量子材料評価のための一般化可能なフレームワークとして実証する。
論文 参考訳(メタデータ) (2026-10-28T20:33:06Z) - GeoChemAD: Benchmarking Unsupervised Geochemical Anomaly Detection for Mineral Exploration [13.303017158769798]
textbfGeoChemADは、政府主導の地質調査からコンパイルされたオープンソースのベンチマークデータセットである。
textbfGeoChemFormerはトランスフォーマーベースのフレームワークで、空間サンプルのターゲット要素を意識した地球化学的表現を学習する。
論文 参考訳(メタデータ) (2026-03-13T15:14:57Z) - Evaluating Large Language Models in Scientific Discovery [91.732562776782]
大規模言語モデル (LLMs) は科学研究にますます応用されてきているが、科学ベンチマークでは非文脈化された知識を探索している。
生物, 化学, 材料, 物理にまたがるLSMを評価するシナリオグラウンドベンチマークを提案する。
このフレームワークは、(i)シナリオタイドアイテムの質問レベル精度と(ii)プロジェクトレベルのパフォーマンスの2つのレベルでモデルを評価する。
論文 参考訳(メタデータ) (2025-12-17T16:20:03Z) - ExpVid: A Benchmark for Experiment Video Understanding & Reasoning [65.17173232816818]
科学実験ビデオ上でMLLMを体系的に評価する最初のベンチマークであるExpVidを紹介する。
ExpVid 上で 19 個のMLLM を評価し, 粗粒度認識に優れる一方で, 詳細さの曖昧化, 時間経過による状態変化の追跡, 実験手順と科学的成果のリンクに苦慮していることがわかった。
この結果から,特に高次推論において,プロプライエタリモデルとオープンソースモデルとの顕著なパフォーマンスギャップが明らかとなった。
論文 参考訳(メタデータ) (2025-10-13T16:45:28Z) - MOOSE-Chem2: Exploring LLM Limits in Fine-Grained Scientific Hypothesis Discovery via Hierarchical Search [102.11776494401705]
大規模言語モデル (LLM) は科学的仮説生成の自動化において有望であることを示している。
既存のアプローチは主に、批判的な方法論や実験的な詳細を欠いた粗粒の仮説を導出する。
我々は、科学的仮説発見の新しいタスクを導入し、正式に定義する。
論文 参考訳(メタデータ) (2025-05-25T16:13:46Z) - MOOSE-Chem3: Toward Experiment-Guided Hypothesis Ranking via Simulated Experimental Feedback [136.27567671480156]
先行テストからのフィードバックに基づいて仮説を優先順位付けする実験誘導ランキングを導入する。
我々は、シーケンシャルな意思決定問題として実験誘導型ランキングを定めている。
我々のアプローチは、実験前のベースラインと強い改善を著しく上回る。
論文 参考訳(メタデータ) (2025-05-23T13:24:50Z) - Autonomous Materials Discovery Driven by Gaussian Process Regression
with Inhomogeneous Measurement Noise and Anisotropic Kernels [1.976226676686868]
実験分野の大半は、新しい科学的発見を探すために、大規模で高次元のパラメータ空間を探索するという課題に直面している。
近年の進歩により、探査プロセスの自動化が進み、材料発見の効率が向上した。
ガンマプロセス回帰(GPR)技術は多くの種類の実験を操る方法として登場した。
論文 参考訳(メタデータ) (2020-06-03T19:18:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。