論文の概要: CME-SpectrumBench: Can LLMs Analyze Condensed Matter Spectral Data?

• arxiv url: http://arxiv.org/abs/2610.24304v1
• Date: Fri, 16 Oct 2026 22:58:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-26 02:26:38.159224
• Title: CME-SpectrumBench: Can LLMs Analyze Condensed Matter Spectral Data?
• Title（参考訳）: CME-SpectrumBench: LLMは凝縮物質スペクトルデータを分析できるか?
• Abstract要約: CME-SpectrumBenchは190の質問からなる専門家設計のベンチマークである。 ノイズに直面した2次元インテンシティアレイから構造を同定するようモデルに促す。 モデルは、彼らの数値的な答えが基底的真実にどれだけ正確に近づくかによってスコア付けされる。
• 参考スコア（独自算出の注目度）: 28.77853081967918
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large Language Models (LLMs) are presently well assessed by expert-level mathematics and physics benchmarks which focus on theoretical, symbolic reasoning. However, we lack experimental benchmarks that evaluate data analysis in frontier research problems, a capability that future domain-specific foundation models must have. To this end, we present CME-SpectrumBench, an expert-designed benchmark consisting of 190 questions that measures how reliably frontier LLMs analyze research-level spectral scientific data in condensed matter experiments (CME). Using simulated CME spectral data, we prompt models to identify structures from 2D intensity arrays in the face of noise and limited instrumental resolution, a test of dense context reasoning. Models are scored by how accurately their numerical answers approach the ground truth. Under direct query, scores generally pale in comparison to handwritten code due to clear failure modes: models can find simple features but struggle to trace patterns or compute derived quantities, and performance typically degrades with increased data resolution and noise/convolution levels. LLM performance becomes comparable to handwritten code by allowing tool use (access to a Python interpreter) with/without ReAct prompting, in effect mapping questions onto agentic code generation problems. Our findings show that frontier models can serve as research assistants by interfacing with data through code, but still face difficulties processing information directly from large datasets - a key barrier future foundation models must overcome. The code and data are publicly available at https://huggingface.co/datasets/jingene/CMESpectrumBench.
• Abstract（参考訳）: 大規模言語モデル(LLM)は現在、理論的、象徴的推論に焦点を当てた専門家レベルの数学と物理学のベンチマークによってよく評価されている。 しかし、我々は、将来のドメイン固有の基礎モデルが持つべき機能である、フロンティア研究問題におけるデータ分析を評価するための実験的なベンチマークを欠いている。 この目的のために、CME-SpectrumBenchは、190の質問からなる専門家設計のベンチマークであり、凝縮物質実験(CME)における研究レベルのスペクトル科学的データをいかに確実に分析するかを測定する。 シミュレーションしたCMEスペクトルデータを用いて,雑音や楽器分解能に制限のある2次元強度アレイから構造を同定する。 モデルは、彼らの数値的な答えが基底的真実にどれだけ正確に近づくかによってスコア付けされる。 モデルは単純な特徴を見つけることができるが、パターンをトレースしたり、派生した量を計算するのに苦労し、パフォーマンスは通常、データ解像度とノイズ/畳み込みレベルが向上して低下する。 LLMのパフォーマンスは、ツールの使用(Pythonインタプリタへのアクセス)とReActプロンプト、事実上のエージェントコード生成問題への質問のマッピングを可能にすることで、手書きコードに匹敵するようになる。 私たちの研究によると、フロンティアモデルは、コードを介してデータと対話することで研究アシスタントとして機能するが、大きなデータセットからの情報を直接処理することが困難に直面している。 コードとデータはhttps://huggingface.co/datasets/jingene/CMESpectrumBenchで公開されている。

関連論文リスト

• SCICONVBENCH: Benchmarking LLMs on Multi-Turn Clarification for Task Formulation in Computational Science [3.9311288356229057]
  大規模言語モデル(LLM)は、科学的なAIとしてますます多くデプロイされている。 本稿では,SCICONVBENCHを科学タスクの定式化におけるマルチターン明確化のベンチマークとして紹介する。 我々のベンチマークは、構造化されたタスクとルーブリックベースの評価フレームワークをペアリングする。
  論文  参考訳（メタデータ） (2026-05-18T16:34:45Z)
• LiveFMBench: Unveiling the Power and Limits of Agentic Workflows in Specification Generation [75.05397479715576]
  大規模言語モデル(LLM)とエージェントは有望な進歩を示しているが、その真の能力と失敗モードは未だ不明である。 CプログラムのためのLCMおよびエージェントベースの形式仕様生成に関する、最初の体系的および汚染に配慮した研究を提案する。
  論文  参考訳（メタデータ） (2026-05-02T11:31:33Z)
• From Indoor to Open World: Revealing the Spatial Reasoning Gap in MLLMs [65.04549036809557]
  我々は、ステレオカメラ、LiDAR、IMU/GPSセンサーで撮影された歩行者の視線映像から構築したベンチマークを紹介する。 このデータセットは、計量的に正確な3D情報を提供し、空間的推論質問の自動生成を可能にする。 評価の結果、構造化屋内ベンチマークで観測された性能向上は、オープンワールド環境では消滅することが明らかとなった。
  論文  参考訳（メタデータ） (2025-12-22T18:58:12Z)
• SciML Agents: Write the Solver, Not the Solution [69.5021018644143]
  敵の"ミスリーディング"問題の診断データセットと,1,000種類のODEタスクの大規模ベンチマークという,2つの新しいデータセットを紹介した。 オープンおよびクローズドソース LLM モデルについて, (i) 誘導型とガイド型, (ii) オフ・ザ・シェルフ対微調整型という2つの軸に沿って評価した。 予備的な結果は、慎重なプロンプトと微調整により、単純なODE問題を確実に解決できる特殊なLLMエージェントが得られることを示唆している。
  論文  参考訳（メタデータ） (2025-09-12T02:53:57Z)
• DataPuzzle: Breaking Free from the Hallucinated Promise of LLMs in Data Analysis [10.98270220152657]
  大規模言語モデル(LLM)は、マルチモーダルデータ分析にますます応用されている。 一般的なPrompt-to-Answer'パラダイムは、LSMをブラックボックスアナリストとして扱う。 複雑な質問を分解する概念的マルチエージェントフレームワークであるDataPuzzleを提案する。
  論文  参考訳（メタデータ） (2025-04-14T09:38:23Z)
• Investigating the Impact of Hard Samples on Accuracy Reveals In-class Data Imbalance [4.291589126905706]
  AutoMLドメインでは、モデルの有効性を評価するための重要な指標として、テスト精度が宣言される。 しかし、主性能指標としての試験精度の信頼性は疑問視されている。 トレーニングセットとテストセット間のハードサンプルの分布は、これらのセットの難易度に影響を与える。 本稿では,ハードサンプル識別法を比較するためのベンチマーク手法を提案する。
  論文  参考訳（メタデータ） (2024-09-22T11:38:14Z)
• MR-Ben: A Meta-Reasoning Benchmark for Evaluating System-2 Thinking in LLMs [55.20845457594977]
  大規模言語モデル(LLM)は、問題解決と意思決定の能力の向上を示している。 本稿ではメタ推論技術を必要とするプロセスベースのベンチマークMR-Benを提案する。 メタ推論のパラダイムは,システム2のスロー思考に特に適しています。
  論文  参考訳（メタデータ） (2024-06-20T03:50:23Z)
• MatPlotAgent: Method and Evaluation for LLM-Based Agentic Scientific Data Visualization [86.61052121715689]
  MatPlotAgentは、科学的データ可視化タスクを自動化するために設計された、モデルに依存しないフレームワークである。 MatPlotBenchは、100人の検証されたテストケースからなる高品質なベンチマークである。
  論文  参考訳（メタデータ） (2024-02-18T04:28:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。