論文の概要: Astro2Method: Benchmarking LLMs on Machine Learning Method Selection in Astronomy

• arxiv url: http://arxiv.org/abs/2610.30282v1
• Date: Wed, 21 Oct 2026 18:01:34 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-27 01:38:06.229277
• Title: Astro2Method: Benchmarking LLMs on Machine Learning Method Selection in Astronomy
• Title（参考訳）: Astro2Method:天文学における機械学習手法の選択に関するLLMのベンチマーク
• Abstract要約: 機械学習(ML)は天文学でますます使われているが、科学的な問題に適した方法を選択するには天文学とMLの両方の専門知識が必要であることが多い。 346の天文学論文から500人の専門家がレビューしたバイナリ質問のベンチマークであるAstro2Methodを紹介した。 直接的プロンプトは5つのLSMで87.50-92.55%の精度で簡単な質問を行うが、ハードでは58.87-64.52%に過ぎなかった。
• 参考スコア（独自算出の注目度）: 7.870805152253699
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Machine learning (ML) is increasingly used in astronomy, but choosing a suitable method for a scientific problem often requires expertise in both astronomy and ML. Large language models (LLMs) could help astronomers make such choices, yet this ability remains underexplored in existing benchmarks. We introduce Astro2Method, a benchmark of 500 expert-reviewed binary questions from 346 astronomy papers (2024/01-2026/06), based on clear performance differences and complete (Easy) or partial (Hard) explanations from the authors. Across five LLMs, direct prompting achieves 87.50-92.55% accuracy on Easy questions but only 58.87-64.52% on Hard. Using historical papers, neither retrieval-augmented generation nor most agent methods with additional reasoning or retrieval (including ReAct, Self-Ask, and CRITIC) bring consistent improvement. Agents required to search the web improve accuracy mainly when they find the papers the questions are based on, with no consistent improvement otherwise. Providing the source paper's pipeline description with method names masked improves Hard accuracy, matching or exceeding web search. Together, these results suggest that relevant experimental information helps distinguish ML methods, but inferring it from related studies and domain knowledge remains challenging for LLMs in astronomy.
• Abstract（参考訳）: 機械学習(ML)は天文学でますます使われているが、科学的な問題に適した方法を選択するには天文学とMLの両方の専門知識が必要であることが多い。 大きな言語モデル(LLM)は、天文学者がそのような選択を下すのに役立つが、既存のベンチマークでは未探索である。 Astro2Methodは、346の天文学論文(2024/01-2026/06)から500の専門家がレビューしたバイナリ質問のベンチマークである。 直接的プロンプトは5つのLSMで87.50-92.55%の精度で簡単な質問を行うが、ハードでは58.87-64.52%に過ぎなかった。 歴史的論文を用いて、検索強化された世代や、追加の推論や検索(ReAct、Self-Ask、CRITICを含む)を含むほとんどのエージェントメソッドは、一貫した改善をもたらす。 ウェブを検索するために必要なエージェントは、主に質問がベースとなっている論文を見つけたときに精度を向上するが、それ以外は一貫した改善は行わない。 メソッド名をマスクしたソースペーパーのパイプライン記述を提供することで、Web検索の正確さ、マッチング、あるいは超過が向上する。 これらの結果は、関連する実験情報がML法を識別するのに役立つことを示唆するが、関連する研究とドメイン知識を推定することは天文学におけるLLMにとって依然として困難である。

関連論文リスト

• SAGE: Benchmarking and Improving Retrieval for Deep Research Agents [60.53966065867568]
  SAGEは4つの科学領域にわたる1200のクエリからなる科学文献検索のためのベンチマークであり、20万の論文検索コーパスを備える。 6つのディープ・リサーチ・エージェントを評価し,全てのシステムが推論集約的な検索に苦しむことを発見した。 BM25は、既存のエージェントがキーワード指向のサブクエリを生成するため、LLMベースのレトリバーを約30%上回っている。
  論文  参考訳（メタデータ） (2026-02-05T18:25:24Z)
• ELAIPBench: A Benchmark for Expert-Level Artificial Intelligence Paper Understanding [49.67493845115009]
  ELAIPBenchは、大規模言語モデルによるAI研究論文の理解を評価するために、ドメインの専門家によってキュレーションされたベンチマークである。 難易度は3つあり、浅い検索よりも非自明な推論に重点を置いている。 実験の結果、最高の性能のLSMは、人間の性能よりはるかに低い39.95%の精度しか達成できないことがわかった。
  論文  参考訳（メタデータ） (2025-10-12T11:11:20Z)
• AstroMMBench: A Benchmark for Evaluating Multimodal Large Language Models Capabilities in Astronomy [6.247581175023764]
  AstroMMBenchは、天文学的画像理解において、マルチモーダル大言語モデル(MLLM)を評価するための最初の包括的なベンチマークである。 AstroMMBenchは、6つの天体物理学のサブフィールドにわたる621の多重選択質問で構成され、品質と関連性について15のドメイン専門家によってキュレートされ、レビューされている。 結果、Ovis2-34Bは、強力なクローズドソースモデルと比較して高い総合精度(70.5%)を達成した。
  論文  参考訳（メタデータ） (2025-09-29T09:02:30Z)
• AstroVisBench: A Code Benchmark for Scientific Computing and Visualization in Astronomy [39.94582666929051]
  AstroVisBenchは天文学領域における科学計算と可視化の両方のための最初のベンチマークである。 本稿では,最先端言語モデルの評価を行い,天文学研究に有用なアシスタントとして携わる能力に大きなギャップがあることを示す。
  論文  参考訳（メタデータ） (2025-05-26T21:49:18Z)
• AstroMLab 4: Benchmark-Topping Performance in Astronomy Q&A with a 70B-Parameter Domain-Specialized Reasoning Model [3.911100968725141]
  汎用的な大規模言語モデルは、しばしば専門的なドメイン知識に苦しむ。 本研究では、ドメイン特化自然言語AIアシスタントであるAstroSage-70Bを紹介する。 天文学、天体物理学、宇宙科学、天体物理学、宇宙論、天文学機器の研究と教育のために設計された。
  論文  参考訳（メタデータ） (2025-05-23T07:58:50Z)
• Highlighting Case Studies in LLM Literature Review of Interdisciplinary System Science [0.18416014644193066]
  大型言語モデル(LLM)は、4人のコモンウェルス科学産業研究機関(CSIRO)研究者を支援するために使用された。 系統的な文献レビューのためのLLMの性能評価を行った。
  論文  参考訳（メタデータ） (2025-03-16T05:52:18Z)
• Designing an Evaluation Framework for Large Language Models in Astronomy Research [7.823443012348265]
  大規模言語モデル(LLM)は科学的研究の仕方を変えつつある。 現在、天文学におけるLLMの使用を評価する基準はない。 天文学研究者がLLMとどのように相互作用するかを評価するための実験設計について述べる。
  論文  参考訳（メタデータ） (2024-05-30T18:00:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。