論文の概要: Beyond a Better Score: Long-Horizon Agentic ML Development and Evaluation Protocol for Physics Time Series

• arxiv url: http://arxiv.org/abs/2610.14024v1
• Date: Tue, 29 Sep 2026 17:23:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-20 23:43:34.717754
• Title: Beyond a Better Score: Long-Horizon Agentic ML Development and Evaluation Protocol for Physics Time Series
• Title（参考訳）: より良いスコアを超えて: 物理学時系列のための長距離エージェントML開発と評価プロトコル
• Abstract要約: SIDERIUSは、科学的に有効な長期ML開発に向けて、より良いスコアを超えるように設計されたエージェントシステムである。 TIDMAD ベンチマークでは,GPT ベースのオーケストレータを用いた SIDERIUS が 63.8% のバリッドモデル提案率を達成した。 さらに、SIDERIUSを3つの物理時系列データセットでベンチマークし、その再利用と異なるタスク間の性能を実証する。
• 参考スコア（独自算出の注目度）: 6.729465592234906
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Physics time-series data are central to fundamental discoveries involving dark matter, neutrinos, and gravitational waves. Machine learning has shown strong potential to recover weak scientific signals buried in complex noise. Recent LLM-agent systems further automate ML development, but existing approaches are often driven primarily by one or a few numerical scores. In pursuit of a better score, agents may exploit shortcuts, trigger mode collapse, or game the evaluation procedure, producing models that achieve high scores but are scientifically invalid. We introduce SIDERIUS, an LLM agent system designed to move beyond a better score toward scientifically valid, long-horizon ML development. SIDERIUS combines contract-defined composable capabilities for flexible orchestration and human-in-the-loop, a multi-layer scientific evaluation protocol that distinguishes valid models from unhealthy or gaming models, and resource-aware exploration for computationally expensive scientific ML. In our TIDMAD benchmark, SIDERIUS with a GPT-based orchestrator achieves the highest Valid-model proposal rate of 63.8% and the best valid denoising score of 2.744, compared with 1.6% and -0.647, respectively, for the same GPT model using the general-purpose Codex coding agent. We further benchmark SIDERIUS on three additional physics time-series datasets, demonstrating its reuse and performance across different tasks. Together, these results suggest that progress in agentic scientific ML should be measured beyond a better score, by how an agent explores and by whether the models it produces can be trusted as science.
• Abstract（参考訳）: 物理時系列データは、ダークマター、ニュートリノ、重力波を含む基本的な発見の中心である。 機械学習は、複雑なノイズに埋もれた弱い科学的信号を回復する強い可能性を示している。 近年のLLMエージェントシステムはML開発をさらに自動化しているが、既存のアプローチは1つまたは数個の数値スコアによって駆動されることが多い。 より良いスコアを追求するために、エージェントはショートカット、トリガーモードの崩壊、評価手順のゲームを利用し、高いスコアを達成するが科学的に無効なモデルを生成する。 我々は,LLMエージェントシステムであるSIDERIUSを紹介した。 SIDERIUSは、フレキシブルなオーケストレーションとヒューマン・イン・ザ・ループのためのコントラクト定義のコンポーザブルな機能と、不健全またはゲームモデルから有効なモデルを区別する多層科学的評価プロトコルと、計算に高価な科学MLのためのリソース認識探索を組み合わせた。 TIDMADベンチマークでは,汎用コーデックス符号化エージェントを用いた同じGPTモデルに対して,SIDERIUSが63.8%,最も有効な復調スコアが2.744,それぞれ1.6%,-0.647であった。 さらに、SIDERIUSを3つの物理時系列データセットでベンチマークし、その再利用と異なるタスク間の性能を実証する。 これらの結果は、エージェントがどのように探索するか、そしてエージェントが生成するモデルが科学として信頼できるかどうかによって、エージェント科学的MLの進歩がより良いスコアを超えて測定されるべきであることを示している。

関連論文リスト

• MLIPilot: LLM-Driven Auto-Research for Machine-Learned Interatomic Potentials [0.0]
  MLIPilotは、ツールコールによる大規模言語モデルによる仮説の提案、MLIPトレーニングコードの編集、HPCジョブの起動、修正された物理的制約付きスコアカードによる変更の受け入れまたは反転を行う自動検索フレームワークである。 GPT-5.5, GPT-4.1, Mistral-24B, Qwen3-32B を含む商用およびオープンウェイト LLM エージェントを用いた MACE 電位最適化における MLIPilot の評価を行った。
  論文  参考訳（メタデータ） (2026-05-29T06:25:47Z)
• gwBenchmarks: Stress-Testing LLM Agents on High-Precision Gravitational Wave Astronomy [2.316169407465118]
  現代の重力波天文学は、しばしば何ヶ月もの大学院レベルの努力を必要とするモデリングタスクに依存している。 我々は、最先端のLCM符号化エージェントが、このようなエンドツーエンドの科学的モデリングを行うことができるかどうかを考察する。 重力波解析計算と数値シミュレーションに基礎を置く8つのタスクの組であるgwBenchmarksを紹介した。
  論文  参考訳（メタデータ） (2026-05-11T21:47:22Z)
• MDAgent2: Large Language Model for Code Generation and Knowledge Q&A in Molecular Dynamics [8.68945222655668]
  MDAgent2は、分子動力学領域内で知識Q&Aとコード生成の両方を実行することができる最初のエンドツーエンドフレームワークである。 MD-Instruct と MD-Code の2つのドメイン適応型モデルを訓練するために,3段階の事前学習,教師付き微調整,強化学習を採用する。 さらに、コード生成、実行、評価、自己補正を統合するデプロイ可能なマルチエージェントシステムであるMDAgent2-RUNTIMEを構築します。
  論文  参考訳（メタデータ） (2026-01-05T12:56:51Z)
• HiPerRAG: High-Performance Retrieval Augmented Generation for Scientific Insights [72.82973609312178]
  HiPerRAGは360万以上の科学論文から知識をインデクシングし取り出すワークフローである。 コアとなるのはマルチモーダル文書解析のための高スループットモデルであるOreoと、クエリ対応エンコーダの微調整アルゴリズムであるColTrastだ。 HiPerRAGは、既存の科学的質問応答ベンチマークと、この研究で導入された2つの新しいベンチマークで堅牢なパフォーマンスを提供する。
  論文  参考訳（メタデータ） (2025-05-07T22:50:23Z)
• Reliable edge machine learning hardware for scientific applications [34.87898436984149]
  極端なデータレートの科学実験は、効率的なMLエッジ処理を必要とする大量のデータを生成する。 このような厳密なレイテンシ、リソース、パワー、および領域要件の下で、科学的なエッジで信頼できるアルゴリズムを開発し、検証するためのアプローチについて議論する。
  論文  参考訳（メタデータ） (2024-06-27T20:45:08Z)
• MatPlotAgent: Method and Evaluation for LLM-Based Agentic Scientific Data Visualization [86.61052121715689]
  MatPlotAgentは、科学的データ可視化タスクを自動化するために設計された、モデルに依存しないフレームワークである。 MatPlotBenchは、100人の検証されたテストケースからなる高品質なベンチマークである。
  論文  参考訳（メタデータ） (2024-02-18T04:28:28Z)
• A Multi-Grained Symmetric Differential Equation Model for Learning Protein-Ligand Binding Dynamics [73.35846234413611]
  薬物発見において、分子動力学(MD)シミュレーションは、結合親和性を予測し、輸送特性を推定し、ポケットサイトを探索する強力なツールを提供する。 我々は,数値MDを容易にし,タンパク質-リガンド結合ダイナミクスの正確なシミュレーションを提供する,最初の機械学習サロゲートであるNeuralMDを提案する。 従来の数値MDシミュレーションと比較して1K$times$ Speedupを実現することにより,NeuralMDの有効性と有効性を示す。
  論文  参考訳（メタデータ） (2024-01-26T09:35:17Z)
• Forces are not Enough: Benchmark and Critical Evaluation for Machine Learning Force Fields with Molecular Simulations [5.138982355658199]
  分子動力学(MD)シミュレーション技術は様々な自然科学応用に広く用いられている。 我々は、最先端(SOTA)ML FFモデルの集合をベンチマークし、特に、一般的にベンチマークされる力の精度が、関連するシミュレーション指標とうまく一致していないことを示す。
  論文  参考訳（メタデータ） (2022-10-13T17:59:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。