論文の概要: First head-to-head comparison of agentic AI applied to the analysis of simulated data of the Einstein Telescope
- arxiv url: http://arxiv.org/abs/2605.28916v1
- Date: Wed, 27 May 2026 17:54:26 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-30 02:45:55.049669
- Title: First head-to-head comparison of agentic AI applied to the analysis of simulated data of the Einstein Telescope
- Title(参考訳): アインシュタイン望遠鏡のシミュレーションデータ解析に応用されたエージェントAIの初頭対頭比較
- Authors: Gianluca Inguglia,
- Abstract要約: 我々は、最先端のエージェントAIシステムであるClaude Code(Anthropic)とCodex(OpenAI)の比較を報告する。
我々はClaude Codeが3.4分でパイプラインを完了し、仕様から無声で逸脱することを示し、Codexは明示的な自己修正再起動に16分を必要とした。
本稿では,これらの行動の違い,例えば速度対聴覚性,無声対透明な誤り,命令解釈,中間データ表現の臨界性などについて論じる。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We report a comparison of two state-of-the-art agentic AI systems, Claude Code (Anthropic) and Codex (OpenAI), tasked with autonomously executing a simple end-to-end gravitational wave data analysis pipeline on a shared computing infrastructure without human intervention. The pipeline comprises power spectral density estimation from raw Einstein Telescope simulated noise, geometric template bank generation, matched filter recovery of 100 binary black hole signal injections, automated results generation, and large language model-assisted production of a manuscript formatted in the style of Physical Review D. Both agents received identical written specifications and identical compute resources. The experiment was run twice: a first run with unrealistically loud injections, and a second run with signals rescaled to a physically motivated SNR range. The scientific results converged in both runs. However, the agents exhibited substantially different behaviors and computational costs: Claude Code completed the pipeline in ~3.4 minutes with silent deviations from the specification, while Codex required ~16 minutes across explicit self-correcting restarts, including an unsolicited performance optimization of the matched filter inner loop. The autonomously generated manuscripts also diverged in length, details, and quality. In the second run, a subtle difference in the interpretation of the SNR range instruction led to a genuine scientific divergence: Claude Code silently reinterpreted the instructions, while Codex followed the specification literally. We discuss the implications of these behavioral differences, such as speed versus auditability, silent versus transparent error handling, instruction interpretation, and the criticality of intermediate data representations in multi-model pipelines, for the deployment of agentic AI in scientific computing workflows.
- Abstract(参考訳): 我々は、人間の介入なしに共有コンピューティングインフラストラクチャ上で、単純なエンドツーエンドの重力波データ分析パイプラインを自律的に実行することを目的とした、最先端のエージェントAIシステムであるClaude Code(Anthropic)とCodex(OpenAI)の比較を報告する。
このパイプラインは、生アインシュタイン望遠鏡シミュレーションノイズ、幾何学的テンプレートバンク生成、100個のブラックホール信号注入の整合フィルタ回復、自動結果生成、および物理レビューDのスタイルでフォーマットされた原稿の大規模言語モデル支援生産から電力スペクトル密度を推定する。
実験は2回行われた: 1回目は非現実的に大声で注入され、2回目は信号が物理的に動機付けられたSNRの範囲に再スケールされた。
科学的な結果はどちらも一致した。
クロード・コードはパイプラインを3.4分で完成し、仕様から無声で逸脱し、コーデックスはマッチしたフィルタ内部ループの性能最適化を含む明示的な自己修正再起動に16分を要した。
自律的に作成された写本も長さ、細部、品質に変化した。
第2回では、SNRレンジ命令の解釈の微妙な違いが、真の科学的な分岐につながった: クロード・コード(Claude Code)は命令を静かに解釈し、コーデックスは文字通り仕様に従った。
科学計算のワークフローにエージェントAIを配置するために、スピード対監査可能性、サイレント対透過的エラーハンドリング、命令解釈、マルチモデルパイプラインにおける中間データ表現の臨界性など、これらの行動の違いがもたらす意味について論じる。
関連論文リスト
- From I/O to Code with Discovery Agent [103.88427301265669]
IO2Codeの発見エージェントであるDIO-Agentを提案する。
本手法は,プログラム空間上の進化的探索としてIO2Codeをフレーム化する。
大規模な実験により、DIO-Agentは従来のプログラムバイサンプル法とSOTA進化エージェントベースラインの両方を一貫して上回っていることが示された。
論文 参考訳(メタデータ) (2026-05-14T18:57:32Z) - Collider-Bench: Benchmarking AI Agents with Particle Physics Analysis Reproduction [0.02446672595462589]
我々は,LHC(Large Hadron Collider)から,公開論文とオープンサイエンスソフトウェアのみを用いて,言語モデルエージェントが実験分析を再現できるかどうかを評価するベンチマークであるCollind-Benchを紹介する。
したがってエージェントは、これらのギャップを埋めるために、物理的推論、ドメイン知識、試行錯誤に頼らなければならない。
以上の結果から, 平均的なエージェントが, ループ内解法を確実に打ち負かすことは不可能であることが示唆された。
論文 参考訳(メタデータ) (2026-05-13T18:00:00Z) - MDGYM: Benchmarking AI Agents on Molecular Simulations [25.37963706902467]
LAMMPSとGROMACSにまたがる169のMDシミュレーションのベンチマークであるMDGYMを紹介する。
私たちは、Claude Code、Codex、OpenHandsの3つのエージェントフレームワークを4つのLCMで評価しました。
これらの障害モードは、一般的なソフトウェアエンジニアリングベンチマークで観察されたものとは定性的に異なり、流動的なコード生成が基礎となる物理的推論に移行しないことを示している。
論文 参考訳(メタデータ) (2026-05-09T13:21:51Z) - AI CFD Scientist: Toward Open-Ended Computational Fluid Dynamics Discovery with Physics-Aware AI Agents [1.7590081165362783]
我々は、計算流体力学のためのオープンソースのAI科学者であるAI CFD Scientistを紹介する。
文献に基づくアイデア、検証された実行、視覚に基づく物理検証、ソースコードの修正、図形による記述を単一の検査可能なワークフローで行うのは、これが初めてである。
論文 参考訳(メタデータ) (2026-05-07T17:27:23Z) - LiveFMBench: Unveiling the Power and Limits of Agentic Workflows in Specification Generation [75.05397479715576]
大規模言語モデル(LLM)とエージェントは有望な進歩を示しているが、その真の能力と失敗モードは未だ不明である。
CプログラムのためのLCMおよびエージェントベースの形式仕様生成に関する、最初の体系的および汚染に配慮した研究を提案する。
論文 参考訳(メタデータ) (2026-05-02T11:31:33Z) - Dynamic analysis enhances issue resolution [53.50448142467294]
DAIRA(Dynamic Analysis-enhanced Issue Resolution Agent)は、エージェントの推論サイクルに動的解析を組み込む自動修復フレームワークである。
テストトレース駆動の方法論によって駆動されるDAIRAは、軽量モニタを使用して重要なランタイムデータを抽出する。
Gemini 3 Flash Previewを使用すると、DAIRAは新たな最先端(SOTA)パフォーマンスを確立し、SWE-bench Verifiedデータセットで79.4%の解像度を達成する。
論文 参考訳(メタデータ) (2026-03-23T14:48:54Z) - Paraformer: Fast and Accurate Parallel Transformer for
Non-autoregressive End-to-End Speech Recognition [62.83832841523525]
そこで我々はParaformerと呼ばれる高速かつ高精度な並列トランスを提案する。
出力トークンの数を正確に予測し、隠れた変数を抽出する。
10倍以上のスピードアップで、最先端のARトランスフォーマーに匹敵するパフォーマンスを実現することができる。
論文 参考訳(メタデータ) (2022-06-16T17:24:14Z) - Semantic-aware Binary Code Representation with BERT [27.908093567605484]
バグ発見、マルウェア分析、コードクローン検出など、幅広いバイナリ分析アプリケーションでは、バイナリコード上でのコンテキスト意味の回復が必要である。
近年,バイナリのコード表現を自動再構築するために,機械学習に基づくバイナリ解析手法が提案されている。
本稿では,バイナリコードのセマンティックなコード表現を生成するためにBERTを利用するDeepSemanticを提案する。
論文 参考訳(メタデータ) (2021-06-10T03:31:29Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。