論文の概要: A Judge Agent Closes the Reliability Gap in AI-Generated Scientific Simulation

• arxiv url: http://arxiv.org/abs/2603.25780v1
• Date: Thu, 26 Mar 2026 16:03:52 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-30 21:49:48.213883
• Title: A Judge Agent Closes the Reliability Gap in AI-Generated Scientific Simulation
• Title（参考訳）: AIによる科学シミュレーションにおける信頼性のギャップを埋める裁判官エージェント
• Abstract要約: 大規模言語モデルは科学シミュレーションコードを生成することができるが、生成されたコードは、ほとんどの非テキスト問題で静かに失敗する。 古典的な数学的検証は,判断エージェントによって完全に自動化可能であることを示す。 12人の独立した科学者が提出した72の盲目タスクは、自動エラー境界で89%の成功率を得る。
• 参考スコア（独自算出の注目度）: 1.7259824817932294
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models can generate scientific simulation code, but the generated code silently fails on most non-textbook problems. We show that classical mathematical validation -- well-posedness, convergence, and error certification -- can be fully automated by a Judge Agent, reducing the silent-failure rate from 42% to 1.5% across 134 test cases spanning 12 scientific domains. The headline result comes from a prospective benchmark: 72 blinded tasks submitted by 12 independent scientists yield an 89% success rate (95% CI: [80%, 95%]) with automated error bounds, versus 53% without the Judge. On clinical CT (the only powered experiment, n = 200), the pipeline reaches 99% of expert quality. The residual 1.5% concentrates at bifurcation points where certifiability breaks down. We formalize this boundary through the simulability class S and introduce spec.md, a structured specification format that makes any scientific computation problem machine-readable and solver-independent. Code, data, and all 72 benchmark tasks are publicly archived.
• Abstract（参考訳）: 大規模言語モデルは科学シミュレーションコードを生成することができるが、生成されたコードは、ほとんどの非テキスト問題で静かに失敗する。 古典的な数学的検証 -- 適合性、収束性、エラー証明 -- は、審査員によって完全に自動化できることを示し、12の科学領域にまたがる134のテストケースにおいて、サイレント障害率を42%から1.5%に下げる。 12人の独立した科学者が提出した72の盲目タスクは、自動エラー境界を持つ89%の成功率(95% CI: [80%, 95%])を、審査員なしでは53%とする。 臨床CT(唯一のパワードライビング実験、n = 200)では、パイプラインは専門的品質の99%に達する。 残りの1.5%は、発芽能力が低下する分岐点に集中している。 我々は、この境界をシミュラビリティクラスSで定式化し、任意の科学計算問題を機械可読かつ解けないものにする、構造化された仕様形式である spec.md を導入する。 コード、データ、72のベンチマークタスクはすべて公開アーカイブされている。

関連論文リスト

• Bringing analytic rigor to agentic AI for science: The Brain Researcher platform for neuroimaging data analysis [59.44063760362954]
  本稿では、神経イメージング研究者の計算環境で動作するエージェントリサーチハーネスであるBrain Researcherを紹介する。 ベンチマークでは、Brain Researcherは7つのモデルで第1選択ツールの選択精度を70.2ポイント向上させた。 共同研究と自己進化研究において、多元的分析によって分析選択感度が明らかにされ、科学的レビューでは、承認された、認定された、修正された、ブロックされた、拒否された、または延期された。
  論文  参考訳（メタデータ） (2026-08-20T11:13:27Z)
• SciCode-Verified: How Benchmark Defects Underestimated the Scientific-Coding Ability of Language Models [1.9873319610438742]
  SciCodeは、言語モデルの科学的コーディング能力の標準尺度である。 人工知能インテリジェンス指数(Artificial Analysis Intelligence Index)の略。 最先端のモデルは、SciCodeが示唆しているよりも科学的コーディングにはるかに熟練している。
  論文  参考訳（メタデータ） (2026-08-05T15:45:55Z)
• Beyond Test Presence: Assessing the Quality and Robustness of Agent-Generated Tests in Open-Source Projects [2.9713899640333348]
  AIによるコーディングエージェントを継続的インテグレーション/継続的デリバリパイプラインに統合することは、ソフトウェア検証の実施方法を根本的に変えた。 これらのエージェントは、テスト生成の自動化に成功したが、現在の評価ベンチマークは、生成されたテストの本質的な品質よりも、パスレートに重点を置いている。 AIDevデータセットから得られた24,941の人間が作成したファイルと179,732のエージェント生成ファイルからなる204,673個のテストアーティファクトを比較した。
  論文  参考訳（メタデータ） (2026-07-13T18:40:24Z)
• One Reflection Is Not Enough: Self-Correcting Autonomous Research via Multi-Hypothesis Failure Attribution [85.65263343588026]
  我々は,自己修正型,自律型,接地型実験機であるSAGEを提案する。 その中核的なメカニズムであるMHFA(Multi-Hypothesis Failure Attribution)は、回復を構造的因果診断として扱う。 12のトピック、5ドメインのベンチマークでは、SAGEは基準リフレクションでメトリクスを含むアウトプットを42%から92%に増やしている。
  論文  参考訳（メタデータ） (2026-06-30T10:54:16Z)
• Science Earth: Towards A Planet-Scale Operating System for AI-Native Scientific Discovery [51.70607714288616]
  サイエンスアース(Science Earth)は、惑星規模の科学ランタイムで、あらゆる能力が他のものと接続できる。 その基盤となるEACNプロトコルは、機能を相互に発見し、タスクのオーナシップを交渉し、互換性のない明示的な標準を越えて判断することを可能にする。 2つの実行は、構造的に異なる条件下でこれを検証します。
  論文  参考訳（メタデータ） (2026-05-31T16:05:41Z)
• Risk-Controlled Lean-as-Judge for Natural-Language Mathematical Reasoning [16.398764816978584]
  リーンは、自然言語の数学的答えを判断するのにますます使われていますが、その信号は部分的です。 このシグナルは (i) 急激なカバレッジ依存であり, 証明に勝つ答えは高いカバレッジでは96%の確率で正しいが, 20%は低い。 7Bオートフォーマライザはわずか28%の問題でクラスを証明し、マニュアル監査ではその約43%が忠実であることがわかった。 受理された回答や棄権に縛られた有限サンプル選択リスクを認証する,リーントレース診断のためのセレクタであるCOVCALを提案する。
  論文  参考訳（メタデータ） (2026-05-27T11:59:28Z)
• MIRROR: A Hierarchical Benchmark for Metacognitive Calibration in Large Language Models [0.0]
  MIRRORは、大規模言語モデルがより優れた意思決定に自己知識を使用できるかどうかを評価するベンチマークである。 約25万の評価インスタンスに対して,8つの実験室から16のモデルを評価した。
  論文  参考訳（メタデータ） (2026-04-15T08:41:12Z)
• A Physics-Informed Neuro-Fuzzy Framework for Quantum Error Attribution [0.4511923587827302]
  本稿では,適応型ニューロファジィ推論システムと物理接地型特徴工学を組み合わせることで,帰属問題に対処するニューロファジィフレームワークを提案する。 Bhattacharyya Vetoは、データ処理の不平等に根ざした物理的な制約である。 この研究は、論理的に欠陥のある回路にエラー軽減技術を適用することを防止する、堅牢で解釈可能な診断層を確立する。
  論文  参考訳（メタデータ） (2026-02-22T16:19:51Z)
• Can Adversarial Code Comments Fool AI Security Reviewers -- Large-Scale Empirical Study of Comment-Based Attacks and Defenses Against LLM Code Analysis [0.0]
  敵対的なコメントは、検出精度に小さな、統計的に重要でない効果をもたらす。 複雑な敵戦略は単純な操作的コメントに勝るものではない。 コメントストリッピングは、有用なコンテキストを削除することで、より弱いモデルの検出を減らす。
  論文  参考訳（メタデータ） (2026-02-18T00:34:17Z)
• SciCoQA: Quality Assurance for Scientific Paper--Code Alignment [53.70401063640645]
  SciCoQAは,学術出版物と論文の相違を検出するためのデータセットである。 我々のデータセットは611の紙コード不一致(81のリアル、530の合成)で構成されており、様々な計算科学分野にまたがっている。 評価における最高の性能モデルである GPT-5 は、実世界の紙コード差の45.7%しか検出できない。
  論文  参考訳（メタデータ） (2026-01-19T10:04:33Z)
• MSC-180: A Benchmark for Automated Formal Theorem Proving from Mathematical Subject Classification [21.9173105378467]
  現在の大言語モデル(LLM)に基づく定理証明は、制限された領域カバレッジや数学的推論の弱い一般化といった制限に悩まされている。 我々は,MSC 2020の数学的対象分類に基づく評価ベンチマークであるMSC-180を提案する。 180の形式的検証問題、60の数学分野から3つの先進的な問題が含まれており、学部から大学院まで多岐にわたる。
  論文  参考訳（メタデータ） (2025-12-20T07:39:19Z)
• DispatchMAS: Fusing taxonomy and artificial intelligence agents for emergency medical services [49.70819009392778]
  大規模言語モデル (LLM) とマルチエージェントシステム (MAS) は、ディスパッチを増強する機会を提供する。 本研究の目的は,現実的なシナリオをシミュレートする分類基盤型マルチエージェントシステムの開発と評価である。
  論文  参考訳（メタデータ） (2025-10-24T08:01:21Z)
• When AI Co-Scientists Fail: SPOT-a Benchmark for Automated Verification of Scientific Research [19.97666809905332]
  大規模言語モデル(LLM)は、AIコサイシストと呼ばれる自動科学的発見のビジョンを加速させた。 大規模言語モデル(LLM)の最近の進歩は、しばしばAIコサイシストと呼ばれる自動科学的発見のビジョンを加速させた。
  論文  参考訳（メタデータ） (2025-05-17T05:45:16Z)
• Intelligent Fault Diagnosis of Type and Severity in Low-Frequency, Low Bit-Depth Signals [0.6144680854063939]
  この研究は、高パフォーマンスと低リソース消費のバランスをとることを目的として、不均衡なMaFaulDaデータセットの音声データを活用する。 精度は99.54%、F-Betaスコアは99.52%で、わずか6本の隆起木が8kHz、8ビット構成であった。
  論文  参考訳（メタデータ） (2024-11-09T22:01:11Z)
• Common 7B Language Models Already Possess Strong Math Capabilities [61.61442513067561]
  本稿では,LLaMA-2 7Bモデルと事前学習を併用したモデルが,すでに強力な数学的能力を示していることを示す。 拡張スケーリングの可能性は、公開されている数学の質問の不足によって制限されている。
  論文  参考訳（メタデータ） (2024-03-07T18:00:40Z)
• Uncertainty-inspired Open Set Learning for Retinal Anomaly Identification [71.06194656633447]
  9つの網膜条件の基底像をトレーニングし,不確実性に着想を得たオープンセット(UIOS)モデルを構築した。 しきい値戦略を持つUIOSモデルはF1スコア99.55%、97.01%、91.91%を達成した。 UIOSは、高い不確実性スコアを正しく予測し、非ターゲットの網膜疾患、低品質の眼底画像、および非基本画像のデータセットを手動でチェックする必要があることを示唆した。
  論文  参考訳（メタデータ） (2023-04-08T10:47:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。