論文の概要: Rules to Tools: Executable Checks for LLM Agents in Scientific Computing

• arxiv url: http://arxiv.org/abs/2610.00313v1
• Date: Tue, 29 Sep 2026 00:36:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-03 01:19:23.598532
• Title: Rules to Tools: Executable Checks for LLM Agents in Scientific Computing
• Title（参考訳）: ツールのルール:科学計算におけるLCMエージェントの実行可能なチェック
• Abstract要約: ツールの規則は、公的科学要件の実行可能なチェックを提供する。 マッチングされたSciCode修復グループは、手書きチェック、開始プログラム、モデル、予算を共有している。 エージェント側の出力はコホートによって異なるが、パブリックCPUの使用はタスクIDコホートの両方で増加する。
• 参考スコア（独自算出の注目度）: 17.305939861946214
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Scientific coding agents receive equations, boundary conditions, and output requirements in writing, then must assess the programs they revise. Rules to Tools (R2T) supplies prepared executable checks of public scientific requirements. Matched SciCode repair groups share written checks, starting programs, model, and budgets; the tool group receives a callable implementation. Across two task-ID cohorts, complete repair is 26/30 with text and 29/30 with the prepared checks. Three task IDs favor tools, one favors text, and eleven tie. The eight-ID cohort scores 13/16 versus 15/16, with a task-cluster bootstrap 95% interval of [-12.5, 43.75] percentage points for the difference. The larger shared-definition SciCode cohort ties at 13/24 per group. Five development-exposed tasks with alternate starting programs score 3/10 versus 7/10. The tool group favors tasks 17, 77, and 11; initial checks flag task 17 and report no violation for tasks 77 and 11. Task 37 favors text and has no initial reported violation. A fresh source-through-Python arm also reaches 15/16, matching the dedicated command's aggregate. In a matched PDE comparison, detailed text scores 23/24 and checks score 24/24, with 31.2% lower reported model output for checks. Agent-side output savings vary by cohort, while public CPU use rises in both task-ID cohorts. These results measure task-dependent repair outcomes and agent-side costs with prepared checks.
• Abstract（参考訳）: 科学的なコーディングエージェントは、記述において方程式、境界条件、出力要求を受け取り、次に修正したプログラムを評価する必要がある。 Rules to Tools (R2T)は、公開科学要件の実行可能なチェックを提供する。 マッチングされたSciCode修復グループは、記述されたチェック、開始プログラム、モデル、予算を共有している。 2つのタスクIDコホートにまたがって、完全な修理はテキストで26/30、準備されたチェックで29/30である。 3つのタスクIDはツールを好んでおり、1つはテキストを好んでおり、11はネクタイである。 8-IDコホートは13/16対15/16で、タスククラスタブートストラップの95%間隔は[-12.5, 43.75]の差である。 より大きな共有定義SciCodeコホートは、グループ毎に13/24である。 着手プログラムを交互に開始する5つの開発タスクは7/10に対して3/10である。 ツールグループは、タスク17、77、11を好んでおり、初期チェックフラグタスク17と、タスク77、11に対する違反を報告しない。 タスク37はテキストを好んでおり、最初の違反は報告されていない。 新たなソーススルー-Pythonアームも15/16に到達し、専用のコマンドのアグリゲートにマッチする。 一致したPDE比較では、詳細なテキストスコアが23/24、チェックが24/24であり、チェックの報告されたモデル出力が31.2%下がった。 エージェント側の出力はコホートによって異なるが、パブリックCPUの使用はタスクIDコホートの両方で増加する。 これらの結果から, 作業依存型修復結果とエージェント側コストを, 準備したチェックで測定した。

関連論文リスト

• TimeEvo: Failure-Driven Self-Evolution of a Time Series Agent [58.343983191487276]
  時系列エージェントは、外部ツールを呼び出すことで分析的な質問に答える。 Human-Agent Tool Misalignment: 21のエキスパートキュレートされたツールのライブラリは、いくつかのタスクを支援し、他の人を傷つけます。 TimeEvoは、エージェントの診断された障害を能力ギャップに集約し、それぞれの測定を計画し、ペアの入場ゲートを通してのみ候補ライブラリを許可する。
  論文  参考訳（メタデータ） (2026-09-23T03:08:12Z)
• Agora: Git as Shared Memory for Collective AutoResearch [54.31992252587096]
  別々のセッションで作業する調査エージェントは、他の人が試したことと、構築可能な結果を知る必要がある。 各コミットは結果、洞察、仮説、検証、報告を記録し、それを以前の作業とリンクする。 約12日間に渡り,13人の言語モデル労働者がアゴラを重み移動問題の解決に利用したことを報告した。
  論文  参考訳（メタデータ） (2026-09-16T04:00:54Z)
• Codebook Agent: Amortized Topology Design for LLM Multi-Agent Systems [67.04448659688579]
  クエリ非依存の16エントリのコードブックを開発し、上位のデコード候補を1回のバッチフォワードパスでランク付けする。 反復検索がなく、テスト時にメッセージパッシングがないため、Codebook Agentは6つのベンチマークでもっとも正確な方法である。
  論文  参考訳（メタデータ） (2026-09-02T08:10:22Z)
• SkillGLoW: Procedural-Family Skill Consolidation for Self-Improving Agents on Long-Horizon Task Streams [55.90739575113059]
  再利用の欠如は、関連するタスクのクラスタによって共有される解決手順であり、その周りでSkillGLoWを構築している、と我々は主張する。 4つのベンチマーク(数学的推論、端末の自動化、ソフトウェア修復、実施制御)と3つのモデルで、前者は平均17.2ポイント(ハード)を獲得している。
  論文  参考訳（メタデータ） (2026-09-02T07:31:18Z)
• BekchiAI: Measuring, Observing, and Controlling LLM Agents in One Click [0.0]
  本稿では,エージェントスキル測定のためのベンチマークであるBekchiAIと,ライブエージェントの監視と制御のためのプラットフォームについて紹介する。 BekchiAI-Platformは、デプロイされたエージェントのための補完的なWebベースの可観測性とコントロールレイヤであり、完全なトークンとテレメトリとリモート実行終了を提供する。
  論文  参考訳（メタデータ） (2026-08-27T09:30:08Z)
• Do AI Agents Know When a Task Is Simple? Toward Complexity-Aware Reasoning and Execution [1.733151600403503]
  大規模言語モデル(LLM)エージェントは、ますます多段階のエンジニアリングと情報処理を自動化する。 彼らはしばしば、最大コンテキストファーストの戦略に従い、ファイルや依存関係を読み取り、一行の編集を小さなコードベースの監査に切り替える。 タスク対応型実行-スコープ推定の欠如を論じる。
  論文  参考訳（メタデータ） (2026-07-14T17:59:31Z)
• CrackMeBench: Binary Reverse Engineering for Agents [3.93181912653522]
  CrackMeBenchは、言語モデルエージェントを教育のリバースエンジニアリングタスクで評価するためのベンチマークである。 v0ベンチマークでは、8つのパブリックキャリブレーションCrackMesと、シードされたC、Rust、Goテンプレートから構築された12のメインスコアタスクを組み合わせる。 CrackMeBenchは pass@1 と pass@3 を記録し、リクエスト、ウォールクロック時間、コマンドトレース、ツールカテゴリ、プロバイダがレポートしたトークンの使用状況、推定コスト、定性的な障害ラベルを記録している。
  論文  参考訳（メタデータ） (2026-05-11T14:01:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。