論文の概要: HPCAgent-Bench: A Framework for Sound Benchmarking of Code-Optimizing Agents, Harnesses, and Skills

• arxiv url: http://arxiv.org/abs/2610.20673v1
• Date: Wed, 14 Oct 2026 13:22:48 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-16 19:13:15.9763
• Title: HPCAgent-Bench: A Framework for Sound Benchmarking of Code-Optimizing Agents, Harnesses, and Skills
• Title（参考訳）: HPCAgent-Bench: コード最適化エージェント、ハーネス、スキルのサウンドベンチマークのためのフレームワーク
• Abstract要約: コーディングエージェントは、コードの最適化にますます使われています。 既存のベンチマークでは,ひとつのアクセラレータやプログラミングモデル,あるいはハーネスが修正されているため,各コンポーネントのコントリビューションを分離することはできない。 ループレベルの最適化課題,HPCコードから抽出したカーネル,マシンラーニングモデルという,689のカーネルを3トラックにまとめたHPCAgent-Benchを提案する。
• 参考スコア（独自算出の注目度）: 41.895790132512154
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Coding agents are increasingly used to optimize code, but existing benchmarks fix one accelerator, programming model or harness, so they cannot isolate what each component contributes or show whether added skills and tools repay their cost. We present HPCAgent-Bench with 689 kernels in three tracks: loop-level optimization challenges, kernels extracted from HPC codes, and machine-learning models. The framework specifies each kernel once in NumPy, derives C and Fortran references, accepts submissions through a common C ABI or Python interface, and runs them on CPUs or GPUs, on one or multiple nodes. An external judge checks correctness on hidden fuzzed inputs and times each submission, closing paths agents use to exploit the testing system. We introduce two metrics for reporting results: \textit{intervention efficacy} measures an intervention, such as adding a tool, through paired runs on speedup, success rate and cost, and \textit{weighted token cost} reports input, cached-input and output tokens under explicit weights. Agents reach up to $4.2\times$ speedup over automatic parallelizers, and their optimizations transfer to another machine: $93$--$99\%$ of answers without device-specific code remain correct, and per-kernel speedups keep a rank correlation of $r_s\ge0.84$. Across 40 matched setups, interventions significantly change speedup only twice but token cost by up to $3.0\times$. Because token weighting decides whether a saving is significant, we state the weights and release every token count as a standard for cost reporting. We provide the first comprehensive, broad and hardened benchmark for the sound evaluation of agentic optimization, with transparent cost metrics.
• Abstract（参考訳）: コーディングエージェントはコードの最適化にますます使われていますが、既存のベンチマークでは、アクセラレータやプログラミングモデル、ハーネスを1つ修正しています。 ループレベルの最適化課題,HPCコードから抽出したカーネル,マシンラーニングモデルという,689のカーネルを3トラックにまとめたHPCAgent-Benchを提案する。 このフレームワークは、NumPyで一度各カーネルを指定し、CとFortranの参照を派生し、共通のC ABIまたはPythonインターフェースを通じてサブミットを受け取り、1つまたは複数のノードでCPUまたはGPU上で実行する。 外部の裁判官は、テストシステムを利用するためにエージェントが使用する隠されたファジド入力と各提出回数の正当性をチェックする。 ツールの追加や、スピードアップ、成功率、コストのペア実行による介入、明示的な重み付けによる入力、キャッシュインプット、出力トークンの報告。 エージェントは、自動並列化器よりも最大4.2\times$のスピードアップに到達し、その最適化は別のマシンに転送される: 933$--99$%の回答は、デバイス固有のコードなしでは正しく、カーネルごとのスピードアップは、r_s\ge0.84$のランク相関を保持する。 40以上の設定が一致し、介入はスピードアップを2回だけ変更するが、トークンコストは最大3.0\times$である。 トークンの重み付けは貯蓄が重要であるかどうかを決定するので、コストレポートの標準として、すべてのトークンカウントを解放します。 我々は,エージェント最適化の音質評価のための総合的,広範かつ強化された最初のベンチマークを,透過的なコストメトリクスで提供する。

関連論文リスト

• cua-speedrun: Standardized Benchmarking of the Speed of Computer-Use Agents [76.52915291143013]
  コンピュータ利用エージェント(CUA)は、最近、多くの標準ベンチマークで人的パフォーマンスを上回っている。 Cua-speedrunは標準化されたインフラストラクチャとタスクセットを導入した。 我々は、推論、エージェントハーネス、環境遅延がパフォーマンス、速度、コストにどのように影響するかを評価する。
  論文  参考訳（メタデータ） (2026-09-30T17:48:06Z)
• SSTQ:Privacy-Preserving Vector Quantization via Subsampled Stochastic TurboQuant [79.24089819400126]
  Subsampled TurboQuant (SSTQ) は、オーバーコンプリートな等幅のタイトフレーム、座標サブサンプリング、プライバシ対応量子化を組み合わせたフレームワークである。 SSTQは平均2乗誤差スケーリングを実現し、クライアントあたり$lceil log N il + b$ bitsを使用する。 また、コードブックに依存したMSEスケーリングを$O(4b)$から$O(2b)$に削減する、プライバシを意識したコードブックの目的も導出します。
  論文  参考訳（メタデータ） (2026-08-05T17:51:25Z)
• When Does Restricting a Coding Agent to execute_code Help? A Regime $\times$ Agent-Design Ablation [20.672156968511587]
  合成計算タスクとSWE-bench Mini修正タスクにおける3アームアブレーション(ベースライン/bash_only/code_only)の比較を行った。 結果として得られた4つの(登録、エージェント)細胞全体で、エージェントを1つの execute_code MCP ツールに制限することは、最も安価なツールリッチなライバルである -- あるいは統計的に結びついている -- よりも安価である。 唯一の例外はSWE-bench/Claudeである。
  論文  参考訳（メタデータ） (2026-07-12T04:52:08Z)
• A Cost-Aware, Paired Protocol for Auditing Dynamic Tool Synthesis in Agentic Video Question Answering [2.1096366377985185]
  Agentic Video Questioning (VideoQA) システムは推論中にツールを呼び出すが、ツールライブラリは修正されている。 本稿では,ツール拡張ビデオエージェントの監査のための費用対プロトコルを提案する。
  論文  参考訳（メタデータ） (2026-07-01T21:01:57Z)
• $V_1$: Unifying Generation and Self-Verification for Parallel Reasoners [69.66089681814013]
  $V_$は、効率的なペアワイドランキングを通じて生成と検証を統合するフレームワークである。 V_$-Inferはポイントワイド検証でPass@1を最大10%改善する。 V_$-PairRLは、標準のRLとポイントワイドのジョイントトレーニングよりも、テストタイムのスケーリングが7ドル--9%で向上する。
  論文  参考訳（メタデータ） (2026-03-04T17:22:16Z)
• Hardware-Aware Parallel Prompt Decoding for Memory-Efficient Acceleration of LLM Inference [23.633481089469836]
  LLM(Large Language Models)の自動回帰デコーディングは、ハードウェアの性能に大きなオーバーヘッドをもたらす。 トレーニング可能なパラメータを0.0002$%しか必要とせず,A100-40GBのGPUをたった16時間で効率的にトレーニングできる並列プロンプトデコーディングを提案する。 我々のアプローチでは、最大2.49$times$ スピードアップを示し、最小のメモリオーバーヘッドは0.0004$%である。
  論文  参考訳（メタデータ） (2024-05-28T22:19:30Z)
• Rapid Person Re-Identification via Sub-space Consistency Regularization [51.76876061721556]
  Person Re-Identification (ReID) は、歩行者を分離したカメラで識別する。 実値特徴記述子を用いた既存のReID法は精度が高いが、ユークリッド距離計算が遅いため効率が低い。 本稿では,ReID 処理を 0.25 倍高速化するサブスペース一貫性規則化 (SCR) アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-07-13T02:44:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。