論文の概要: Is Agentic AI Ready for Real-World Hardware Engineering? A Deep Dive with Phoenix-bench

• arxiv url: http://arxiv.org/abs/2605.15226v1
• Date: Wed, 13 May 2026 14:14:54 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-18 21:22:26.015258
• Title: Is Agentic AI Ready for Real-World Hardware Engineering? A Deep Dive with Phoenix-bench
• Title（参考訳）: エージェントAIは現実世界のハードウェアエンジニアリングに使えるのか?フェニックス・ベンチのディープディブ
• Authors: Qingyun Zou, Feng Yu, Hongshi Tan, Bingsheng He, WengFai Wong,
• Abstract要約: 我々は、ソフトウェアエンジニアリングを現実的なハードウェアエンジニアリングに移行するために構築されたエージェントAIシステムについて尋ねる。 textbfPhoenix-benchは、114のGitHubリポジトリから511の検証済みのVerilatorインスタンスの同期コーパスです。 Phoenix-benchを用いて、4つの商用エージェントと8つのオープンソースエージェント構造を均一に評価する。
• 参考スコア（独自算出の注目度）: 33.69401287706814
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We ask whether agentic AI systems built for software engineering transfer to realistic hardware engineering. Existing hardware LLM benchmarks isolate sub-tasks but none jointly requires repository navigation, hierarchy-aware localization, Electronic Design Automation (EDA) executable verification, and maintenance-style patching. We introduce \textbf{Phoenix-bench}, a synchronized corpus of 511 verified Verilator instances from 114 GitHub repositories, each shipped with the developer patch, design-flow labels, fail-to-pass and pass-to-pass testbenches, and a Docker-pinned EDA environment so resolved-rate differences reflect agent behavior rather than toolchain availability. Using Phoenix-bench we run a uniform evaluation of four commercial agents and eight open-source agentic structures across four LLM backbones, plus two diagnostic interventions (file-level oracle localization and one round of testbench-log feedback). Three findings emerge. (i)~Software and hardware are fundamentally different engineering tasks: the same agent loses 37\% to 58\% from SWE-bench Verified to Phoenix-bench because hardware bugs propagate across parallel instantiated modules through signal flow rather than along a software-style call graph, and software-tuned agents stop at the symptom file instead of tracing back through the instantiation chain. (ii)~Failures concentrate on design control-flow / finite state machine (FSM) bugs, verification testbench bugs, and hard cases that demand cross-hierarchy signal-flow tracking and coordinated multi-file edits. (iii)~Localization granularity matters far more than localization itself: a perfect file-level oracle yields only $+1.4$\% because the agent then breaks files that did not need editing, while a single round of test case feedback lifts resolved rate by $42$\% to $45$\% because the test case tells \emph{where} the bug is and \emph{what} the fix has to look like.
• Abstract（参考訳）: 我々は、ソフトウェアエンジニアリングを現実的なハードウェアエンジニアリングに移行するために構築されたエージェントAIシステムについて尋ねる。 既存のハードウェアLLMベンチマークはサブタスクを分離するが、共同でリポジトリナビゲーション、階層対応のローカライゼーション、電子設計自動化(EDA)実行可能な検証、メンテナンススタイルのパッチを必要とするものはない。 114のGitHubリポジトリから511の検証済みのVerilatorインスタンスの同期コーパスである‘textbf{Phoenix-bench}’を紹介します。 Phoenix-benchを用いて、4つのLCMバックボーンに4つの商用エージェントと8つのオープンソースエージェント構造を均一に評価し、2つの診断介入(ファイルレベルのオラクルローカライゼーションと1ラウンドのテストベンチログフィードバック)を行った。 3つの発見がある。 ソフトウェアとハードウェアは、基本的に異なるエンジニアリングタスクである。同じエージェントがSWE-benchの検証結果からPhoenix-benchまで37-58-%を失うのは、ハードウェアバグがソフトウェアスタイルのコールグラフではなく、信号フローを介して並列にインスタンス化されたモジュールに伝播するためである。 (ii)~Failuresは、設計制御フロー/有限状態マシン(FSM)バグ、検証テストベンチバグ、階層間信号フロー追跡とコーディネートされた複数ファイル編集を必要とするハードケースに重点を置いている。 完全なファイルレベルのオラクルは、エージェントが編集不要なファイルを壊すため、$+1.4$\%しか得られず、一方、テストケースの1ラウンドのフィードバックは、解決レートを42$\%から45$\%引き上げる。

関連論文リスト

• SmellBench: Evaluating LLM Agents on Architectural Code Smell Repair [1.6922906233636834]
  アーキテクチャコードはソフトウェアの保守性を損なうため、手作業で修理するのにコストがかかる。 本稿では,大規模言語モデルエージェントによる建築コードの臭いの修復に関する経験的評価について述べる。 SmellBenchは、嗅覚タイプ固有の最適化プロンプトを組み込んだタスクオーケストレーションフレームワークです。
  論文  参考訳（メタデータ） (2026-05-07T22:33:32Z)
• Dynamic analysis enhances issue resolution [53.50448142467294]
  DAIRA(Dynamic Analysis-enhanced Issue Resolution Agent)は、エージェントの推論サイクルに動的解析を組み込む自動修復フレームワークである。 テストトレース駆動の方法論によって駆動されるDAIRAは、軽量モニタを使用して重要なランタイムデータを抽出する。 Gemini 3 Flash Previewを使用すると、DAIRAは新たな最先端(SOTA)パフォーマンスを確立し、SWE-bench Verifiedデータセットで79.4%の解像度を達成する。
  論文  参考訳（メタデータ） (2026-03-23T14:48:54Z)
• Pull Requests as a Training Signal for Repo-Level Code Editing [49.82435173554125]
  Clean Pull Request(Clean-PR)は、現実のGitHubプルリクエストをリポジトリレベルの編集のトレーニングシグナルとして活用する、トレーニング中のパラダイムである。 ノイズの多いプルリクエストの差分を,再構築と検証を通じて検索/リプレース編集ブロックに変換する,スケーラブルなパイプラインを導入する。 SWE-benchでは,SWE-bench Liteが13.6%,SWE-bench Verifiedが12.3%,命令調整ベースラインが大幅に向上した。
  論文  参考訳（メタデータ） (2026-02-07T09:22:25Z)
• VibeTensor: System Software for Deep Learning, Fully Generated by AI Agents [42.56489784841984]
  実装の変更が生成され、エージェントが提案する差分として適用される。 アーキテクチャを説明し、システムの生成と検証に使用するワークフローを要約し、アーティファクトを評価する。
  論文  参考訳（メタデータ） (2026-01-21T19:29:00Z)
• InfCode: Adversarial Iterative Refinement of Tests and Patches for Reliable Software Issue Resolution [31.874379525390967]
  InfCodeは、リポジトリレベルの自動イシュー解決のための、対向的なマルチエージェントフレームワークである。 InfCodeは、テストパッチジェネレータとコードパッチジェネレータの間の逆インタラクションを通じて、テストとパッチの両方を反復的に洗練する。 DeepSeek-V3やClaude 4.5 Sonnetといったモデルを用いたSWE-bench LiteとSWE-benchの検証実験は、InfCodeが一貫して強力なベースラインを上回っていることを示している。
  論文  参考訳（メタデータ） (2025-11-20T03:04:21Z)
• Where LLM Agents Fail and How They can Learn From Failures [62.196870049524364]
  大規模言語モデル(LLM)エージェントは、複雑なマルチステップタスクの解決において有望であることを示す。 単一ルート原因エラーがその後の決定を通じて伝播する、障害のカスケードに対する脆弱性を増幅する。 現在のシステムは、モジュール的で体系的な方法でエージェントエラーを包括的に理解できるフレームワークを欠いている。 AgentErrorTaxonomyは、メモリ、リフレクション、計画、アクション、システムレベルの操作にまたがる障害モードのモジュール分類である。
  論文  参考訳（メタデータ） (2025-09-29T18:20:27Z)
• SwingArena: Competitive Programming Arena for Long-context GitHub Issue Solving [90.32201622392137]
  We present SwingArena, a competitive evaluation framework for Large Language Models (LLMs)。 従来の静的ベンチマークとは異なり、SwingArenaはLLMをイテレーションとして組み合わせて、テストケースを作成し、継続的インテグレーション(CI)パイプラインを通じてパッチを検証するパッチとレビュアーを生成することで、ソフトウェアのコラボレーションプロセスをモデル化する。
  論文  参考訳（メタデータ） (2025-05-29T18:28:02Z)
• A Unified Debugging Approach via LLM-Based Multi-Agent Synergy [39.11825182386288]
  FixAgentはマルチエージェントのシナジーによる統合デバッグのためのエンドツーエンドフレームワークである。 1.25$times$ 2.56$times$レポレベルのベンチマークであるDefects4Jのバグを修正した。
  論文  参考訳（メタデータ） (2024-04-26T04:55:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。