論文の概要: TicTacBench: Benchmarking Timing Closure Capabilities of Coding Agents
- arxiv url: http://arxiv.org/abs/2609.23363v1
- Date: Sun, 20 Sep 2026 05:17:00 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-23 18:04:03.931153
- Title: TicTacBench: Benchmarking Timing Closure Capabilities of Coding Agents
- Title（参考訳）: TicTacBench: コーディングエージェントの時間クロージャ機能のベンチマーク
- Abstract要約: 本稿では,RTLレベルのタイミング閉鎖のための符号化エージェントの能力を評価するためのベンチマークを提案する。
最適なエージェントでさえ、平均して53.3%のタスクを閉じることができ、面積遅延が7.18%、エネルギー遅延が8.83%であることがわかった。
TicTacSkillは、エージェントが標準の時間閉鎖手順に従うように誘導し、時間閉鎖率を9%改善する新しい方法である。
- 参考スコア（独自算出の注目度）: 4.683452536250249
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Recent advances in large language models (LLMs) have led to the emergence of coding agents capable of performing complex engineering tasks, including register-transfer level (RTL) design and optimization. Existing RTL benchmarks mainly evaluate functional correctness and performance, power, and area (PPA) of the generated RTL designs, leaving agents' ability for \emph{timing closure} under-evaluated. We propose TicTacBench, a benchmark specifically designed to evaluate coding agents' capabilities for RTL-level timing closure under post-place-and-route (post-PnR) evaluation. TicTacBench contains 30 diverse tasks, each provided with a suboptimal RTL design, realistic timing constraints, functional equivalence verification, and timing reports. With over 300 runs of coding agents driven by 8 frontier LLMs, we find that even the best agent can only close 53.3\% of tasks with 7.18\% area-delay product (ADP) degradation and 8.83\% energy-delay-squared product (EDDP) improvement on average. We identify common failure categories that explain why agents fail to close timing. Then we propose TicTacSkill, a new method that guides agents to follow standard timing-closure procedures and improves the Timing Closure Rate by 9\%. These results suggest that while coding agents have made significant progress in RTL design, their timing-closure capability still has substantial room for improvement.
- Abstract（参考訳）: 大規模言語モデル(LLM)の最近の進歩は、レジスタ・トランスファー・レベル(RTL)の設計や最適化を含む複雑なエンジニアリングタスクを実行できるコーディングエージェントの出現につながっている。
既存のRTLベンチマークは、生成したRTL設計の機能的正しさと性能、パワー、面積(PPA)を主に評価し、エージェントの能力は未評価のままである。
我々は,ポストプレース・アンド・ルート (ポストPnR) 評価において,RTLレベルのタイミングクロージャのための符号化エージェントの能力を評価するためのベンチマークであるTicTacBenchを提案する。
TicTacBenchには30の多様なタスクがあり、それぞれに最適なRTL設計、現実的なタイミング制約、機能的等価性検証、タイミングレポートが提供されている。
8つのフロンティアLCMによって駆動される300以上のコーディングエージェントにより、最高のエージェントでさえ、平均で7.18\%の面積遅延積(ADP)劣化と8.83\%のエネルギー遅延二乗積(EDDP)改善により、53.3\%のタスクを閉じることができる。
エージェントがタイミングをクローズできない理由を説明する一般的な失敗カテゴリを特定します。
次に,TicTacSkillを提案する。TicTacSkillはエージェントが標準の時間閉鎖手順に従うように誘導し,時間閉鎖率を9倍改善する手法である。
これらの結果から, コーディングエージェントはRTL設計において大きな進歩を遂げているものの, タイミング遮断能力は依然として改善の余地があることが示唆された。
関連論文リスト
- MTAC-IFBench: Benchmarking Instruction-Following in Multi-Turn Agentic Coding [83.0805548642958]
MTAC-IFBenchは、ソフトウェア開発におけるインストラクションフォローのための包括的なベンチマークである。
6つのプライマリと18のセカンダリカテゴリにまたがるさまざまな制約を持つ、多ターンプログレッシブなソフトウェア開発指示が特徴である。
MTAC-IFBenchは、マルチターン命令フォローにおける既存のコードエージェントの重大な欠陥を認識し、インタラクションセッションが長くなるにつれてパフォーマンスが急速に低下する。
論文 参考訳（メタデータ） (2026-09-14T03:57:37Z) - CAST: Critique-Aware Supervision for Training Reliable Long-Horizon Tool-Calling Agents [66.9575676266637]
大規模言語モデル(LLM)エージェントは、長期的、インタラクティブでステートフルな環境にますますデプロイされている。
これらの設定では、間違った購入を返金するなどの1つの間違ったアクションは、不可逆なタスクの失敗を引き起こし、実行前にインターセプトされなければならない。
CASTは、スパースタスクの結果を批判学習と政策最適化のためのアクションレベル監視に変換する、批判に意識したトレーニングフレームワークである。
論文 参考訳（メタデータ） (2026-08-31T01:59:51Z) - CLOSER-Bench: Evaluating Budgeted Cross-Stage Design Closure for Hardware Agents [5.604484678527336]
CLOSER-Bench (CLOSER-Bench) は、予算付きクロスステージ設計クロージャのための制御された評価プロトコルである。
Spec-to-RTL、RTL-to-GDS、Spec-to-GDSタスクを組み合わせ、すべてのシミュレータ、合成、STA、プレース・アンド・ルートの呼び出しを記録する。
最終品質、任意の進捗状況、ツールコスト、ステージ間のリカバリを測定します。
論文 参考訳（メタデータ） (2026-07-18T04:28:47Z) - REFORGE: A Method for Benchmarking LLMs' Reverse Engineering Capabilities in Decompiled Binary Function Naming [0.0]
大規模な言語モデル(LLM)は、リバースエンジニアリングタスクにますます適用されている。
しかし、彼らの能力に関する主張は、それを測定する能力よりも優れている。
本稿では,関数レベル基底真理をCソースから構築する証明追跡パイプラインであるReforgeを提案する。
論文 参考訳（メタデータ） (2026-07-07T23:17:03Z) - LLM-as-a-Verifier: A General-Purpose Verification Framework [74.40111651545979]
本稿では,汎用検証フレームワーク LLM-as-a-Verifier を紹介する。
追加のトレーニングを必要とせずに、エージェントタスクに対してきめ細かいフィードバックを提供する。
いくつかのベンチマークで最先端のパフォーマンスを達成する。
論文 参考訳（メタデータ） (2026-07-06T17:59:35Z) - Clover: A Neural-Symbolic Agentic Harness with Stochastic Tree-of-Thoughts for Verified RTL Repair [5.67664197679672]
Cloverは、コード操作に関する構造化された検索としてRTL修復をオーケストレーションし、バグに対する検証済みのソリューションを探索する。
Cloverは96.8%のバグを固定時間内に修正し、従来のLLMベースのベースラインよりも94%と63%多いバグをカバーしている。
論文 参考訳（メタデータ） (2026-04-19T07:04:49Z) - CODMAS: A Dialectic Multi-Agent Collaborative Framework for Structured RTL Optimization [5.592208774984063]
CODMASは、構造化弁証法とドメイン認識コード生成と決定論的評価を組み合わせたフレームワークである。
120のVerilogトリプル(最適化されていない、最適化された、テストベンチ)のベンチマークであるRTLOPTを導入し、パイプライン化とクロックゲーティング変換を行った。
論文 参考訳（メタデータ） (2026-03-17T23:10:07Z) - LongCLI-Bench: A Preliminary Benchmark and Study for Long-horizon Agentic Programming in Command-Line Interfaces [65.11019654023978]
LongCLI-Benchは、長期にわたる現実的なタスクにまたがるエージェント能力を評価するために設計されたベンチマークである。
私たちは、1000以上のコンピュータサイエンスの課題と現実世界のタスクから、20の高品質で長い水平タスクをキュレートしました。
実験によると、最先端のエージェントでさえLongCLI-Benchの20%未満のパスレートを達成する。
論文 参考訳（メタデータ） (2026-02-15T23:12:57Z) - VeriOpt: PPA-Aware High-Quality Verilog Generation via Multi-Role LLMs [41.94295877935867]
VeriOptは、ロールベースのプロンプトとPPA対応最適化を利用して、高品質で合成可能なVerilogを生成する新しいフレームワークである。
私たちの研究は、正しさと品質の重大なギャップに対処することで、最先端のAI駆動型ハードウェア設計を前進させます。
論文 参考訳（メタデータ） (2025-07-20T00:28:55Z) - RL-GPT: Integrating Reinforcement Learning and Code-as-policy [82.1804241891039]
本稿では,低速エージェントと高速エージェントからなる2レベル階層型フレームワークRL-GPTを提案する。
遅いエージェントはコーディングに適したアクションを分析し、速いエージェントはコーディングタスクを実行する。
この分解は、各エージェントが特定のタスクに効果的に集中し、パイプライン内で非常に効率的なことを証明します。
論文 参考訳（メタデータ） (2024-02-29T16:07:22Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。