論文の概要: Long-Horizon Analog Design Bench: Benchmarking Agents on Hours-Long Analog and Mixed-Signal Circuit Design Tasks

• arxiv url: http://arxiv.org/abs/2609.33356v1
• Date: Sun, 27 Sep 2026 08:28:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-06 00:49:00.968586
• Title: Long-Horizon Analog Design Bench: Benchmarking Agents on Hours-Long Analog and Mixed-Signal Circuit Design Tasks
• Title（参考訳）: 長距離アナログ設計ベンチ:時間長アナログと混合信号回路設計タスクのベンチマークエージェント
• Abstract要約: 現在、符号化エージェントは数時間のツール駆動ループを維持しているが、長い水平アナログ回路と混合信号回路を電気的仕様に運べる能力は未測定のままである。 我々はAnalog Design Benchを紹介した。Analog Design Benchは17のチップ設計者が貢献する50のトランジスタレベルの設計タスクの長期エージェントベンチマークである。 2250回の2時間試験で15のエージェント構成を評価し,8.0%から78.0%までの完全特定パス率を観察した。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Coding agents now sustain hours-long, tool-driven loops, yet their ability to carry long-horizon analog and mixed-signal circuits to electrical specification remains unmeasured. We introduce Analog Design Bench, a long-horizon agentic benchmark of 50 transistor-level design tasks contributed by 17 chip designers. Agents work with an open-source simulator, while an isolated verifier evaluates the submitted circuit using specification-based electrical tests. We evaluate 15 agent configurations across 2,250 two-hour attempts and observe full-specification pass rates from 8.0% to 78.0%. Coding-benchmark performance correlates with analog results but leaves much of the performance spread unexplained. Our failure analysis shows that most unsuccessful submissions have no recorded legality rejection but fail electrical acceptance, identifying electrical closure as the dominant endpoint challenge. We test time, reasoning effort, agent harness, and supplied design knowledge as interventions. Longer budgets and higher reasoning effort improve performance, while general skill documents provide little benefit and sometimes reduce performance. Supplying a task-matched reference topology, an idealized form of circuit-IP retrieval, raises DeepSeek V4 Pro by 18.7 percentage points and mainly accelerates GPT-5.6 Sol.
• Abstract（参考訳）: 現在、符号化エージェントは数時間のツール駆動ループを維持しているが、長い水平アナログ回路と混合信号回路を電気的仕様に運べる能力は未測定のままである。 我々はAnalog Design Benchを紹介した。Analog Design Benchは17のチップ設計者が貢献する50のトランジスタレベルの設計タスクの長期エージェントベンチマークである。 エージェントはオープンソースシミュレータで動作し、分離された検証器は仕様ベースの電気試験を用いて送信された回路を評価する。 2250回の2時間試験で15のエージェント構成を評価し,8.0%から78.0%までの完全特定パス率を観察した。 符号化ベンチマークのパフォーマンスはアナログ結果と相関するが、ほとんどの性能は説明がつかないままである。 我々の失敗分析は、ほとんどの失敗した応募者は、合法性の拒絶は記録されていないが、電気的受容に失敗し、電気的閉鎖が支配的なエンドポイントチャレンジであると認識していることを示している。 私たちは時間、推論の努力、エージェントハーネスをテストし、介入として設計知識を提供しました。 長い予算と高い推論の努力によってパフォーマンスが向上する一方、一般的なスキルドキュメントはほとんど利益が得られず、時にはパフォーマンスが低下する。 タスクマッチングされた参照トポロジは、サーキットIP検索の理想的な形式であり、DeepSeek V4 Proを18.7ポイント引き上げ、主にGPT-5.6 Solを加速する。

関連論文リスト

• TraceDance: An Automated System for Building Agent Behavior Benchmarks from Real-World Agent Deployment Traces [49.561879967469714]
  TraceDanceは、ユーザが指定した望ましくない振る舞いのデプロイメントトレースからターゲットベンチマークを構築するエージェントシステムである。 効率的な構築のために、Anchor-and-Confirmはプログラム可能な検索と、Flash大言語モデルによる候補レベルの確認を組み合わせる。 コーディングと一般的なツールの実験では、252,557のセッションで描画され、ビルドターゲット要求の95.3%を満たす4,125のインスタンスで107のベンチマークを生成する。
  論文  参考訳（メタデータ） (2026-09-27T06:58:39Z)
• Argus: A General-Purpose Agentic Reasoning Runtime for Long-Horizon Tasks [38.52523278435824]
  Argusは永続的で自己進化的なランタイムで、マネージャ、プランナー、エンジニア、レビューアが耐久性のあるプロジェクトステート上で有界なミッションを実行します。 Argusは、安定したユーザ意図を運用目標、制約、検証基準から切り離し、メモリ、スキル、プロシージャ、バリデーション、ルーティング決定を許可し、ロール所有のレビューと利用可能なタスクネイティブ検証の後にのみ拒否されたルートを承認する。
  論文  参考訳（メタデータ） (2026-08-05T17:58:58Z)
• LoopsBench: From Harness Engineering to Loop Engineering in Benchmarking Coding Agent [60.27239351179265]
  LOOPSBENCHは、符号化エージェント評価におけるループエンジニアリングのベンチマークである。 8つのプログラミング言語と9つのドメインにまたがる、本物のソースからの112のタスクで構成されている。 フロー対応ランタイムは、準備されたフロンティアに沿ってテストをリリースし、レグレッション義務として完了したノードを保持します。
  論文  参考訳（メタデータ） (2026-07-31T20:18:25Z)
• Toward Autonomous Long-Horizon Engineering for ML Research [89.63005598358639]
  AiScientistは、シンプルな原理に基づいて構築されたML研究のための自律的な長距離エンジニアリングシステムである。 AiScientistは階層的なオーケストレーションとパーミッションスコープのFile-as-Busワークスペースを組み合わせる。
  論文  参考訳（メタデータ） (2026-04-14T17:55:16Z)
• SlopCodeBench: Benchmarking How Coding Agents Degrade Over Long-Horizon Iterative Tasks [55.76734816061826]
  我々は20の問題と93のチェックポイントからなる言語に依存しないベンチマークであるSlopCodeBenchを紹介する。 我々は、冗長性、重複コードの割合、構造的侵食という2つの軌道レベルの品質信号を追跡する。 11モデルにまたがるエンドツーエンドの問題を解決するエージェントは存在しない。
  論文  参考訳（メタデータ） (2026-03-25T19:26:44Z)
• Parameter Analysis and Optimization of Layer Fidelity for Quantum Processor Benchmarking at Scale [0.03499870393443267]
  レイヤの忠実度は、大規模にプロセッサのパフォーマンスを評価するのに適しているベンチマークである。 我々は、ベンチマークのパラメータを最適化するために、元の層忠実度原稿の分析を拡張した。
  論文  参考訳（メタデータ） (2025-10-19T16:18:26Z)
• EEsizer: LLM-Based AI Agent for Sizing of Analog and Mixed Signal Circuit [3.0075075797261532]
  本稿では,大規模な言語モデルと回路シミュレータ,カスタムデータ解析機能を統合するAIエージェントであるEEsizerを提案する。 迅速な工学的推論と理論的推論を駆使して、エージェントは設計の方向性を反復的に探求し、性能を評価し、人間の介入を最小限に抑えてソリューションを洗練する。
  論文  参考訳（メタデータ） (2025-09-29T21:08:23Z)
• Finding Transformer Circuits with Edge Pruning [71.12127707678961]
  自動回路発見の効率的かつスケーラブルなソリューションとしてエッジプルーニングを提案する。 本手法は,従来の手法に比べてエッジ数の半分未満のGPT-2の回路を探索する。 その効率のおかげで、Edge PruningをCodeLlama-13Bにスケールしました。
  論文  参考訳（メタデータ） (2024-06-24T16:40:54Z)
• GNN4REL: Graph Neural Networks for Predicting Circuit Reliability Degradation [7.650966670809372]
  我々はグラフニューラルネットワーク(GNN)を用いて、プロセスの変動とデバイス老化が回路内の任意の経路の遅延に与える影響を正確に推定する。 GNN4RELは、工業用14nm計測データに対して校正されたFinFET技術モデルに基づいて訓練されている。 我々は、平均絶対誤差を0.01ポイントまで下げて、全経路(特に数秒以内)の遅延劣化をうまく見積もった。
  論文  参考訳（メタデータ） (2022-08-04T20:09:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。