論文の概要: AMSbench: A Comprehensive Benchmark for Evaluating MLLM Capabilities in AMS Circuits

• arxiv url: http://arxiv.org/abs/2505.24138v1
• Date: Fri, 30 May 2025 02:17:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-02 19:47:52.730224
• Title: AMSbench: A Comprehensive Benchmark for Evaluating MLLM Capabilities in AMS Circuits
• Title（参考訳）: AMSbench: AMS回路におけるMLLM機能評価のための総合ベンチマーク
• Authors: Yichen Shi, Ze Zhang, Hongyang Wang, Zhuofu Tao, Zhongyi Li, Bingyu Chen, Yaxin Wang, Zhiping Yu, Ting-Jung Lin, Lei He,
• Abstract要約: Analog/Mixed-Signal (AMS) 回路設計は、その困難さと複雑さのため、長年にわたる課題である。 MLLM(Multi-modal Large Language Models)の最近の進歩は、AMS回路解析と設計をサポートする有望な可能性を提供する。 AMSbenchは、回路スキーマ認識、回路解析、回路設計を含む重要なタスクにわたってMLLMの性能を評価するために設計されたベンチマークスイートである。
• 参考スコア（独自算出の注目度）: 11.372367666471442
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Analog/Mixed-Signal (AMS) circuits play a critical role in the integrated circuit (IC) industry. However, automating Analog/Mixed-Signal (AMS) circuit design has remained a longstanding challenge due to its difficulty and complexity. Recent advances in Multi-modal Large Language Models (MLLMs) offer promising potential for supporting AMS circuit analysis and design. However, current research typically evaluates MLLMs on isolated tasks within the domain, lacking a comprehensive benchmark that systematically assesses model capabilities across diverse AMS-related challenges. To address this gap, we introduce AMSbench, a benchmark suite designed to evaluate MLLM performance across critical tasks including circuit schematic perception, circuit analysis, and circuit design. AMSbench comprises approximately 8000 test questions spanning multiple difficulty levels and assesses eight prominent models, encompassing both open-source and proprietary solutions such as Qwen 2.5-VL and Gemini 2.5 Pro. Our evaluation highlights significant limitations in current MLLMs, particularly in complex multi-modal reasoning and sophisticated circuit design tasks. These results underscore the necessity of advancing MLLMs' understanding and effective application of circuit-specific knowledge, thereby narrowing the existing performance gap relative to human expertise and moving toward fully automated AMS circuit design workflows. Our data is released at https://huggingface.co/datasets/wwhhyy/AMSBench
• Abstract（参考訳）: Analog/Mixed-Signal (AMS) 回路は集積回路(IC)産業において重要な役割を果たしている。 しかし、Analog/Mixed-Signal (AMS)回路設計の自動化は、その困難さと複雑さのため、長年にわたる課題である。 MLLM(Multi-modal Large Language Models)の最近の進歩は、AMS回路解析と設計をサポートする有望な可能性を提供する。 しかしながら、現在の研究では、ドメイン内の独立したタスクに対するMLLMの評価が一般的であり、様々なAMS関連の課題にまたがってモデル能力を体系的に評価する包括的なベンチマークが欠如している。 このギャップに対処するために、回路スキーマ認識、回路解析、回路設計を含む重要なタスクにわたってMLLMの性能を評価するために設計されたベンチマークスイートであるAMSbenchを紹介する。 AMSbenchは、複数の困難レベルにまたがる約8000のテスト質問で構成され、Qwen 2.5-VLやGemini 2.5 Proといったオープンソースおよびプロプライエタリなソリューションを含む8つの重要なモデルを評価する。 特に複雑なマルチモーダル推論や洗練された回路設計タスクでは,MLLMの限界が顕著である。 これらの結果は、MLLMの回路固有の知識の理解と効果的な応用を推進し、人間の専門知識に対する既存の性能ギャップを狭め、完全に自動化されたAMS回路設計ワークフローへと進む必要性を浮き彫りにしている。 私たちのデータはhttps://huggingface.co/datasets/wwhhyy/AMSBenchで公開されています。

関連論文リスト

• Evaluating Large Language Models for Real-World Engineering Tasks [75.97299249823972]
  本稿では,実運用指向のエンジニアリングシナリオから得られた100以上の質問をキュレートしたデータベースを提案する。 このデータセットを用いて、4つの最先端の大規模言語モデル(LLM)を評価する。 以上の結果から,LLMは時間的および構造的推論において強みを示すが,抽象的推論や形式的モデリング,文脈に敏感な工学的論理にはかなり苦労することがわかった。
  論文  参考訳（メタデータ） (2025-05-12T14:05:23Z)
• LLM-based AI Agent for Sizing of Analog and Mixed Signal Circuit [2.979579757819132]
  大規模言語モデル (LLM) は様々な分野において大きな可能性を証明している。 本研究では,AMS回路設計のためのLLMベースのAIエージェントを提案する。
  論文  参考訳（メタデータ） (2025-04-14T22:18:16Z)
• Benchmarking Multi-modal Semantic Segmentation under Sensor Failures: Missing and Noisy Modality Robustness [61.87055159919641]
  マルチモーダルセマンティックセグメンテーション(MMSS)は、モーダル間で補完情報を統合することで、単一モーダルデータの制限に対処する。 顕著な進歩にもかかわらず、マルチモーダルデータ品質の変動と不確実性により、研究と実世界の展開の間に大きなギャップが持続する。 Intire-Missing Modality (EMM)、Random-Missing Modality (RMM)、Noisy Modality (NM)の3つのシナリオでMMSSモデルを評価する頑健性ベンチマークを導入する。
  論文  参考訳（メタデータ） (2025-03-24T08:46:52Z)
• Why Do Multi-Agent LLM Systems Fail? [91.39266556855513]
  MAST(Multi-Agent System Failure taxonomy, MAST)は,MASの故障を理解するために考案された分類法である。 我々は、200以上のタスクにまたがる7つの人気のあるMASフレームワークを分析し、6つの専門家のアノテータを含む。 14のユニークな障害モードを特定し、(i)仕様問題、(ii)エージェント間ミスアライメント、(iii)タスク検証の3つに分類した。
  論文  参考訳（メタデータ） (2025-03-17T19:04:38Z)
• AMSnet-KG: A Netlist Dataset for LLM-based AMS Circuit Auto-Design Using Knowledge Graph RAG [15.61553255884534]
  大型言語モデル(LLM)は電子設計自動化(EDA)アプリケーションのための強力なツールとして登場した。 本稿では,様々なAMS回路スキーマとネットリストを含むデータセットであるAMSnet-KGを紹介する。 LLMに埋め込まれた包括的知識を利用する自動AMS回路生成フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-11-07T02:49:53Z)
• EEE-Bench: A Comprehensive Multimodal Electrical And Electronics Engineering Benchmark [10.265704144939503]
  大規模言語モデル (LLM) と大規模マルチモーダルモデル (LMM) は、科学や数学など様々な分野で有望なスキルを実証している。 実用工学的課題の解決におけるLMMの能力評価を目的としたマルチモーダルベンチマークであるEEE-Benchを提案する。 我々のベンチマークは、アナログ回路や制御システムなど10の必須課題にまたがる2860の慎重に計算された問題からなる。
  論文  参考訳（メタデータ） (2024-11-03T09:17:56Z)
• MR-Ben: A Meta-Reasoning Benchmark for Evaluating System-2 Thinking in LLMs [55.20845457594977]
  大規模言語モデル(LLM)は、問題解決と意思決定の能力の向上を示している。 本稿ではメタ推論技術を必要とするプロセスベースのベンチマークMR-Benを提案する。 メタ推論のパラダイムは,システム2のスロー思考に特に適しています。
  論文  参考訳（メタデータ） (2024-06-20T03:50:23Z)
• Analog/Mixed-Signal Circuit Synthesis Enabled by the Advancements of Circuit Architectures and Machine Learning Algorithms [0.0]
  我々は、ニューラルネットワークに基づくサロゲートモデルを用いて、回路設計パラメータの探索とレイアウトの反復を高速化する。 最後に、AMS回路のいくつかの例を、仕様からシリコンプロトタイプまで迅速に合成し、人間の介入を大幅に削減する。
  論文  参考訳（メタデータ） (2021-12-15T01:47:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。