論文の概要: CircuitReason-1k: Benchmarking Long-Horizon Visual-to-Symbolic Reasoning inElectrical Circuits
- arxiv url: http://arxiv.org/abs/2608.09374v1
- Date: Mon, 10 Aug 2026 09:55:08 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-11 19:16:37.200491
- Title: CircuitReason-1k: Benchmarking Long-Horizon Visual-to-Symbolic Reasoning inElectrical Circuits
- Title（参考訳）: CircuitReason-1k: 電子回路における長距離視覚-シンボリック推論のベンチマーク
- Abstract要約: ベンチマークは 本物の教科書問題の ベンチマークです
各問題は1つ以上の回路図と自己完結した質問をペアリングする。
評価は、保守的な型付きスコアとアイデンティティを持つマルチモデルセマンティック・コンセンサスを組み合わせる。
- 参考スコア（独自算出の注目度）: 6.324797305345387
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: Electrical circuit analysis requires more than recognizing components in an image. A solver must ground symbols and labels, recover latent topology, select a physical model, formulate coupled equations, propagate intermediate quantities, and preserve units, signs, directions, and phase conventions. We introduce \benchmark, a benchmark of 1,000 authentic textbook problems for evaluating this complete long-horizon visual-to-symbolic reasoning process. Each problem pairs one or more circuit diagrams with a self-contained question, a typed or semantically specified answer, and a reference worked solution. An evidence-first construction pipeline aligns questions, figures, and solutions, while a reasoning-oriented taxonomy organizes problems by circuit type and dependency depth. Evaluation combines conservative typed scoring with identity-blinded multi-model semantic consensus, retaining every problem in the denominator. Across three commercial chatbot systems and six open-source multimodal large language models, the highest-scoring system reaches 84.8\% accuracy. However, performance consistently deteriorates on long-horizon problems, and qualitative analysis exposes persistent failures in topology-to-target binding, physical conventions, and late-stage output propagation. \benchmark{} provides a focused testbed for measuring whether multimodal models can transform technical visual evidence into sustained, physically valid symbolic reasoning. Code are available at GitHub - CircuitReason/CircuitReason1K.
- Abstract（参考訳）: 電気回路解析は、画像中の部品を認識する以上のものを必要とする。
解法は記号とラベルを接地し、潜在トポロジーを復元し、物理モデルを選択し、結合方程式を定式化し、中間量を伝播し、単位、記号、方向、位相規則を保存する必要がある。
我々は,この長期的視覚-象徴的推論プロセスを評価するために,1,000の真正な教科書問題のベンチマークである‘benchmark’を紹介する。
各問題は、1つ以上の回路図と、自己完結した質問、型付きまたは意味的に特定された回答、および参照作業解とをペアリングする。
エビデンスファースト構築パイプラインは質問、数字、解決策を整理し、推論指向の分類は回路タイプと依存性の深さによって問題を整理する。
評価は、保守的な型付きスコアとアイデンティティ・ブラインドされたマルチモデルセマンティック・コンセンサスを組み合わせることで、分母のすべての問題を維持する。
3つの商用チャットボットシステムと6つのオープンソースのマルチモーダル大言語モデルにまたがって、最高スコアシステムは84.8\%の精度に達する。
定性的解析は、トポロジ-ターゲット結合、物理規則、後期出力伝搬における永続的な失敗を露呈する。
\benchmark{}は、マルチモーダルモデルが技術的視覚的証拠を持続的で、物理的に有効な象徴的推論に変換することができるかどうかを測定するための集中テストベッドを提供する。
コードは GitHub - CircuitReason/CircuitReason1K で公開されている。
関連論文リスト
- RoboPIN: Grounded Embodied Reasoning via Pinned Chain-of-Thought [50.36951914894845]
身体的推論は、物理的環境におけるタスク関連オブジェクトや空間を知覚するモデルを必要とする。
現在の視覚言語モデルは、テキストのみまたはコーディネートで拡張されたチェーン・オブ・思想に依存している。
我々は、あらゆる推論ステップを視覚的証拠にピン留めする構造化推論パラダイムであるPinned Chain-of-Thoughtを提案する。
論文 参考訳（メタデータ） (2026-06-14T11:30:42Z) - GenAI for Systems: Recurring Challenges and Design Principles from Software to Silicon [62.2138479061386]
ジェネレーティブAIは、コンピュータシステムの設計、最適化、構築方法を変えようとしているが、ソフトウェア、アーキテクチャ、チップデザインコミュニティの間で研究は断片化されている。
本稿では、ハードウェア設計空間探索からRTL合成、物理レイアウト、検証に至るまで、コード生成と分散ランタイムから生成モデルがどのように適用されているかを検討する。
論文 参考訳（メタデータ） (2026-02-16T22:45:33Z) - CircuChain: Disentangling Competence and Compliance in LLM Circuit Analysis [0.0]
本稿では,電気回路解析における物理推論能力から命令コンプライアンスを遠ざけるように設計された診断ベンチマークであるCircuChainを紹介する。
シンボリック・ソルバ、SPICEシミュレーション、LLMに基づくエラー分類を組み合わせた多段階検証パイプラインは、エラーのきめ細かい帰属を可能にする。
評価された最強モデルは、ほぼ完全な物理的推論を示すが、Trap条件が意図的に自然のサインパターンを逆転させる場合、規約違反の頻度が高い。
論文 参考訳（メタデータ） (2026-01-29T06:13:44Z) - CrossCheck-Bench: Diagnosing Compositional Failures in Multimodal Conflict Resolution [20.823419395675412]
CrossCheck-Benchは、マルチモーダル入力における矛盾検出を評価するための診断ベンチマークである。
タスクが知覚的マッチングから論理的矛盾検出に移行するにつれて、13の最先端の視覚言語モデルを評価し、一貫した性能低下を観察する。
論文 参考訳（メタデータ） (2025-11-19T12:17:15Z) - EngChain: A Symbolic Benchmark for Verifiable Multi-Step Reasoning in Engineering [42.520431569855475]
検証可能な多段階エンジニアリング問題解決のためのベンチマークであるEngChainを紹介する。
EngChainには3つのエンジニアリングブランチにまたがる90の問題がある。
まず,各推論ステップの数値的および意味的妥当性を定量的に検証し,同定された推論誤りを定性的に分類する自動システム LLM-As-A-Judge を導入する。
論文 参考訳（メタデータ） (2025-11-03T15:05:44Z) - Demystifying deep search: a holistic evaluation with hint-free multi-hop questions and factorised metrics [89.1999907891494]
We present WebDetective, a benchmark of hint-free multi-hop questions with a control Wikipedia sandbox。
25の最先端モデルに対する我々の評価は、すべてのアーキテクチャにまたがる体系的な弱点を明らかにしている。
私たちはエージェントワークフローであるEvidenceLoopを開発し、ベンチマークが特定する課題を明示的にターゲットしています。
論文 参考訳（メタデータ） (2025-10-01T07:59:03Z) - CircuitSense: A Hierarchical Circuit System Benchmark Bridging Visual Comprehension and Symbolic Reasoning in Engineering Design Process [29.38618453695266]
エンジニアリング設計は、システム仕様からコンポーネント実装までの階層的な抽象化を通して行われる。
MLLM(Multi-modal Large Language Models)は自然画像のタスクに優れるが、技術図から数学的モデルを抽出する能力はいまだ解明されていない。
textbfCircuitSenseは、コンポーネントレベルのスキーマからシステムレベルのブロックダイアグラムにまたがる8,006以上の問題を通じて、この階層の回路理解を評価するベンチマークである。
論文 参考訳（メタデータ） (2025-09-26T13:32:14Z) - VideoMathQA: Benchmarking Mathematical Reasoning via Multimodal Understanding in Videos [89.39873803375498]
VideoMathQAは、ビデオ上で時間的に拡張されたクロスモーダル推論を実行できるかどうかを評価するために設計されたベンチマークである。
ベンチマークは10種類の数学的領域にまたがっており、ビデオは10秒から1時間以上に及ぶ。
構造化された視覚的コンテンツを解釈し、指導的物語を理解し、視覚的、音声的、テキスト的モダリティにまたがる共同概念を理解するためのモデルが必要である。
論文 参考訳（メタデータ） (2025-06-05T17:59:58Z) - SCoRE: Benchmarking Long-Chain Reasoning in Commonsense Scenarios [33.72114830484246]
SCoRE(Scenario-based Commonsense Reasoning Evaluation)は、エンティティ、リレーション、論理ルールのシナリオスキーマからマルチホップ質問を合成するベンチマークである。
SCoREには100kのバイリンガル(中国語と英語の)複数選択質問が含まれており、推論チェーンは2-11ホップにまたがり、様々な難易度にグループ化されている。
論文 参考訳（メタデータ） (2025-03-08T13:40:10Z) - Chaining Simultaneous Thoughts for Numerical Reasoning [92.2007997126144]
テキストによる数値推論は、AIシステムにとって不可欠なスキルであるべきです。
これまでの研究は方程式の構造をモデル化することに集中し、様々な構造化デコーダを提案してきた。
我々は、有向非巡回グラフを用いてステップを推論する数値推論器CANTORを提案する。
論文 参考訳（メタデータ） (2022-11-29T18:52:06Z) - Document Modeling with Graph Attention Networks for Multi-grained
Machine Reading Comprehension [127.3341842928421]
Natural Questionsは、新しい挑戦的な機械読解ベンチマークである。
解答は2つあり、長解(典型的には1段落)と短解(長解の内にある1つ以上の実体)である。
既存の方法は、これらの2つのサブタスクをトレーニング中に個別に扱い、依存関係を無視します。
本稿では,文書を階層的にモデル化する多層機械読解フレームワークを提案する。
論文 参考訳（メタデータ） (2020-05-12T14:20:09Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。