論文の概要: QuArch: A Benchmark for Evaluating LLM Reasoning in Computer Architecture

• arxiv url: http://arxiv.org/abs/2510.22087v1
• Date: Fri, 24 Oct 2025 23:54:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-28 15:28:14.815409
• Title: QuArch: A Benchmark for Evaluating LLM Reasoning in Computer Architecture
• Title（参考訳）: QuArch: コンピュータアーキテクチャにおけるLLM推論の評価ベンチマーク
• Abstract要約: QuArchは、コンピュータアーキテクチャにおける大規模言語モデル(LLM)機能の開発と評価を容易にするために設計された最初のベンチマークである。 評価の結果,フロンティアモデルはドメイン固有の知識を持っているが,高次思考を必要とするスキルに苦慮していることが明らかとなった。
• 参考スコア（独自算出の注目度）: 36.842856470579726
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The field of computer architecture, which bridges high-level software abstractions and low-level hardware implementations, remains absent from current large language model (LLM) evaluations. To this end, we present QuArch (pronounced 'quark'), the first benchmark designed to facilitate the development and evaluation of LLM knowledge and reasoning capabilities specifically in computer architecture. QuArch provides a comprehensive collection of 2,671 expert-validated question-answer (QA) pairs covering various aspects of computer architecture, including processor design, memory systems, and interconnection networks. Our evaluation reveals that while frontier models possess domain-specific knowledge, they struggle with skills that require higher-order thinking in computer architecture. Frontier model accuracies vary widely (from 34% to 72%) on these advanced questions, highlighting persistent gaps in architectural reasoning across analysis, design, and implementation QAs. By holistically assessing fundamental skills, QuArch provides a foundation for building and measuring LLM capabilities that can accelerate innovation in computing systems. With over 140 contributors from 40 institutions, this benchmark represents a community effort to set the standard for architectural reasoning in LLM evaluation.
• Abstract（参考訳）: 高レベルのソフトウェア抽象化と低レベルのハードウェア実装を橋渡しするコンピュータアーキテクチャの分野は、現在の大規模言語モデル (LLM) 評価に欠けている。 この目的のために,コンピュータアーキテクチャに特化してLLMの知識と推論機能の開発と評価を促進するために設計された最初のベンチマークQuArch(quark)を提案する。 QuArchは,プロセッサ設計やメモリシステム,相互接続ネットワークなど,コンピュータアーキテクチャのさまざまな側面をカバーする,2,671人のエキスパート公認質問応答(QA)ペアの包括的なコレクションを提供する。 評価の結果,フロンティアモデルはドメイン固有の知識を持っているが,コンピュータアーキテクチャにおいて高次思考を必要とするスキルに苦慮していることが明らかとなった。 これらの先進的な質問に対して、フロンティアモデルのアキュラシーは(34%から72%まで)大きく変化し、分析、設計、実装に関するQAのアーキテクチャ的推論において、永続的なギャップが浮き彫りになっている。 QuArchは基本的なスキルを体系的に評価することで、コンピュータシステムのイノベーションを加速するLLM機能の構築と測定の基盤を提供する。 40の機関から140以上のコントリビュータが参加し、このベンチマークはLLM評価におけるアーキテクチャ推論の標準を設定するコミュニティの取り組みを表している。

関連論文リスト

• SAKE: Software Architectural Knowledge Evaluation Benchmark for Large Language Models [0.0]
  大規模言語モデル(LLM)は、ソフトウェア開発ライフサイクル全体にわたってアシスタントとしてますます使われています。 アーキテクチャ上の意思決定は品質特性のトレードオフ、設計パターン、システムレベルの制約に依存します。 我々は、ソフトウェアアーキテクチャの知識を評価するための標準化された再現可能なベンチマークであるSAKEを紹介する。
  論文  参考訳（メタデータ） (2026-06-28T17:31:14Z)
• CodegenBench: Can LLMs Write Efficient Code Across Architectures? [17.06172900876354]
  汎用プログラミングとGPUアクセラレーション環境のためのコード生成タスクにおいて,大規模言語モデル (LLM) が広く評価されている。 CodegenBenchは、3つの異なるハードウェアプラットフォームにわたる効率的な並列コードの生成を評価するために設計されたベンチマークスイートである。
  論文  参考訳（メタデータ） (2026-06-01T12:55:10Z)
• OpenCompass: A Universal Evaluation Platform for Large Language Models [62.59671563145442]
  汎用大規模言語モデル (LLM) は, 技術の進歩において重要なリンクとなっている。 メインストリームベンチマークデータセットは、タスクタイプの多様性、一貫性のない評価基準、データと処理の断片化といった課題に直面している。 本稿では,ワンストップ,スケーラブル,高精度な汎用評価プラットフォームであるOpen LLMをオープンソースとして提案する。
  論文  参考訳（メタデータ） (2026-05-19T02:50:11Z)
• ArchBench: Benchmarking Generative-AI for Software Architecture Tasks [0.0]
  ArchBenchは、ソフトウェアアーキテクチャタスクで大規模言語モデルをベンチマークするための最初の統一プラットフォームである。 データセットのダウンロード、トラジェクトリロギングによる推論、自動評価のための標準化されたパイプラインを備えたコマンドラインツールを提供する。
  論文  参考訳（メタデータ） (2026-03-18T15:26:46Z)
• Enhancing LLM-Based Neural Network Generation: Few-Shot Prompting and Efficient Validation for Automated Architecture Design [39.32515161383424]
  大規模言語モデル(LLM)は、計算集約型ニューラルネットワーク探索(NAS)の代替として有望である。 この研究は、コンピュータビジョンに対する2つの重要な貢献を紹介し、検証する。
  論文  参考訳（メタデータ） (2025-12-30T10:01:55Z)
• QiMeng-NeuComBack: Self-Evolving Translation from IR to Assembly Code [52.66657751895655]
  大規模言語モデル(LLM)は、ニューラルコンパイルという魅力的な新しいパラダイムを提供する。 本稿では,IR-to-assemblyコンパイル用に設計された新しいベンチマークデータセットであるNeuComBackを紹介する。 LLMの内部的なプロンプト戦略を進化させる自己進化的プロンプト最適化法を提案する。
  論文  参考訳（メタデータ） (2025-11-03T03:20:26Z)
• ArchISMiner: A Framework for Automatic Mining of Architectural Issue-Solution Pairs from Online Developer Communities [6.581259125900377]
  本研究は,Stack Overflow (SO) からアーキテクチャ知識をマイニングするフレームワーク ArchISMiner を紹介する。 ArchPIは、従来のML/DLモデル、PLM(Pre-trained Language Models)、LLM(Large Language Models)など、複数のモデルを訓練し、評価する。 ArchISPEは、BERT埋め込みやローカルのTextCNN機能などの多様な機能を活用して、アーキテクチャ上の問題解決ペアを抽出する間接的な教師付きアプローチを採用している。
  論文  参考訳（メタデータ） (2025-10-24T18:46:17Z)
• LM-Searcher: Cross-domain Neural Architecture Search with LLMs via Unified Numerical Encoding [55.5535016040221]
  LM-Searcherは、クロスドメインニューラルネットワーク最適化のための新しいフレームワークである。 我々のアプローチの中心は、ニューラルネットワークのための普遍的な数値文字列表現であるNCodeである。 我々のデータセットは、幅広いアーキテクチャとパフォーマンスのペアを含み、堅牢で伝達可能な学習を促進する。
  論文  参考訳（メタデータ） (2025-09-06T09:26:39Z)
• MAAD: Automate Software Architecture Design through Knowledge-Driven Multi-Agent Collaboration [20.14573932063689]
  アーキテクチャ設計に知識駆動型マルチエージェントシステム(MAS)を利用する自動フレームワークであるMAAD(Multi-Agent Architecture Design)を提案する。 MAADは、要求仕様を協調的に解釈し、アーキテクチャの青写真を作成するために、4つの特殊エージェント(アナリスト、モデル、設計者、評価者)を編成する。 以上の結果から,MAADの優位性は,総合的なアーキテクチャコンポーネントの生成と,洞察に富んだ構造化されたアーキテクチャ評価レポートの提供にあることが示された。
  論文  参考訳（メタデータ） (2025-07-28T23:18:25Z)
• BinMetric: A Comprehensive Binary Analysis Benchmark for Large Language Models [50.17907898478795]
  本稿では,バイナリ解析タスクにおける大規模言語モデルの性能評価のためのベンチマークであるBinMetricを紹介する。 BinMetricは6つの実用的なバイナリ分析タスクにわたる20の実際のオープンソースプロジェクトから得られた1000の質問で構成されている。 本ベンチマークの実証実験では, 各種LLMのバイナリ解析能力について検討し, その強度と限界を明らかにした。
  論文  参考訳（メタデータ） (2025-05-12T08:54:07Z)
• Assessing LLMs for Front-end Software Architecture Knowledge [0.0]
  大規模言語モデル(LLM)は、ソフトウェア開発タスクの自動化において大きな可能性を証明している。 本研究では,VIPER アーキテクチャ内の構造を理解し,再現し,生成する LLM の機能について検討する。 実験の結果、ChatGPT 4 Turbo 2024-04-09 を用いて、LLM は評価や作成といった高次タスクに優れていたが、アーキテクチャの詳細の正確な検索を必要とする低次タスクでは課題に直面していたことが明らかとなった。
  論文  参考訳（メタデータ） (2025-02-26T19:33:35Z)
• A quantitative framework for evaluating architectural patterns in ML systems [49.1574468325115]
  本研究では,MLシステムにおけるアーキテクチャパターンの定量的評価のための枠組みを提案する。 コスト効率のよいCPUベースの推論のためのスケーラビリティとパフォーマンスメトリクスに注目します。
  論文  参考訳（メタデータ） (2025-01-20T15:30:09Z)
• QuArch: A Question-Answering Dataset for AI Agents in Computer Architecture [8.683579353811531]
  QuArchは、言語モデルによるコンピュータアーキテクチャの理解を評価し、強化するために設計された1500の人間検証された質問対のデータセットである。 最高のクローズドソースモデルは84%の精度を実現し、上位の小さなオープンソースモデルは72%に達しています。 QuArchによる微調整により、モデル精度が最大8%向上し、AI駆動型コンピュータアーキテクチャ研究の基盤を確立する。
  論文  参考訳（メタデータ） (2025-01-03T16:55:53Z)
• Enhancing Architecture Frameworks by Including Modern Stakeholders and their Views/Viewpoints [48.87872564630711]
  データサイエンスと機械学習に関連する関心事、例えばデータサイエンティストやデータエンジニアの利害関係者は、まだ既存のアーキテクチャフレームワークには含まれていない。 10か国25以上の組織から61名の被験者を対象に調査を行った。
  論文  参考訳（メタデータ） (2023-08-09T21:54:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。