論文の概要: QC-Stark: A Multi-Task Benchmark Revealing Capability Dissociations in LLMs Evaluated on Quantum Computing Tasks

• arxiv url: http://arxiv.org/abs/2609.35581v1
• Date: Mon, 28 Sep 2026 16:36:12 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-01 20:36:31.978519
• Title: QC-Stark: A Multi-Task Benchmark Revealing Capability Dissociations in LLMs Evaluated on Quantum Computing Tasks
• Title（参考訳）: QC-Stark: 量子コンピューティングタスクで評価されたLLMの多タスクベンチマーク
• Abstract要約: QC-Starkは、11の量子コンピューティング(QC)タスクで大きな言語モデル(LLM)を評価するためのベンチマークである。 このベンチマークに含まれる11のタスクのうち4つについて、全体的なタスク毎のランキングとスピアマンの相関は統計的に重要ではない。 すべてのタスクは実行によって自動検証可能であるため、手作業による評価は不要である。
• 参考スコア（独自算出の注目度）: 3.0234554719993856
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: We introduce QC-Stark, a benchmark for evaluating large language models (LLMs) on 11 quantum computing (QC) tasks, spanning circuit construction, debugging, compilation, error correction, and simulation. Across 2,750 evaluations (10 models $\times$ 11 tasks x 5 difficulty levels x 5 seeds), we find that overall rankings mask substantial per-task variation. The Spearman correlation between overall and per-task rankings is statistically insignificant for 4 out of the 11 tasks included in this benchmark. A 2-parameter Item Response Theory (IRT) model validates measurement quality, and prompt sensitivity analysis confirms ranking robustness across prompt conditions. All tasks are auto-verifiable via execution, thus not requiring any manual evaluation. We make the code and data publicly available on Huggingface.
• Abstract（参考訳）: 我々は,11の量子コンピューティング(QC)タスクにおいて,大規模言語モデル(LLM)を評価するためのベンチマークであるQC-Starkを紹介した。 2750以上の評価(10モデル$\times$11タスク x 5困難レベル x 5シード)では、全体的なランキングがタスク毎の変動をかなり隠蔽していることがわかった。 このベンチマークに含まれる11のタスクのうち4つについて、全体的なタスク毎のランキングとスピアマンの相関は統計的に重要ではない。 2パラメータ項目応答理論 (IRT) モデルでは, 測定品質を検証し, 即時感度解析により, 即時条件間でのランキングロバスト性を確認した。 すべてのタスクは実行を通じて自動検証可能であるため、手作業による評価は不要である。 コードとデータはHuggingfaceで公開しています。

関連論文リスト

• From Global to Granular: Revealing IQA Model Performance via Correlation Surface [83.65597122328133]
  我々は, IQA 性能の構造化, きめ細かな解析を行う textbfGranularity-Modulated correlation (GMC) を提案する。 GMCにはtextbfDistribution Regulatorが含まれており、相関関係を規則化し、非均一な品質分布からのバイアスを軽減する。 標準ベンチマークの実験では、GCCはスカラーメトリクスに見えないパフォーマンス特性を示し、IQAモデルを分析、比較、デプロイするためのより情報に富んだ信頼性の高いパラダイムを提供する。
  論文  参考訳（メタデータ） (2026-01-29T13:55:26Z)
• You Had One Job: Per-Task Quantization Using LLMs' Hidden Representations [7.404908118728373]
  本稿では,タスクサレント信号を量子化のガイドラインとして符号化する隠れ表現を提案する。 本稿では,タスク条件付き統計量を用いてビット幅を割り当てるタスク・アウェア・量子化(TAQ)と,直接層感度テストに基づいて精度を割り当てるTAQOの2つの新しいタスク・アウェア・PTQ手法を比較した。 TAQはPhi-4、TAQOはLlama-3.1、Qwen3、Qwen2.5である。
  論文  参考訳（メタデータ） (2025-11-09T19:58:24Z)
• LLM Compression: How Far Can We Go in Balancing Size and Performance? [3.8420176149841714]
  4ビットグループスケーリング量子化(GSQ)とGPTQ(Generative Pretrained Transformer Quantization)をLLaMA 1B,Qwen 0.5B,PHI 1.5Bに適用した。 我々はこれらのモデルをMS MARCO (Information Retrieval), BoolQ (Boolean Question Answering), GSM8K (Mathematical Reasoning)データセットでベンチマークする。 この研究は、モデル圧縮とタスクパフォーマンスのトレードオフを測定し、主要な評価指標を分析する。
  論文  参考訳（メタデータ） (2025-08-15T08:41:20Z)
• AgentSynth: Scalable Task Generation for Generalist Computer-Use Agents [60.881609323604685]
  Agent Synthはスケーラブルで費用効率のよいパイプラインで、高品質なタスクとトラジェクトリデータセットを自動的に合成する。 我々のパイプラインは1軌道あたりの平均コストが0.60ドルで、人間のアノテーションよりも桁違いに安い。
  論文  参考訳（メタデータ） (2025-06-17T05:46:52Z)
• Not All Documents Are What You Need for Extracting Instruction Tuning Data [35.52312217796995]
  本研究では,多種多様な知識を含む Web コーパスから指導用チューニングデータを抽出する手法を提案する。 単純な解決策は、ドメイン固有のドキュメントを取得して、それらからすべてのQAペアを抽出することだが、これは2つの重要な課題に直面している。 EQUALは、文書の選択と高品質なQAペア抽出を交互に行う、効率的でスケーラブルなデータ抽出フレームワークである。
  論文  参考訳（メタデータ） (2025-05-18T06:10:08Z)
• Task-Circuit Quantization: Leveraging Knowledge Localization and Interpretability for Compression [55.323397702682506]
  後トレーニング量子化(PTQ)は、コストのかかる再トレーニングなしに全精度重みを低ビット重みにマッピングすることで、モデルのメモリフットプリントを削減する。 我々は,自動回路発見に並列性を持つ新しい混合精度PTQ手法であるTask-Circuit Quantization (TaCQ)を開発した。
  論文  参考訳（メタデータ） (2025-04-10T02:19:03Z)
• MMAU: A Holistic Benchmark of Agent Capabilities Across Diverse Domains [54.117238759317004]
  大規模マルチタスクエージェント理解(MMAU)ベンチマークは、複雑な環境設定を必要としない包括的なオフラインタスクを特徴としている。 ツールユース、DAG(Directed Acyclic Graph)QA、データサイエンスと機械学習コーディング、コンテストレベルのプログラミング、数学の5分野にわたるモデルを評価する。 3K以上の異なるプロンプトを含む20の精巧に設計されたタスクにより、MMAUはLLMエージェントの強度と限界を評価するための包括的なフレームワークを提供する。
  論文  参考訳（メタデータ） (2024-07-18T00:58:41Z)
• MR-Ben: A Meta-Reasoning Benchmark for Evaluating System-2 Thinking in LLMs [55.20845457594977]
  大規模言語モデル(LLM)は、問題解決と意思決定の能力の向上を示している。 本稿ではメタ推論技術を必要とするプロセスベースのベンチマークMR-Benを提案する。 メタ推論のパラダイムは,システム2のスロー思考に特に適しています。
  論文  参考訳（メタデータ） (2024-06-20T03:50:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。