論文の概要: QuArch: A Question-Answering Dataset for AI Agents in Computer Architecture

• arxiv url: http://arxiv.org/abs/2501.01892v2
• Date: Mon, 06 Jan 2025 17:48:05 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-07 13:45:28.164603
• Title: QuArch: A Question-Answering Dataset for AI Agents in Computer Architecture
• Title（参考訳）: QuArch: コンピュータアーキテクチャにおけるAIエージェントのための質問回答データセット
• Authors: Shvetank Prakash, Andrew Cheng, Jason Yik, Arya Tschand, Radhika Ghosal, Ikechukwu Uchendu, Jessica Quaye, Jeffrey Ma, Shreyas Grampurohit, Sofia Giannuzzi, Arnav Balyan, Fin Amin, Aadya Pipersenia, Yash Choudhary, Ankita Nayak, Amir Yazdanbakhsh, Vijay Janapa Reddi,
• Abstract要約: QuArchは、言語モデルによるコンピュータアーキテクチャの理解を評価し、強化するために設計された1500の人間検証された質問対のデータセットである。 最高のクローズドソースモデルは84%の精度を実現し、上位の小さなオープンソースモデルは72%に達しています。 QuArchによる微調整により、モデル精度が最大8%向上し、AI駆動型コンピュータアーキテクチャ研究の基盤を確立する。
• 参考スコア（独自算出の注目度）: 8.683579353811531
• License:
• Abstract: We introduce QuArch, a dataset of 1500 human-validated question-answer pairs designed to evaluate and enhance language models' understanding of computer architecture. The dataset covers areas including processor design, memory systems, and performance optimization. Our analysis highlights a significant performance gap: the best closed-source model achieves 84% accuracy, while the top small open-source model reaches 72%. We observe notable struggles in memory systems, interconnection networks, and benchmarking. Fine-tuning with QuArch improves small model accuracy by up to 8%, establishing a foundation for advancing AI-driven computer architecture research. The dataset and leaderboard are at https://harvard-edge.github.io/QuArch/.
• Abstract（参考訳）: 本稿では,言語モデルによるコンピュータアーキテクチャ理解の評価と向上を目的とした,1500の質問応答対のデータセットQuArchを紹介する。 データセットはプロセッサ設計、メモリシステム、パフォーマンス最適化を含む領域をカバーする。 最高のクローズドソースモデルは84%の精度を実現し、上位の小さなオープンソースモデルは72%に達しています。 メモリシステム、相互接続ネットワーク、ベンチマークにおける顕著な闘争を観察する。 QuArchによる微調整により、モデル精度が最大8%向上し、AI駆動型コンピュータアーキテクチャ研究の基盤を確立する。 データセットとリーダボードはhttps://harvard-edge.github.io/QuArch/にある。

関連論文リスト

• Knowledge-aware Evolutionary Graph Neural Architecture Search [49.13787973318586]
  グラフニューラルネットワーク検索(GNAS)は、特定のグラフタスクやデータセットに対して、高性能なグラフニューラルネットワークアーキテクチャをカスタマイズすることができる。 既存のGNAS手法は、探索効率を向上させる可能性のある事前知識を無視して、ゼロ知識状態からアーキテクチャを探し始める。 本研究では,新しいグラフデータセット上での多目的進化探索を高速化するために,そのような先行知識を活用することを提案する。
  論文  参考訳（メタデータ） (2024-11-26T11:32:45Z)
• Depthwise Separable Convolutions with Deep Residual Convolutions [0.0]
  Xceptionはコンピュータビジョンアプリケーションのための最も人気のあるディープラーニングアルゴリズムの1つである。 Xceptionの計算複雑性は、リソース制約のあるエッジデバイスへのデプロイメントを妨げることがある。 エッジデバイスのための小型で効率的なモデルを開発するために,Xceptionアーキテクチャの奥深い残差畳み込みを伴う奥行き分離可能な畳み込みを組み込んだ。
  論文  参考訳（メタデータ） (2024-11-12T04:47:32Z)
• Building Optimal Neural Architectures using Interpretable Knowledge [15.66288233048004]
  AutoBuildは、オペレーションとアーキテクチャモジュールの潜伏した埋め込みと、それらが現れるアーキテクチャの地味なパフォーマンスを整合させるスキームである。 比較的少数の評価済みアーキテクチャをマイニングすることで、AutoBuildは高品質なアーキテクチャを直接構築するか、あるいは検索スペースを減らして関連分野に集中できることを示す。
  論文  参考訳（メタデータ） (2024-03-20T04:18:38Z)
• How Far Can Camels Go? Exploring the State of Instruction Tuning on Open Resources [117.6496550359768]
  この研究は、オープンな命令追従データセットにおける命令チューニング言語モデルの最近の進歩を探求する。 我々は、12の命令データセットに基づいて訓練された6.7Bから65Bのパラメータを含む、命令調整されたモデルの大規模なセットを提供する。 それらの事実的知識、推論、多言語性、コーディング、そしてその後に続くオープン・エンド・インストラクションに基づいて評価する。
  論文  参考訳（メタデータ） (2023-06-07T19:59:23Z)
• Network Graph Based Neural Architecture Search [57.78724765340237]
  我々は、対応するグラフを書き換えてニューラルネットワークを探索し、グラフ特性によるアーキテクチャ性能の予測を行う。 グラフ空間全体にわたって機械学習を行わないため、探索プロセスは極めて効率的である。
  論文  参考訳（メタデータ） (2021-12-15T00:12:03Z)
• DAAS: Differentiable Architecture and Augmentation Policy Search [107.53318939844422]
  この研究は、ニューラルネットワークとデータ拡張のカップリングの可能性を検討し、それらを共同で検索する効果的なアルゴリズムを提案する。 CIFAR-10では97.91%、ImageNetデータセットでは76.6%の精度で97.91%の精度を達成し、検索アルゴリズムの優れた性能を示している。
  論文  参考訳（メタデータ） (2021-09-30T17:15:17Z)
• Neural Architecture Search using Covariance Matrix Adaptation Evolution Strategy [6.8129169853808795]
  本稿では,CMANASと呼ばれるニューラルネットワーク探索問題に対して,共分散行列適応進化戦略(CMA-ES)を適用する枠組みを提案する。 アーキテクチャは正規分布を用いてモデル化され、サンプル集団の適合度に基づいてCMA-ESを用いて更新される。 CMANASはCIFAR-10のアーキテクチャ検索を完了し、トップ1テストの精度は0.45 GPU日で97.44%、トップ1テストの精度は83.24%と1つのGPUで0.6 GPU日で達成した。
  論文  参考訳（メタデータ） (2021-07-15T11:41:23Z)
• Evolving Neural Architecture Using One Shot Model [5.188825486231326]
  EvNAS(Evolving Neural Architecture using One Shot Model)と呼ばれるNAS問題に単純な遺伝的アルゴリズムを適用する新しい手法を提案する。 EvNASはプロキシデータセット、すなわちアーキテクチャを検索する。 CIFAR-10 for 4.4 GPU day on a single GPU and achieve a top-1 test error of 2.47%。 アーキテクチャ探索問題の解法における進化的手法の可能性を示す。
  論文  参考訳（メタデータ） (2020-12-23T08:40:53Z)
• A Semi-Supervised Assessor of Neural Architectures [157.76189339451565]
  我々は、ニューラルネットワークの有意義な表現を見つけるためにオートエンコーダを用いる。 アーキテクチャの性能を予測するために、グラフ畳み込みニューラルネットワークを導入する。
  論文  参考訳（メタデータ） (2020-05-14T09:02:33Z)
• Tidying Deep Saliency Prediction Architectures [6.613005108411055]
  本稿では,入力特徴,マルチレベル統合,読み出しアーキテクチャ,損失関数の4つの主成分を同定する。 我々はSimpleNet と MDNSal という2つの新しいエンドツーエンドアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2020-03-10T19:34:49Z)
• Semi-Supervised Neural Architecture Search [185.0651567642238]
  SemiNASは、多くの未ラベルアーキテクチャを活用する半教師付きニューラルアーキテクチャサーチ(NAS)アプローチである(評価なしで、ほぼコストがかからない)。 NASBench-101で94.02%のテスト精度を達成し、同じ数のアーキテクチャを使用する場合、すべてのベースラインを上回ります。 低リソース環境では97%のインテリジェンス率、ロバストネス環境では15%のテストエラー率、ベースラインではそれぞれ9%、7%の改善を実現している。
  論文  参考訳（メタデータ） (2020-02-24T17:23:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。