論文の概要: Introducing Milabench: Benchmarking Accelerators for AI

• arxiv url: http://arxiv.org/abs/2411.11940v1
• Date: Mon, 18 Nov 2024 17:07:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-20 13:36:14.719254
• Title: Introducing Milabench: Benchmarking Accelerators for AI
• Title（参考訳）: Milabench: AIのベンチマークアクセラレータ
• Authors: Pierre Delaunay, Xavier Bouthillier, Olivier Breuleux, Satya Ortiz-Gagné, Olexa Bilaniuk, Fabrice Normandin, Arnaud Bergeron, Bruno Carrez, Guillaume Alain, Soline Blanc, Frédéric Osterrath, Joseph Viviano, Roger Creus-Castanyer Darshan Patil, Rabiul Awal, Le Zhang,
• Abstract要約: AIワークロード、特にディープラーニングによって駆動されるワークロードは、ハイパフォーマンスコンピューティングシステムに新しい利用パターンを導入している。 ミルラは深層学習に特化した最大の学術研究センターの1つである。 コミュニティの多様な要件に対処するカスタムベンチマークスイートの開発の必要性を特定した。
• 参考スコア（独自算出の注目度）: 3.6387580844416636
• License:
• Abstract: AI workloads, particularly those driven by deep learning, are introducing novel usage patterns to high-performance computing (HPC) systems that are not comprehensively captured by standard HPC benchmarks. As one of the largest academic research centers dedicated to deep learning, Mila identified the need to develop a custom benchmarking suite to address the diverse requirements of its community, which consists of over 1,000 researchers. This report introduces Milabench, the resulting benchmarking suite. Its design was informed by an extensive literature review encompassing 867 papers, as well as surveys conducted with Mila researchers. This rigorous process led to the selection of 26 primary benchmarks tailored for procurement evaluations, alongside 16 optional benchmarks for in-depth analysis. We detail the design methodology, the structure of the benchmarking suite, and provide performance evaluations using GPUs from NVIDIA, AMD, and Intel. The Milabench suite is open source and can be accessed at github.com/mila-iqia/milabench.
• Abstract（参考訳）: AIワークロード、特にディープラーニングによって駆動されるワークロードは、標準的なHPCベンチマークによって包括的にキャプチャされないハイパフォーマンスコンピューティング(HPC)システムに、新しい利用パターンを導入している。 ディープラーニングに特化した最大の学術研究センターの1つとして、Milaは1000人以上の研究者からなるコミュニティの多様な要件に対処するカスタムベンチマークスイートの開発の必要性を特定した。 このレポートではベンチマークスイートのMilabenchを紹介します。 その設計は、867の論文を含む広範な文献レビューと、ミラの研究者による調査によって知らされた。 この厳密なプロセスにより、調達評価に適した26のベンチマークと、詳細な分析のための16のオプションベンチマークが選択された。 ベンチマークスイートの設計方法論,構成,NVIDIA,AMD,IntelのGPUによる性能評価について詳述する。 Milabenchスイートはオープンソースで、github.com/mila-iqia/milabenchでアクセスできる。

関連論文リスト

• MMIE: Massive Multimodal Interleaved Comprehension Benchmark for Large Vision-Language Models [71.36392373876505]
  我々は、LVLM(Large Vision-Language Models)において、インターリーブされたマルチモーダル理解と生成を評価するための大規模ベンチマークであるMMIEを紹介する。 MMIEは、数学、コーディング、物理学、文学、健康、芸術を含む3つのカテゴリ、12のフィールド、102のサブフィールドにまたがる20Kの厳密にキュレートされたマルチモーダルクエリで構成されている。 インターリーブされたインプットとアウトプットの両方をサポートし、多様な能力を評価するために、複数選択とオープンな質問フォーマットの混合を提供する。
  論文  参考訳（メタデータ） (2024-10-14T04:15:00Z)
• UMBRELA: UMbrela is the (Open-Source Reproduction of the) Bing RELevance Assessor [51.20527342770299]
  UMBRELAはオープンソースツールキットで、OpenAIのGPT-4oモデルを使ってThomasらの結果を再現する。 我々のツールキットは、容易に研究できるように設計されており、既存の多段階検索および評価パイプラインに統合することができる。 UMBRELAはTREC 2024RAGトラックで、関連性評価を支援するために使用される。
  論文  参考訳（メタデータ） (2024-06-10T17:58:29Z)
• Efficient Lifelong Model Evaluation in an Era of Rapid Progress [40.57576540258748]
  S&S(Sort & Search, S&S)は, 動的プログラミングアルゴリズムを利用して, テストサンプルのランク付けとサブセレクションを行う。 S&Sは高い効率の近似精度測定を実現し、計算コストを1つのA100 GPU上で180GPU日から5GPU時間に削減し、近似誤差が低く、メモリコストは100MBである。 我々の研究は、現在の精度予測指標の問題を強調し、サンプルレベルの評価指標に移行する必要性を示唆している。
  論文  参考訳（メタデータ） (2024-02-29T18:58:26Z)
• ArchGym: An Open-Source Gymnasium for Machine Learning Assisted Architecture Design [52.57999109204569]
  ArchGymは、さまざまな検索アルゴリズムをアーキテクチャシミュレータに接続するオープンソースのフレームワークである。 我々は、カスタムメモリコントローラ、ディープニューラルネットワークアクセラレータ、AR/VRワークロード用のカスタムSOCを設計する際に、複数のバニラおよびドメイン固有の検索アルゴリズムにわたってArchGymを評価する。
  論文  参考訳（メタデータ） (2023-06-15T06:41:23Z)
• MIGPerf: A Comprehensive Benchmark for Deep Learning Training and Inference Workloads on Multi-Instance GPUs [16.61756921744868]
  本稿では,MIGのベンチマーク研究を効率化するオープンソースツールMIGPerfを提案する。 著者らはMIGPerfを用いて、ディープラーニングトレーニングや推論のキャラクタリゼーションを含む一連の実験を行った。 これらの実験の結果は、ユーザがMIGを効果的に活用するための新しい洞察とガイダンスを提供する。
  論文  参考訳（メタデータ） (2023-01-01T14:11:45Z)
• Gait Recognition in the Wild: A Large-scale Benchmark and NAS-based Baseline [95.88825497452716]
  歩行ベンチマークにより、研究コミュニティは高性能歩行認識システムの訓練と評価を行うことができる。 GREWは、野生における歩行認識のための最初の大規模データセットである。 SPOSGaitはNASベースの最初の歩行認識モデルである。
  論文  参考訳（メタデータ） (2022-05-05T14:57:39Z)
• MQT Bench: Benchmarking Software and Design Automation Tools for Quantum Computing [3.610459670994051]
  本稿では,ミュンヘン量子ツールキット MQT の一部として MQT Bench ベンチマークスイートを提案する。 MQT Benchは、2から130キュービットまでの7万以上のベンチマーク回路を4つの抽象化レベルで構成することで、異なる抽象化レベルへの第一歩を提示する。
  論文  参考訳（メタデータ） (2022-04-28T18:00:10Z)
• Benchmarking Generalization via In-Context Instructions on 1,600+ Language Tasks [95.06087720086133]
  Natural-Instructions v2 は 1,600 以上の多種多様な言語タスクとその専門家による命令のコレクションである。 ベンチマークでは、タグ付け、インフィル、書き換えなど、70以上の異なるタスクタイプがカバーされている。 このベンチマークにより、モデルのクロスタスク一般化の大規模評価が可能になる。
  論文  参考訳（メタデータ） (2022-04-16T03:12:30Z)
• Benchmarking Graph Neural Networks [75.42159546060509]
  グラフニューラルネットワーク(GNN)は、グラフ上のデータから分析および学習するための標準ツールキットとなっている。 成功している分野が主流で信頼性を持つようになるためには、進捗を定量化するためにベンチマークを開発する必要がある。 GitHubリポジトリは1,800のスターと339のフォークに到達し、提案されているオープンソースフレームワークの有用性を実証している。
  論文  参考訳（メタデータ） (2020-03-02T15:58:46Z)
• AIBench: An Agile Domain-specific Benchmarking Methodology and an AI Benchmark Suite [26.820244556465333]
  本稿では,アジャイルなドメイン固有のベンチマーク手法を提案する。 我々は10つの重要なエンドツーエンドアプリケーションシナリオを特定し、そのうち16の代表的なAIタスクをAIコンポーネントベンチマークとして抽出する。 最初のエンドツーエンドのインターネットサービスAIベンチマークを提示する。
  論文  参考訳（メタデータ） (2020-02-17T07:29:05Z)
• Implementing a GPU-based parallel MAX-MIN Ant System [0.0]
  我々はGPUベースの並列MMASの実装を改善するための新しいアイデアについて論じる。 MMAS実装は、最先端のGPUベースおよびマルチコアCPUベースの並列ACO実装と競合することを示す。
  論文  参考訳（メタデータ） (2020-01-18T14:18:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。