論文の概要: ConsumerBench: Benchmarking Generative AI Applications on End-User Devices

• arxiv url: http://arxiv.org/abs/2506.17538v1
• Date: Sat, 21 Jun 2025 01:32:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-24 19:06:36.462959
• Title: ConsumerBench: Benchmarking Generative AI Applications on End-User Devices
• Title（参考訳）: ConsumerBench: エンドユーザデバイス上の生成AIアプリケーションのベンチマーク
• Authors: Yile Gu, Rohan Kadekodi, Hoang Nguyen, Keisuke Kamahori, Yiyu Liu, Baris Kasikci,
• Abstract要約: クラウドのみの環境からエンドユーザデバイスに移行したGenerative AI(GenAI)アプリケーションは、リソース管理、システム効率、ユーザエクスペリエンスにおいて、新たな課題をもたらしている。 本稿では,エンドユーザーデバイス上で動作するGenAIモデルのシステム効率と応答時間を評価するための総合的なベンチマークフレームワークであるConsumerBenchを提案する。
• 参考スコア（独自算出の注目度）: 6.6246058403368595
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The recent shift in Generative AI (GenAI) applications from cloud-only environments to end-user devices introduces new challenges in resource management, system efficiency, and user experience. This paper presents ConsumerBench, a comprehensive benchmarking framework designed to evaluate the system efficiency and response time of GenAI models running on end-user devices. Unlike existing benchmarks that assume exclusive model access on dedicated GPUs, ConsumerBench simulates realistic multi-application scenarios executing concurrently on constrained hardware. Furthermore, ConsumerBench supports customizable workflows that simulate complex tasks requiring coordination among multiple applications. ConsumerBench captures both application-level metrics, including latency and Service Level Objective (SLO) attainment, and system-level metrics like CPU/GPU utilization and memory bandwidth. Through extensive experiments, ConsumerBench reveals inefficiencies in resource sharing, unfair scheduling under greedy allocation, and performance pitfalls of static model server configurations. The paper also provides practical insights for model developers and system designers, highlighting the benefits of custom kernels tailored to consumer-grade GPU architectures and the value of implementing SLO-aware scheduling strategies.
• Abstract（参考訳）: クラウドのみの環境からエンドユーザデバイスに移行したGenerative AI(GenAI)アプリケーションは、リソース管理、システム効率、ユーザエクスペリエンスにおいて、新たな課題をもたらしている。 本稿では,エンドユーザーデバイス上で動作するGenAIモデルのシステム効率と応答時間を評価するための総合的なベンチマークフレームワークであるConsumerBenchを提案する。 専用GPU上の排他的モデルアクセスを前提とする既存のベンチマークとは異なり、ConsumerBenchは制約のあるハードウェア上で並列に実行される現実的なマルチアプリケーションシナリオをシミュレートする。 さらにConsumerBenchは、複数のアプリケーション間の調整を必要とする複雑なタスクをシミュレートするカスタマイズ可能なワークフローをサポートする。 ConsumerBenchは、レイテンシとサービスレベルオブジェクト(SLO)達成、CPU/GPU利用率やメモリ帯域幅といったシステムレベルのメトリクスを含む、アプリケーションレベルのメトリクスをキャプチャする。 広範な実験を通じて、ConsumerBenchはリソース共有の非効率性、不公平なアロケーション下でのスケジューリング、静的モデルサーバ構成のパフォーマンスの落とし穴を明らかにする。 また、モデル開発者やシステムデザイナに対して実用的な洞察を提供し、コンシューマグレードのGPUアーキテクチャに適したカスタムカーネルの利点とSLO対応スケジューリング戦略を実装する価値を強調した。

関連論文リスト

• ABC-Bench: Benchmarking Agentic Backend Coding in Real-World Development [72.4729759618632]
  本稿では,現実的かつ実行可能なワークフロー内でエージェントバックエンドコーディングを評価するベンチマークであるABC-Benchを紹介する。 オープンソースリポジトリから8つの言語と19のフレームワークにまたがる224の実践的なタスクをキュレートしました。 我々の評価は、最先端モデルでさえ、これらの総合的なタスクに対して信頼性の高いパフォーマンスを提供するのに苦労していることを示している。
  論文  参考訳（メタデータ） (2026-01-16T08:23:52Z)
• Generative AI for Video Translation: A Scalable Architecture for Multilingual Video Conferencing [0.21748200848556343]
  ビデオ翻訳のようなアプリケーションのためのカスケード生成AIパイプラインのリアルタイム展開は、重要なシステムレベルの課題によって制限される。 本稿では、これらの重要なボトルネックを軽減するために設計された実用的なシステムレベルのフレームワークを提案し、評価する。 提案アーキテクチャでは,マルチユーザシナリオにおける計算複雑性を2次から線形に削減するターンテイク機構が組み込まれている。
  論文  参考訳（メタデータ） (2025-12-15T21:21:09Z)
• Eliminating Multi-GPU Performance Taxes: A Systems Approach to Efficient Distributed LLMs [61.953548065938385]
  分析フレームワークとして'3つの税'(バルク同期、カーネル間データローカリティ、カーネルローンチオーバーヘッド)を紹介した。 我々は、分散GPU実行におけるキー非効率に対処するために、厳密なBSPモデルを超えて移動することを提案する。 BSPベースのアプローチによるエンドツーエンドのレイテンシの10-20%の高速化を観察する。
  論文  参考訳（メタデータ） (2025-11-04T01:15:44Z)
• Framing AI System Benchmarking as a Learning Task: FlexBench and the Open MLPerf Dataset [0.0]
  LLMerfのような既存のAIシステムベンチマークは、急速に進化するAIの状況に追随するのに苦労することが多く、AIシステムのインフォメーション、最適化、共同設計決定をサポートすることが難しい。 モデルはさまざまなデータセット、ソフトウェア、ハードウェアにわたって継続的に評価され、最適化され、精度、レイテンシ、スループット、エネルギー消費、コストといった重要な指標を使用する。
  論文  参考訳（メタデータ） (2025-09-14T20:02:15Z)
• Scalable Engine and the Performance of Different LLM Models in a SLURM based HPC architecture [3.746889836344766]
  本研究は、SLURM(Simple Linux Utility for Resource Management)に基づく高性能コンピューティングアーキテクチャについて詳述する。 動的リソーススケジューリングとコンテナ化のシームレスな統合は、CPU、GPU、メモリをマルチノードクラスタで効率的に管理するために活用されている。 その結果,大規模HPCインフラストラクチャ上でのLLM推論は,より効率的で応答性が高く,耐故障性に優れた。
  論文  参考訳（メタデータ） (2025-08-25T09:11:27Z)
• Agent WARPP: Workflow Adherence via Runtime Parallel Personalization [0.0]
  大規模言語モデル(LLM)はタスク指向対話(TOD)システムにますます適用されてきている。 並列パーソナライゼーション(WARPP)は、マルチエージェントランタイムとオーケストレーションを組み合わせた、トレーニング不要でモジュール化されたフレームワークである。 ユーザ属性に基づいて条件分岐を動的にプルーニングすることで、このフレームワークは推論のオーバーヘッドを減らし、実行時のツール選択を狭める。
  論文  参考訳（メタデータ） (2025-07-23T23:27:49Z)
• Real-Time Semantic Segmentation of Aerial Images Using an Embedded U-Net: A Comparison of CPU, GPU, and FPGA Workflows [0.0]
  本研究では,航空画像のリアルタイムセマンティックセグメンテーションに最適化された軽量なU-Netモデルを提案する。 実世界のデータセット上でのU-Netの精度を維持しながら、モデルのパラメータと乗算(MAC)操作を16。
  論文  参考訳（メタデータ） (2025-03-07T08:33:28Z)
• SeBS-Flow: Benchmarking Serverless Cloud Function Workflows [51.4200085836966]
  本稿では、最初のサーバーレスワークフローベンチマークスイートSeBS-Flowを提案する。 SeBS-Flowには6つの実世界のアプリケーションベンチマークと、異なる計算パターンを表す4つのマイクロベンチマークが含まれている。 当社では,パフォーマンス,コスト,スケーラビリティ,ランタイムの偏差など,3つの主要なクラウドプラットフォームに関する包括的な評価を実施しています。
  論文  参考訳（メタデータ） (2024-10-04T14:52:18Z)
• Large Language Models for Power Scheduling: A User-Centric Approach [6.335540414370735]
  本稿では、任意のユーザの音声要求(VRQ)をリソース割り当てベクトルに変換することで、リソーススケジューリング問題に対する新しいアーキテクチャを提案する。 具体的には、要求を最適化問題(OP)に変換するためのLLM意図認識エージェント、LLM OPパラメータ識別エージェント、OP解決エージェントを設計する。
  論文  参考訳（メタデータ） (2024-06-29T15:47:28Z)
• Cheaply Evaluating Inference Efficiency Metrics for Autoregressive Transformer APIs [66.30706841821123]
  大規模言語モデル(LLM)は、自然言語処理において多くの最先端システムに電力を供給する。 LLMは、推論時でさえ非常に計算コストが高い。 モデル間での推論効率を比較するための新しい指標を提案する。
  論文  参考訳（メタデータ） (2023-05-03T21:51:42Z)
• Energy-efficient Task Adaptation for NLP Edge Inference Leveraging Heterogeneous Memory Architectures [68.91874045918112]
  Adapter-ALBERTは、様々なタスクにわたる最大データ再利用のための効率的なモデル最適化である。 検証されたNLPエッジアクセラレータ上でシミュレーションを行うことにより、モデルを不均一なオンチップメモリアーキテクチャにマッピングする利点を実証する。
  論文  参考訳（メタデータ） (2023-03-25T14:40:59Z)
• Intelligent Model Update Strategy for Sequential Recommendation [34.02565495747133]
  我々はIntellectReqを紹介した。IntellectReqはエッジで動作するように設計されており、最小の通信オーバーヘッドでパラメータ要求のコスト対効果を評価できる。 本研究では,実時間ユーザ動作を正規分布に変換するために統計マッピング手法を用い,モデルの不確実性を定量化するためにマルチサンプル出力を用いる。
  論文  参考訳（メタデータ） (2023-02-14T20:44:12Z)
• MAPLE-Edge: A Runtime Latency Predictor for Edge Devices [80.01591186546793]
  汎用ハードウェアの最先端遅延予測器であるMAPLEのエッジデバイス指向拡張であるMAPLE-Edgeを提案する。 MAPLEと比較して、MAPLE-Edgeはより小さなCPUパフォーマンスカウンタを使用して、ランタイムとターゲットデバイスプラットフォームを記述することができる。 また、共通ランタイムを共有するデバイスプール上でトレーニングを行うMAPLEとは異なり、MAPLE-Edgeは実行時に効果的に一般化できることを示す。
  論文  参考訳（メタデータ） (2022-04-27T14:00:48Z)
• SOLIS -- The MLOps journey from data acquisition to actionable insights [62.997667081978825]
  本稿では,基本的なクロスプラットフォームテンソルフレームワークとスクリプト言語エンジンを使用しながら,すべての要件をサポートする統合デプロイメントパイプラインとフリー・ツー・オペレートアプローチを提案する。 しかし、このアプローチは、実際のプロダクショングレードシステムに機械学習機能を実際にデプロイするために必要な手順やパイプラインを提供していない。
  論文  参考訳（メタデータ） (2021-12-22T14:45:37Z)
• Reproducible Performance Optimization of Complex Applications on the Edge-to-Cloud Continuum [55.6313942302582]
  エッジ・ツー・クラウド・コンティニュム上でのリアルタイムアプリケーションの最適化を支援する手法を提案する。 提案手法は, 制御されたテストベッド環境において, その動作を理解するための厳密な構成解析に頼っている。 当社の方法論はEdge-to-Cloud Continuumの他のアプリケーションに一般化することができる。
  論文  参考訳（メタデータ） (2021-08-04T07:35:14Z)
• Intelligent colocation of HPC workloads [0.0]
  多くのHPCアプリケーションは、共有キャッシュ、命令実行ユニット、I/O、メモリ帯域幅のボトルネックに苦しんでいる。 開発者やランタイムシステムにとって、すべての重要なリソースが単一のアプリケーションによって完全に悪用されることを保証するのは難しいため、魅力的なテクニックは、複数のアプリケーションを同じサーバに配置することです。 まず,ハードウェアの性能カウンタに基づいて,コロケーションされたアプリケーションの性能劣化をモデル化することにより,サーバ効率を向上できることを示す。
  論文  参考訳（メタデータ） (2021-03-16T12:35:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。