論文の概要: HoliBench: A Cross-Platform Benchmarking and Deployment Toolkit for Foundation Models in CPS-IoT Applications

• arxiv url: http://arxiv.org/abs/2609.12412v1
• Date: Fri, 11 Sep 2026 04:03:20 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-15 07:38:31.616708
• Title: HoliBench: A Cross-Platform Benchmarking and Deployment Toolkit for Foundation Models in CPS-IoT Applications
• Title（参考訳）: HoliBench: CPS-IoTアプリケーションにおける基盤モデルのためのクロスプラットフォームベンチマークおよびデプロイツールキット
• Abstract要約: ファンデーションモデルは、CPSやIoTアプリケーションのための組み込みおよびエッジプラットフォームにますますデプロイされている。 既存のベンチマークツールはモデル機能を独立して評価し、十分な計算量を想定した精度を報告している。 HoliBenchは、プラットフォーム間の正確性、レイテンシ、エネルギを共同で特徴付けるモジュール式ベンチマークおよびデプロイメントツールキットです。
• 参考スコア（独自算出の注目度）: 2.050075597129042
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Foundation models, including large language models, vision-language models, and time-series foundation models, are increasingly deployed on embedded and edge platforms for CPS and IoT applications, where energy, latency, and memory are as critical as task accuracy. Existing benchmarking tools evaluate model capability in isolation, reporting accuracy assuming sufficient compute, while hardware profiling tools remain platform-specific and mutually incompatible. As a result, users lack a unified workflow for making deployment decisions across heterogeneous devices. We present HoliBench, a modular benchmarking and deployment toolkit that jointly characterizes accuracy, latency, and energy across platforms from single-board computers to GPU servers. Its platform abstraction layer calibrates cross-device measurement, and the toolkit supports multiple model modalities, inference engines, concurrencies, and existing evaluation harnesses. An interactive interface exposes constraint-aware configuration selection over a design space that is profiled once and reused across studies. Using HoliBench, we characterize 20 models across 7 device types, 3 quantization levels, 8 inference backends, and over 30 tasks, surfacing tradeoffs that existing tools miss: quantization reduces latency only on hardware with low-precision support, accuracy gains show diminishing returns relative to energy, and for autoregressive workloads, average inference power is approximately constant across output lengths. We further find that single-model profiles compose under sequential co-resident execution. In a multi-model CPS deployment, standalone profiles predict combined-pipeline latency and power within 1.2% and 2.5%, enabling deployment exploration without exhaustively profiling every pipeline configuration. We release HoliBench as open-source infrastructure for deployment-aware evaluation of foundation models.
• Abstract（参考訳）: 大規模言語モデル、ビジョン言語モデル、時系列基盤モデルを含むファンデーションモデルは、エネルギー、レイテンシ、メモリがタスク精度と同じくらい重要となるCPSおよびIoTアプリケーション用の組み込みおよびエッジプラットフォームに、ますます多くデプロイされている。 既存のベンチマークツールはモデル機能を独立して評価し、十分な計算量を想定した精度を報告する一方、ハードウェアプロファイリングツールはプラットフォーム固有のものであり、相互に互換性がない。 その結果、ユーザは異種デバイスにまたがってデプロイメント決定を行うための統合ワークフローを欠いている。 HoliBenchは,シングルボードコンピュータからGPUサーバに至るまで,プラットフォーム間の精度,レイテンシ,エネルギを共同で特徴付ける,モジュール形式のベンチマークおよびデプロイメントツールキットです。 プラットフォーム抽象化レイヤはデバイス間測定を校正し、ツールキットは複数のモデルモダリティ、推論エンジン、コンカレンシー、既存の評価ハーネスをサポートする。 インタラクティブインターフェースは、一度プロファイルされ、研究全体で再利用される設計空間上の制約対応の構成選択を公開する。 HoliBenchを使用することで,7種類のデバイスタイプ,3つの量子化レベル,8つの推論バックエンド,30以上のタスクの20モデルを特徴付けることができる。 さらに、単一モデルプロファイルは、シーケンシャルなコレジデント実行の下で構成される。 マルチモデルCPSデプロイメントでは、スタンドアローンプロファイルが1.2%と2.5%のパイプライン待ち時間と電力を予測し、すべてのパイプライン構成を徹底的にプロファイリングすることなく、デプロイメントの探索を可能にする。 ファンデーションモデルのデプロイメント対応評価のためのオープンソースインフラストラクチャとして,HolliBenchをリリースする。

関連論文リスト

• Flower Hub: A Reproducible Benchmarking Platform for Federated Learning in Simulation and Deployment [51.83961778298564]
  Flower Hubは、分散およびフェデレーションされたアプリケーションを公開、発見、実行するためのプラットフォームです。 ベンチマークを実行可能としてパッケージングすることで再現性のあるベンチマークを実現する方法、標準化されたメタデータを備えたバージョン管理されたアプリケーション、ピン付き依存関係、明示的な評価について示す。
  論文  参考訳（メタデータ） (2026-08-25T20:09:44Z)
• Dooly: Configuration-Agnostic, Redundancy-Aware Profiling for LLM Inference Simulation [7.365191900032772]
  プロファイルベースのシミュレータは標準的なツールだが、特定の設定に設定した操作をハードコードし、スクラッチからすべての操作を再認識する。 それぞれの操作の入力次元はモデル構成によって固定されるか、受信要求によって決定される。 構成に依存しない冗長性を考慮したプロファイリングを実現するために,この構造を利用するDoolyを提案する。
  論文  参考訳（メタデータ） (2026-05-08T16:44:47Z)
• UniToolCall: Unifying Tool-Use Representation, Data, and Evaluation for LLM Agents [22.52508596251479]
  構築とデータセット生成から評価に至るまで,パイプライン全体を標準化するツール学習用統合フレームワークであるUniToolCallを提案する。 我々は、7つの公開ベンチマークを、関数呼び出し、ターン、会話のレベルできめ細かい評価を施した、クエリ-Action--Observation-Answer (QAOA) 表現に変換する。 Anchoror-Heavy Hybrid-20では、1ターンのStrict Precisionを93.0%達成し、GPT、Gemini、Claudeといった商用モデルを上回っている。
  論文  参考訳（メタデータ） (2026-04-13T14:43:47Z)
• UNIFERENCE: A Discrete Event Simulation Framework for Developing Distributed AI Models [0.42015796373418257]
  UNIは、分散AIモデルの開発とベンチマーク、デプロイのための離散イベントシミュレーションフレームワークである。 PyTorch Distributedとシームレスに統合され、シミュレーションから実際のデプロイメントへの移行を可能にする。
  論文  参考訳（メタデータ） (2026-03-27T14:35:02Z)
• SlimEdge: Lightweight Distributed DNN Deployment on Constrained Hardware [0.6219985442687116]
  ディープ・分散・ネットワーク(DNN)は現代のコンピュータビジョンの中心となっている。 本手法は,ネットワーク容量を不均一なデバイス制約に合わせるために,構造化モデルプルーニングと多目的最適化を統合した。 その結果, 精度とメモリフットプリントのユーザ指定境界を満たすとともに, 1.2xから5.0xまでの推論遅延を低減できることがわかった。
  論文  参考訳（メタデータ） (2025-12-11T04:02:21Z)
• ARM-Thinker: Reinforcing Multimodal Generative Reward Models with Agentic Tool Use and Visual Reasoning [103.7657839292775]
  ARM-Thinkerはエージェント・マルチモーダル・リワード・モデルであり、検証された証拠で判断を下すために外部ツールを自律的に呼び出す。 ARM-Thinkerを多段階強化学習で訓練し、ツールコール決定と判定精度を協調的に最適化する。 その結果,エージェント能力は報酬モデルの精度と解釈可能性の両方を著しく向上させることがわかった。
  論文  参考訳（メタデータ） (2025-12-04T18:59:52Z)
• MOBIUS: Big-to-Mobile Universal Instance Segmentation via Multi-modal Bottleneck Fusion and Calibrated Decoder Pruning [91.90342432541138]
  モデルサイズとトレーニングデータのスケールアップには、インスタンスレベルの知覚のための高度な基盤モデルがある。 資源制約されたプラットフォームにおける高い計算コスト制限。 我々は,高性能コンピューティングプラットフォームとモバイルデバイスの両方において,効率的なセグメンテーションのための新しいベンチマークを導入する。
  論文  参考訳（メタデータ） (2025-10-16T18:00:00Z)
• A2R: An Asymmetric Two-Stage Reasoning Framework for Parallel Reasoning [57.727084580884075]
  モデルポテンシャルと実際の性能の間のギャップを埋めるために設計された非対称な2段階推論フレームワーク。 A2R-Efficientは、Qwen3-4BとQwen3-8Bシンセサイザーを組み合わせた「小型から大型」の派生型である。 その結果、A2Rはパフォーマンス・ブートスティングのフレームワークであるだけでなく、現実世界のアプリケーションに対して効率的かつ実用的なソリューションであることがわかった。
  論文  参考訳（メタデータ） (2025-09-26T08:27:03Z)
• Feedback-Driven Tool-Use Improvements in Large Language Models via Automated Build Environments [70.42705564227548]
  大規模言語モデル(LLM)のための環境自動構築パイプラインを提案する。 これにより、外部ツールに頼ることなく、詳細な測定可能なフィードバックを提供する高品質なトレーニング環境の作成が可能になる。 また、ツール使用の精度とタスク実行の完全性の両方を評価する検証可能な報酬機構も導入する。
  論文  参考訳（メタデータ） (2025-08-12T09:45:19Z)
• VeriCompress: A Tool to Streamline the Synthesis of Verified Robust Compressed Neural Networks from Scratch [10.061078548888567]
  AIの広範な統合により、安全クリティカルなシナリオのために、エッジや同様のリミテッドリソースプラットフォームにニューラルネットワーク(NN)がデプロイされるようになる。 本研究では,頑健性を保証する圧縮モデルの検索とトレーニングを自動化するツールであるVeriCompressを紹介する。 この方法は、最先端のアプローチよりも2～3倍高速で、それぞれ15.1ポイントと9.8ポイントの平均精度とロバスト性ゲインで関連するベースラインアプローチを上回ります。
  論文  参考訳（メタデータ） (2022-11-17T23:42:10Z)
• DUET: A Tuning-Free Device-Cloud Collaborative Parameters Generation Framework for Efficient Device Model Generalization [66.27399823422665]
  デバイスモデル一般化(Device Model Generalization, DMG)は、デバイス上での機械学習アプリケーションにおいて、実用的ながら実証されていない研究トピックである。 本稿では,Device-cloUdコラボレーティブパラメトリクスフレームワークDUETを提案する。
  論文  参考訳（メタデータ） (2022-09-12T13:26:26Z)
• SOLIS -- The MLOps journey from data acquisition to actionable insights [62.997667081978825]
  本稿では,基本的なクロスプラットフォームテンソルフレームワークとスクリプト言語エンジンを使用しながら,すべての要件をサポートする統合デプロイメントパイプラインとフリー・ツー・オペレートアプローチを提案する。 しかし、このアプローチは、実際のプロダクショングレードシステムに機械学習機能を実際にデプロイするために必要な手順やパイプラインを提供していない。
  論文  参考訳（メタデータ） (2021-12-22T14:45:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。