Fugu-MT 論文翻訳(概要): Transferable Latency Prediction for Fast LLM Screening on Heterogeneous Edge Devices

論文の概要: Transferable Latency Prediction for Fast LLM Screening on Heterogeneous Edge Devices

arxiv url: http://arxiv.org/abs/2607.21602v1
Date: Mon, 11 May 2026 19:26:33 GMT
ステータス: 翻訳完了
システム内更新日: 2026-08-02 22:55:38.933435
Title: Transferable Latency Prediction for Fast LLM Screening on Heterogeneous Edge Devices
Title（参考訳）: 異種エッジデバイスにおける高速LDMスクリーニングのためのトランスファタブルレイテンシ予測
Abstract要約: 本稿では,デプロイメント指向LLM選択のためのランタイム対応遅延予測フレームワークを提案する。我々は,Pixel モバイル端末を用いたフレームワークの評価を行い,Jetson Nano,Orange Pi 5 Pro,GTX 3090 クラスの GPU プラットフォーム上でのプロファイリングパイプラインの検証を行った。
参考スコア（独自算出の注目度）: 3.086147372556033
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Accurate latency prediction is critical for deploying large language models (LLMs) on heterogeneous edge devices, where inference latency is affected by model architecture, prompt behavior, runtime backend, hardware utilization, dynamic voltage and frequency scaling (DVFS), and thermal variation. This paper presents a runtime-aware latency prediction framework for deployment-oriented LLM selection. The framework represents each inference request as a hardware-runtime-model-prompt configuration, separates inference into prefill and decode phases, and adaptively fuses static descriptors with dynamic hardware telemetry through a gated prediction model. We evaluate the framework using Pixel mobile devices and validate the profiling pipeline on Jetson Nano, Orange Pi 5 Pro, and an RTX 3090-class GPU platform. On Pixel 8, the full predictor improves total-latency R-squared from 0.953 to 0.960 and decode-latency R-squared from 0.957 to 0.973 over a static-only baseline. On Pixel 8 Pro, it improves prefill-latency R-squared from -1.383 to 0.966. For cross-device transfer, calibration improves Pixel 8 Pro to Pixel 8 total-latency R-squared from -0.974 to 0.940 and decode-latency R-squared from -1.085 to 0.927. Heterogeneous profiling further shows that latency is highly device- and runtime-dependent: the same SmolLM2 model family reaches 8.42 tokens/s on Orange Pi 5 Pro but 64.38 tokens/s on an RTX 3090-class GPU. These results demonstrate that runtime-aware prediction with lightweight calibration can reduce profiling cost and support latency-aware LLM deployment across heterogeneous edge platforms.
Abstract（参考訳）: 推論レイテンシはモデルアーキテクチャ、プロンプト動作、ランタイムバックエンド、ハードウェア利用、動的電圧および周波数スケーリング(DVFS)、熱変化に影響される。本稿では,デプロイメント指向LLM選択のためのランタイム対応遅延予測フレームワークを提案する。このフレームワークは、各推論要求をハードウェア実行時モデル-プロンプト構成として表現し、推論をプリフィルとデコードフェーズに分離し、ゲート予測モデルを介して動的ハードウェアテレメトリで静的ディスクリプタを適応的に融合する。我々は,Pixel モバイル端末を用いたフレームワークの評価を行い,Jetson Nano,Orange Pi 5 Pro,RTX 3090 クラスの GPU プラットフォーム上でのプロファイリングパイプラインの検証を行った。 Pixel 8では、全遅延R-squaredが0.953から0.960に改善され、デコード遅延R-squaredが0.957から0.973にスタティックのみのベースラインで改善されている。 Pixel 8 Proでは、プリフィルレイテンシR-squaredを-1.383から0.966に改善した。クロスデバイス転送のために、キャリブレーションはPixel 8 ProからPixel 8への全レイテンシR-squaredを-0.974から0.940へ、デコードレイテンシR-squaredを-1.085から0.927へ改善した。同じSmolLM2モデルファミリはOrange Pi 5 Proでは8.42トークン/s、RTX 3090クラスのGPUでは64.38トークン/sに達する。これらの結果は、軽量キャリブレーションによる実行時認識予測がプロファイリングコストを低減し、ヘテロジニアスエッジプラットフォーム間の遅延認識LDMデプロイメントをサポートすることを示す。

関連論文リスト

TriCalRAG: A Three-Strategy, Retrieval-Augmented Benchmark for On-Premise LLM-Based Root Cause Analysis in AIOps [1.8136615181861766]
クラウドホスト型大規模言語モデル(LLM)は、AIOpsパイプラインの根本原因分析(RCA)にますます使用されている。データプライバシのリスク、ネットワークレイテンシ、および運用ログボリュームの低いクエリ単位のコストを導入している。我々は,従来のLSTMを用いたログ異常検出器に対して,vLLMを介して局所的に提供されるオープンウェイトの評価ベンチマークであるRAGを提示する。
論文参考訳（メタデータ） (2026-09-13T19:52:46Z)
Taming Asynchronous CPU-GPU Coupling for Frequency-aware Latency Estimation on Mobile Edge [5.2773045718276705]
周波数の組み合わせ間での推測遅延を正確に推定するためにFLAMEを導入する。重なり合う並列性を定量化し、動的パイプラインバブルを集約する、新しいレイヤワイズ・モデリングが特徴である。 FLAMEの正確なモデリングにより、サンプルの粗いサブセットをプロファイリングし、数時間から数分でプロファイリングを切断し、SLMプロファイリングを数日からほんの数分で行うことができる。
論文参考訳（メタデータ） (2026-04-11T12:26:06Z)
GPU-Accelerated Optimization of Transformer-Based Neural Networks for Real-Time Inference [0.0]
本稿では,混合精度最適化を用いたNVIDIARTを用いた変圧器モデルのためのGPU加速型推論パイプラインの設計と評価を行う。このシステムはCPUベースラインの64.4倍のスピードアップ、シングルサンプル推論の10ms以下のレイテンシ、メモリ使用量の63%削減を実現している。
論文参考訳（メタデータ） (2026-03-30T17:27:33Z)
Pip-Stereo: Progressive Iterations Pruner for Iterative Optimization based Stereo Matching [2.226667542457085]
反復的改善を解析し,不均一な更新が空間的に疎外であり,時間的に冗長であることを明らかにする。専用単分子エンコーダを必要とせず,奥行き先を暗黙的に埋め込む,協調的な単分子先行転送フレームワークを提案する。第3に,構造化空間とI/O意識設計を利用したハードウェア対応RNN演算子であるFlashGRUを開発した。
論文参考訳（メタデータ） (2026-02-24T02:51:37Z)
LiQSS: Post-Transformer Linear Quantum-Inspired State-Space Tensor Networks for Real-Time 6G [85.58816960936069]
Sixth-Generation (6G) Open Radio Access Networks (O-RAN) における能動的およびエージェント的制御は、厳密なニアタイム(Near-RT)レイテンシと計算制約の下で制御グレードの予測を必要とする。本稿では,効率的な無線テレメトリ予測のための変圧器後パラダイムについて検討する。本稿では、自己アテンションを安定な状態空間動的カーネルに置き換える量子インスピレーション付き状態空間テンソルネットワークを提案する。
論文参考訳（メタデータ） (2026-01-18T12:08:38Z)
Multi-Task Deep Learning for Surface Metrology [0.0]
表面テクスチャパラメータを予測するために,再現可能な深層学習フレームワークを提案する。不確実性は、量子的およびヘテロセダスティックなヘッドによってモデル化され、ポストホック共形キャリブレーションにより、キャリブレーションされた間隔が生成される。
論文参考訳（メタデータ） (2025-10-23T08:38:18Z)
Next Block Prediction: Video Generation via Semi-Autoregressive Modeling [92.60177942930946]
Next-Block Prediction (NBP) は、ビデオ生成のための半自己回帰(セミAR)フレームワークである。 NBPは各ブロック内で双方向の注意を払っており、トークンはより堅牢な空間依存をキャプチャすることができる。本モデルでは,UCF101では103.3点,K600では25.5点,バニラNTPモデルでは4.4点,FVDスコアは25.5点であった。
論文参考訳（メタデータ） (2025-02-11T17:57:53Z)
Quasar-ViT: Hardware-Oriented Quantization-Aware Architecture Search for Vision Transformers [56.37495946212932]
視覚変換器(ViT)は、畳み込みニューラルネットワーク(CNN)と比較して、コンピュータビジョンタスクにおいて優れた精度を示す。ハードウェア指向の量子化対応アーキテクチャ検索フレームワークであるQuasar-ViTを提案する。
論文参考訳（メタデータ） (2024-07-25T16:35:46Z)
EdgeYOLO: An Edge-Real-Time Object Detector [69.41688769991482]
本稿では, 最先端のYOLOフレームワークをベースとした, 効率的で低複雑さかつアンカーフリーな物体検出器を提案する。我々は,訓練中の過剰適合を効果的に抑制する拡張データ拡張法を開発し,小型物体の検出精度を向上させるためにハイブリッドランダム損失関数を設計する。私たちのベースラインモデルは、MS 2017データセットで50.6%のAP50:95と69.8%のAP50、VisDrone 2019-DETデータセットで26.4%のAP50と44.8%のAP50に達し、エッジコンピューティングデバイスNvidia上でリアルタイム要求(FPS>=30)を満たす。
論文参考訳（メタデータ） (2023-02-15T06:05:14Z)
MAPLE-Edge: A Runtime Latency Predictor for Edge Devices [80.01591186546793]
汎用ハードウェアの最先端遅延予測器であるMAPLEのエッジデバイス指向拡張であるMAPLE-Edgeを提案する。 MAPLEと比較して、MAPLE-Edgeはより小さなCPUパフォーマンスカウンタを使用して、ランタイムとターゲットデバイスプラットフォームを記述することができる。また、共通ランタイムを共有するデバイスプール上でトレーニングを行うMAPLEとは異なり、MAPLE-Edgeは実行時に効果的に一般化できることを示す。
論文参考訳（メタデータ） (2022-04-27T14:00:48Z)
FastFlowNet: A Lightweight Network for Fast Optical Flow Estimation [81.76975488010213]
ディセンス光学フロー推定は、多くのロボットビジョンタスクで重要な役割を果たしています。現在のネットワークはしばしば多くのパラメータを占有し、計算コストがかかる。提案したFastFlowNetは、周知の粗大なやり方で、以下のイノベーションで機能する。
論文参考訳（メタデータ） (2021-03-08T03:09:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。