論文の概要: ActTune: Action-Aware Precision and GPU Operating-Point Adaptation for Energy-Efficient Vision-Language-Action Inference
- arxiv url: http://arxiv.org/abs/2610.08444v1
- Date: Tue, 06 Oct 2026 14:35:22 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-08 02:58:30.050521
- Title: ActTune: Action-Aware Precision and GPU Operating-Point Adaptation for Energy-Efficient Vision-Language-Action Inference
- Title(参考訳): ActTune:エネルギー効率の良いビジョンランゲージ・アクション推論のための行動認識精度とGPUオペレーティングポイント適応
- Abstract要約: 視覚言語アクション(VLA)ポリシーは、ロボットを制御するために推論を繰り返し実行します。
推論呼び出し当たりのエネルギーの削減は、数値エラーが失敗を増やしたり、推論が遅くなると実行が長くなる場合、タスク当たりのエネルギーの削減にはならない。
本稿では,ActTuneを紹介した。ActTuneは,処理負荷に依存したGPUオペレーティングポイント選択とレイヤワイズ精度アロケーションを接続するアクション認識フレームワークである。
- 参考スコア(独自算出の注目度): 33.00414999715751
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Vision-language-action (VLA) policies repeatedly invoke inference to control robots, making graphics processing unit (GPU) energy a recurring cost of task execution. Reducing energy per inference call, however, may not reduce energy per successful task if numerical errors increase failures or slower inference prolongs execution. We therefore target GPU energy per successful task while preserving task success and keeping the inference-latency increase within 10\%. Our approach builds on two observations: quantization sensitivity varies across action classes, model layers, and weights versus activations; and numerical precision changes the workload, shifting favorable GPU operating points. We introduce ActTune, an action-aware framework that connects layer-wise precision allocation with workload-dependent GPU operating-point selection over requested frequency--power-cap pairs. A lightweight decision tree learns its splits and leaf precision configurations directly from configuration action errors, then selects precision before each policy call. The controller forecasts the next workload and applies the selected GPU operating point asynchronously using a lookup table calibrated under a latency budget. A shared resident quantized weight bank enables configuration switching without weight reconstruction or additional policy evaluations. On LIBERO, a benchmark for lifelong robot learning, ActTune improves mean task success by up to 2.3\% relative to state of the art. Relative to the original BF16 implementations, it delivers up to $2.02\times$ faster inference and, with GPU operating-point adaptation, reduces energy per successful task by up to 76.8\%.
- Abstract(参考訳): 視覚言語アクション(VLA)ポリシーは、ロボットを制御するために推論を繰り返し実行し、グラフィクス処理ユニット(GPU)をタスク実行の繰り返しコストにする。
しかしながら、推論呼び出し当たりのエネルギー削減は、数値誤差が失敗を増やしたり、推論が遅くなると実行が長くなる場合、タスク当たりのエネルギー削減にはならない。
したがって、タスク成功を保ち、推論待ち時間の増加を10倍に抑えながら、タスク成功当たりのGPUエネルギーを目標としています。
量子化感度は、アクションクラス、モデル層、およびアクティベーションに対する重みによって異なる。
本稿では,ActTuneを紹介した。ActTuneは,要求された周波数-パワーキャップペア上での処理負荷に依存したGPU動作点選択と,レイヤワイズ精度の割り当てを接続するアクション認識フレームワークである。
軽量決定木は、設定動作エラーから直接分割と葉の精度設定を学習し、各ポリシー呼び出しの前に精度を選択する。
コントローラは次のワークロードを予測し、レイテンシ予算で調整されたルックアップテーブルを使用して、選択したGPU動作ポイントを非同期に適用する。
共有定量化量銀行は、重量再構成や追加の政策評価なしで構成切替を可能にする。
生涯にわたるロボット学習のベンチマークであるLIBEROでは、ActTuneは最先端技術と比較して平均タスク成功率を2.3\%改善している。
オリジナルのBF16の実装とは対照的に、最大2.02\times$高速な推論を提供し、GPUのオペレーティングポイント適応により、タスク当たりのエネルギーを最大76.8\%削減する。
関連論文リスト
- Jetson-PI: Towards Onboard Real-Time Robot Control via Foresight-Aligned Asynchronous Inference [23.424767173051404]
VLA(Vision-Language-Action)モデルは、様々な実施タスクにおいて印象的なパフォーマンスを実現している。
Jetson Orinのような低消費電力オンボードデバイスにVLAモデルをデプロイすることは、高い計算複雑性のため、依然として困難である。
非同期推論は、アクション実行とその後の推論を並列化することで、このレイテンシを部分的に隠蔽することができるが、認識実行ミスアライメントと長時間のリアクションタイムという、2つの重要な問題が発生する。
我々は、Foresight-Aligned Asynchronous Correctionを介して、オンボードデバイス上でのVLAの効率的なデプロイ方法であるJetson-PIを提案する。
論文 参考訳(メタデータ) (2026-07-14T11:38:36Z) - CARMA: Collocation-Aware Resource Manager [5.998463702026698]
同じGPU上で複数のディープラーニング(DL)トレーニングタスクをコロケートすることは、利用率を改善するが、2つの大きなリスクをもたらす。
サーバスケールのためのタスクレベル・コロケーション対応リソース管理システムであるCARMAについて述べる。
論文 参考訳(メタデータ) (2025-08-26T14:29:34Z) - Latency-aware Unified Dynamic Networks for Efficient Image Recognition [72.8951331472913]
LAUDNetは動的ネットワークの理論的および実用的な効率ギャップを橋渡しするフレームワークである。
3つの主要な動的パラダイム - 適応型計算、動的層スキップ、動的チャネルスキップ - を統合している。
これにより、V100,3090やTX2 GPUのようなプラットフォーム上で、ResNetのようなモデルの遅延を50%以上削減できる。
論文 参考訳(メタデータ) (2023-08-30T10:57:41Z) - ETAD: A Unified Framework for Efficient Temporal Action Detection [70.21104995731085]
時間的行動検出(TAD)のようなトリミングされていないビデオ理解は、しばしば計算資源に対する膨大な需要の苦痛に悩まされる。
我々は、効率的なエンド・ツー・エンドの時間的行動検出(ETAD)のための統合されたフレームワークを構築している。
ETADはTHUMOS-14とActivityNet-1.3の両方で最先端のパフォーマンスを実現している。
論文 参考訳(メタデータ) (2022-05-14T21:16:21Z) - Dynamic GPU Energy Optimization for Machine Learning Training Workloads [9.156075372403421]
GPOEOは、機械学習トレーニングワークロードのための、オンラインGPUエネルギ最適化フレームワークである。
オンライン計測、多目的予測モデリング、探索最適化に新しい手法を採用している。
NVIDIAのデフォルトのスケジューリング戦略と比較すると、GPOEOは平均エネルギーを16.2%削減し、平均実行時間は5.1%増加した。
論文 参考訳(メタデータ) (2022-01-05T16:25:48Z) - Mesa: A Memory-saving Training Framework for Transformers [58.78933015299703]
本稿では,トランスフォーマーのためのメモリ節約トレーニングフレームワークであるMesaを紹介する。
Mesaは、フォワードパス中に正確なアクティベーションを使用し、低精度のアクティベーションを格納することで、トレーニング中のメモリ消費を減らす。
ImageNet、CIFAR-100、ADE20Kの実験は、Mesaがトレーニング中にメモリフットプリントの半分を削減できることを示した。
論文 参考訳(メタデータ) (2021-11-22T11:23:01Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。