論文の概要: NPU Offloading of a Frozen Visual Encoder for Robot Policy Training
- arxiv url: http://arxiv.org/abs/2608.15002v1
- Date: Sat, 15 Aug 2026 03:19:09 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-18 19:59:03.158578
- Title: NPU Offloading of a Frozen Visual Encoder for Robot Policy Training
- Title（参考訳）: ロボット政策訓練用凍結型ビジュアルエンコーダのNPUオフロード
- Abstract要約: ロボットポリシーが新しいタスクやデータセットのためにトレーニングされると、そのビジュアルエンコーダは凍結され、アクション生成モジュールのみがトレーニングされる。
私たちは、GPUとNPUの両方を使用して、AR-Actorスペシャリストのための非同期トレーニングパイプラインを構築しました。
凍結したビジュアルエンコーダのNPUオフロードは、トレーニングエネルギーを削減することができるが、トレーニング時間を増やし、GPUのみのトレーニングと比較して、ポリシーの成功率を0.44から1.89ポイントに下げる。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: When a robot policy is trained for a new task or dataset, its visual encoder can be frozen and only its action generation module trained, reducing training cost. Freezing removes the encoder's backward pass, but its forward pass must still run at every training step because the input images change, so it keeps consuming GPU compute. We therefore ask whether moving this computation to a low power AI accelerator such as an NPU can reduce total energy despite the added data transfer and longer training time, and how it affects policy performance. We built an asynchronous training pipeline that uses both a GPU and an NPU for the AR-Actor specialist. The frozen visual encoder runs in A8W8 INT8 on a Mobilint Aries2 NPU, while the FP32 action expert is trained on an NVIDIA GeForce RTX 5060 Ti GPU. We compared a GPU-only baseline with four conditions, L1 to L4, which gradually extend NPU offloading from one to four Transformer encoder layers. Each condition was trained for 30,000 steps with three random seeds. We measured GPU board power for the GPU-only condition and combined GPU and NPU board power for the NPU conditions. Energy per sample decreased by 17.1% in L1, which offloaded ResNet18 and the first encoder layer, and by 27.9% in L4, which offloaded ResNet18 and all four encoder layers. In contrast, training time per sample increased by 15.2% in L1 and 37.7% in L4, and peak allocated GPU memory decreased by 19.8 to 20.7%. The 15 resulting policies were each evaluated with the same 300 environment seeds, for a total of 4,500 simulator rollouts. The combined success rate was 93.33% for GPU-only and 91.44 to 92.89% for the NPU conditions. These results show that NPU offloading of a frozen visual encoder can reduce training energy, but it increases training time and lowers policy success rate by 0.44 to 1.89 percentage points compared with GPU-only training.
- Abstract（参考訳）: ロボットポリシーが新しいタスクやデータセットのためにトレーニングされると、そのビジュアルエンコーダは凍結され、アクション生成モジュールのみがトレーニングされ、トレーニングコストが削減される。
凍結はエンコーダの後方パスを除去するが、その前方パスは入力画像が変化するため、トレーニングステップ毎に実行されなければならないため、GPU計算を消費し続ける。
そこで我々は,この計算をNPUなどの低消費電力AIアクセラレータに移行することで,データ転送やトレーニング時間の延長に拘わらず,総エネルギーを削減できるかどうかを問う。
私たちは、GPUとNPUの両方を使用して、AR-Actorスペシャリストのための非同期トレーニングパイプラインを構築しました。
凍結されたビジュアルエンコーダはMobilint Aries2 NPU上でA8W8 INT8で動作し、FP32アクションエキスパートはNVIDIA GeForce RTX 5060 Ti GPUでトレーニングされている。
我々は、GPUのみのベースラインを4つの条件、L1からL4で比較し、NPUオフロードを1から4つのTransformerエンコーダ層に徐々に拡張した。
各条件は3つのランダムな種子を持つ3万段のステップで訓練された。
我々は、GPUのみの状態のGPUボードパワーと、NPU条件のGPUとNPUボードパワーの組み合わせを測定した。
サンプル当たりのエネルギーは17.1%減少し、ResNet18と最初のエンコーダ層をオフロードし、27.9%減少し、ResNet18と4つのエンコーダ層をオフロードした。
対照的に、サンプルあたりのトレーニング時間はL1では15.2%、L4では37.7%増加し、割り当てられたGPUメモリのピークは19.8から20.7%減少した。
結果として得られた15のポリシーは、それぞれ同じ300個の環境種子で評価され、合計4500個のシミュレータがロールアウトされた。
合計成功率はGPUのみで93.33%、NPU条件で91.44から92.89%であった。
これらの結果は、凍結したビジュアルエンコーダのNPUオフロードは、トレーニングエネルギーを削減できるが、トレーニング時間を増やし、GPUのみのトレーニングと比較して、ポリシー成功率を0.44から1.89ポイント削減できることを示している。
関連論文リスト
- Meganeura: Portable GPU Training and Inference through Vulkan and Metal [0.0]
Meganeura氏は、ひとつのコンパクトなネイティブコンパイラが、コンシューマGPU上の両方のフェーズにまたがることができるかどうかを尋ねている。
NVIDIAとAMDの離散GPUで、マッチした5つのワークロードとPyTorchを比較した。
その結果,一般消費者のグラフィクスAPIは,コンパクトな共有トレイン・ツー・デプロイスタックを,時としてベンダ・コンペティティブなパフォーマンスでサポートできることが示唆された。
論文 参考訳（メタデータ） (2026-08-03T00:42:55Z) - Energy-Efficient On-Device RAG on a Mobile NPU: System Design and Benchmark on Snapdragon X Elite [1.345043392794631]
Retrieval-Augmented Generation (RAG)パイプラインは計算集約である。
完全にデバイス上で実行することは、プライバシ、レイテンシ、オフライン使用の恩恵を受ける。
Snapdragon X EliteのQualcomm Hexagon NPU上で、すべてのニューラルネットワークステージを実行する最初のエンドツーエンドRAGパイプラインを提示する。
論文 参考訳（メタデータ） (2026-06-09T01:09:00Z) - KurTail : Kurtosis-based LLM Quantization [51.24081396305435]
KurTailは、大規模言語モデルのアクティベートにおいて、アウトレーヤを緩和する、新しいトレーニング後の量子化スキームである。
MMLUの精度は13.3%向上し、Wikiの難易度はQuaRotに比べて15.5%低下している。
また、SpinQuantを2.6%のMMLUゲインで上回り、パープレキシティを2.9%削減し、トレーニングコストを削減した。
論文 参考訳（メタデータ） (2025-03-03T12:43:06Z) - Characterization of GPU TEE Overheads in Distributed Data Parallel ML Training [7.236249885667945]
信頼できるコンピューティング(CC)または信頼できる実行エンクレーブ(TEE)は、クラウドでセキュアなコンピューティングを実現するための最も一般的なアプローチである。
NVIDIAによるGPU TEEの導入により、モデルウェイトやデータをクラウドプロバイダにリークすることなく、マシンラーニング(ML)モデルをトレーニングすることが可能になった。
本稿では,GPU TEEを用いた分散データ並列(DDP)MLトレーニングの実行に伴う性能オーバーヘッドについて,詳細な解析を行った。
論文 参考訳（メタデータ） (2025-01-20T22:23:50Z) - QServe: W4A8KV4 Quantization and System Co-design for Efficient LLM Serving [52.31791050376249]
量子化は大規模言語モデル(LLM)の推論を加速させる。
4ビット重み、8ビットアクティベーション、4ビットKVキャッシュを備えたW4A8KV4量子化アルゴリズムQoQを導入する。
QServeは、Llama-3-8BをA100で1.2倍、L40Sで1.4倍、Qwen-721.5BをA100で2.4倍、L40Sで3.5倍、達成可能な最大機能を改善する。
論文 参考訳（メタデータ） (2024-05-07T17:59:30Z) - NeRF-XL: Scaling NeRFs with Multiple GPUs [72.75214892939411]
我々は、複数のGPUにまたがるニューラルラジアンス場(NeRF)を分散する原理的手法であるNeRF-XLを提案する。
パラメータ数を大きくして再構成品質を向上し,GPUの高速化を実現した。
我々は,25km2の都市部をカバーする258K画像を含む,これまでで最大規模のオープンソースデータセットMatrixCityを含む,さまざまなデータセットに対するNeRF-XLの有効性を実証した。
論文 参考訳（メタデータ） (2024-04-24T21:43:15Z) - DisCo-CLIP: A Distributed Contrastive Loss for Memory Efficient CLIP
Training [13.953918004371493]
DisCo-CLIPはメモリ効率のよいCLIPトレーニングアプローチである。
DisCo-CLIPは、バッチサイズ32Kまたは196KのViT-B/32モデルのコントラストトレーニングを可能にする。
論文 参考訳（メタデータ） (2023-04-17T17:58:21Z) - EVEREST: Efficient Masked Video Autoencoder by Removing Redundant Spatiotemporal Tokens [57.354304637367555]
ビデオ表現学習のための驚くほど効率的なMVAアプローチであるEVERESTを提案する。
リッチなモーション特徴を含むトークンを発見し、事前トレーニングと微調整の両方の間、非形式的なトークンを破棄する。
提案手法は,MVAの計算とメモリ要求を大幅に低減する。
論文 参考訳（メタデータ） (2022-11-19T09:57:01Z) - AxoNN: An asynchronous, message-driven parallel framework for
extreme-scale deep learning [1.5301777464637454]
AxoNNは並列ディープラーニングフレームワークで、非同期とメッセージ駆動の実行を利用して、各GPU上でのニューラルネットワーク操作をスケジュールする。
トレーニング中に定期的にデータをオフロードするスクラッチスペースとしてCPUメモリを使用することで、AxoNNはGPUメモリ使用量を4倍削減することができる。
論文 参考訳（メタデータ） (2021-10-25T14:43:36Z) - Efficient and Generic 1D Dilated Convolution Layer for Deep Learning [52.899995651639436]
幅広いパラメータをカバーする汎用的な1D畳み込み層の効率的な実装を紹介します。
特にIntel AVX-512とAVX-512 BFloat16命令を含むアーキテクチャ向けに最適化されている。
本稿では,最適化された1次元畳み込み層の性能を,実際のゲノミクスデータセットを用いたエンドツーエンドニューラルネットワークトレーニングで実証する。
論文 参考訳（メタデータ） (2021-04-16T09:54:30Z) - L2PF -- Learning to Prune Faster [57.32153461504626]
本稿では,cnnの冗長フィルタを離散的に学習するマルチタスクのtry-and-learn法と,レイヤの微調整期間の連続的動作を提案する。
ResNet20では、最小精度で圧縮比3.84xを達成しました。
最先端プルーニング法と比較して,GPU時間を1.71倍に短縮した。
論文 参考訳（メタデータ） (2021-01-07T18:13:37Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。