論文の概要: EdgeVLN: Runtime-Aware Deployment Ready Quantized Vision Language Navigation Model

• arxiv url: http://arxiv.org/abs/2609.35570v1
• Date: Mon, 28 Sep 2026 16:32:09 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-01 20:46:28.833209
• Title: EdgeVLN: Runtime-Aware Deployment Ready Quantized Vision Language Navigation Model
• Title（参考訳）: EdgeVLN: 実行時対応デプロイメント対応の量子ビジョン言語ナビゲーションモデル
• Abstract要約: 視覚言語ナビゲーション(VLN)モデルはよく機能するが、ターゲットは計算量の多いプラットフォームである。 ランタイム対応でデプロイ対応の量子化VLNモデルであるEdgeVLNを紹介する。 NVIDIA Jetson Orin NX 16GB上でのシミュレーション,遅延,エネルギー,常駐メモリにおける成功率(SR)を測定した。
• 参考スコア（独自算出の注目度）: 0.1259953341639576
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Vision-language navigation (VLN) models perform well but target compute-rich platforms, limiting deployment on memory- and power-constrained robotic edge devices. Compression alone does not establish whether a VLN model fits the memory, latency, and energy budgets of an edge platform while preserving navigation behavior. We introduce EdgeVLN, a runtime-aware, deployment-ready quantized VLN model that closes this gap. EdgeVLN combines a quantized StreamVLN model with Latent Trajectory Termination Extractor (LATTE), a lightweight causal transformer that improves real-time stopping by predicting a Stop Action verifier rank. Both execute through our llama.cpp VLN driver, which reconstructs streaming context and prunes memory tokens on-board. We characterize a pretrained StreamVLN backbone across weight quantization from 8 to 2 bits and multiple inference runtimes to identify a feasible operating point. LATTE reuses backbone hidden states within the budget freed by quantization, requiring neither a second vision encoder nor an additional backbone forward pass. We evaluate six backbone precisions and seven candidate stop heads on BF16 and IQ4 NL across all 1,839 R2R VLN-CE val-unseen episodes. We measure success rate (SR) in simulation and latency, energy, and resident memory on an NVIDIA Jetson Orin NX 16 GB. LATTE achieves our highest SR, 58.02 percent on the deployed 4-bit model, exceeding the BF16 baseline with only 0.013 s additional latency per navigation step. Four-bit formats achieve nearly identical SR, but step energy varies 36.8 times by execution path. Only IQ4 NL under our VLN driver fits the board, using 11.35 GB resident memory while running 20.8 times faster and using 13.3 times less energy than storage-streamed BF16. INT2 collapses. Runtime selection, memory-token pruning, and quantization are essential for efficient edge deployment.
• Abstract（参考訳）: ヴィジュアル言語ナビゲーション(VLN)モデルはよく機能するが、ターゲットの計算量の多いプラットフォームであり、メモリや電力制約のあるロボットエッジデバイスへのデプロイメントを制限する。 圧縮だけでは、VLNモデルがナビゲーション動作を維持しながらエッジプラットフォームのメモリ、レイテンシ、エネルギー予算に適合するかどうかを定めていない。 このギャップを埋めるランタイム対応の、デプロイメント対応の量子化VLNモデルであるEdgeVLNを紹介します。 EdgeVLNは、量子化されたStreamVLNモデルとLatent Trajectory Termination Extractor(LATTE)を組み合わせる。 どちらもllama.cpp VLNドライバを通じて実行し、ストリーミングコンテキストを再構築し、メモリトークンをオンボードでプーンする。 既訓練のStreamVLNバックボーンを8ビットから2ビットまでの重み量子化と複数の推論ランタイムで特徴付け、実現可能な動作点を特定する。 LATTEは、量子化によって解放された予算内に隠されたバックボーンを再利用し、第2のビジョンエンコーダも追加のバックボーンフォワードパスも必要としない。 我々は,BF16およびIQ4NLにおいて,VLN-CE val-unseenの6回のバックボーン精度と7回のストップヘッドを評価した。 NVIDIA Jetson Orin NX 16GB上でのシミュレーション,遅延,エネルギー,常駐メモリにおける成功率(SR)を測定した。 LATTEは、デプロイされた4ビットモデル上で最も高いSRを58.02パーセント達成し、ナビゲーションステップあたり0.013秒の追加レイテンシでBF16ベースラインを超えた。 4ビットフォーマットは、ほぼ同じSRを実現するが、ステップエネルギーは実行経路によって36.8倍に変化する。 VLNドライバのIQ4 NLのみがボードにフィットし、11.35GBのメモリを使用し、20.8倍高速に動作し、ストレージストリームのBF16の13.3倍のエネルギーを使用する。 INT2が崩壊。 効率的なエッジデプロイメントには、実行時選択、メモリトーケンプルーニング、量子化が不可欠だ。

関連論文リスト

• Beyond Model Size: Redesigning LiSenNet for embedded speech enhancement [1.5469452301122175]
  音声強調ネットワークはパラメータ数とMACを名目上マイクロコントローラに適したレベルに減らしている。 我々は、STM32N6570-DK Neural-ARTアクセラレータのために、37kパラメータのサブバンドデュアルパスモデルであるLiSenNetを再設計することで、このギャップに対処する。 我々は、リカレントボトルネックを畳み込み周波数と時間ミキサーに置き換え、非サポート操作を静的な int8互換プリミティブとして再構成し、量子化後の品質を維持するために有界デコーダアクティベーションを使用する。
  論文  参考訳（メタデータ） (2026-09-24T14:24:43Z)
• Video DeltaNet: A Video-Native Hybrid Attention for Livestream Video Generation [52.14962478768438]
  Video DeltaNet (VDN) は、Softmaxのローカルな注意と、長距離コンテキストビデオのための双方向リニアメモリを組み合わせたものだ。 We instantiate VDN on MiniMax H3, using the hybrid to video-to- video interaction while keeping Softmax。 8段階の蒸留と最適化されたSG供給スタックにより、VDN-H3は14.3秒、768pのビデオを6.70秒でDiTデノイングする。
  論文  参考訳（メタデータ） (2026-09-17T17:33:15Z)
• TIO-Former: Ultra-Lightweight 6-Directional ToF-Inertial Odometry for Nano-UAVs via a Streaming Causal Transformer [19.298838240329292]
  TIO-FORMERは、ナノUAV用のカメラレス光フローナビゲーションフレームワークである。 ナノUAVの光学流と比較して、開ループ位置誤差を54.4%削減する。 資源制約されたマイクロエアリアルロボットに実用的なアンカーを提供する。
  論文  参考訳（メタデータ） (2026-09-15T13:54:06Z)
• MemVLN: Episodic and Procedural Memory for Vision-and-Language Navigation [68.89913903899101]
  リアルタイム推論効率(14 FPS)で最先端性能を実現する新しいVLNフレームワークを提案する。 MemVLNは、視覚エンコーダを使用して連続観察を処理し、LLM(Large Language Model)を使用して命令を解釈し、アクションを生成する。 VLN-CEの実験では、MemVLN-4BはベースラインのQwen3-VL-4Bアーキテクチャを5.8%のSRでR2R、9.7%のSRで上回り、推論遅延の7$times$スピードアップを達成した。
  論文  参考訳（メタデータ） (2026-07-26T07:08:30Z)
• LocalNav: Distilling Frontier VLMs and Embodied RL for On-Device Object Goal Navigation [53.88286427894783]
  視覚言語モデル(VLM)は、ロボット分野において、言語コンテキストによる環境認識を可能にする強力なツールとして登場した。 しかし、彼らの計算フットプリントは、通常、それらをクラウド実行に制限し、リソースに制約のあるロボットへのローカルなデプロイによる低レイテンシの推論を妨げる。 本稿では,大規模フロンティアモデルからの複雑な空間意味推論を,組み込みGPUデバイス上でエッジ実行を行うための軽量な4BパラメータローカルVLMに転送する蒸留戦略を提案する。
  論文  参考訳（メタデータ） (2026-06-26T09:11:59Z)
• LLaVA-OneVision-2: Towards Next-Generation Perceptual Intelligence [107.63317552620231]
  LLaVA-OneVision-2(LLaVA-OV-2)について述べる。 幅広いマルチモーダルベンチマークで優れたパフォーマンスを実現している。 際立った能力は、ビデオ理解、時間的接地、空間的接地、操作言語推論にまたがる統一的な認識である。
  論文  参考訳（メタデータ） (2026-05-25T15:54:04Z)
• LongLive-2.0: An NVFP4 Parallel Infrastructure for Long Video Generation [84.86814271505109]
  LongLive-2.0は、長いビデオ生成の完全なトレーニングと推論ワークフロー全体を通じて、NVFP4ベースの並列インフラストラクチャである。 トレーニングには,quence-parallel autoregressive (AR) トレーニングを導入する。 実験ではトレーニングで2.15倍、推論で1.84倍のスピードアップを示す。
  論文  参考訳（メタデータ） (2026-05-18T17:57:03Z)
• BWTA: Accurate and Efficient Binarized Transformer by Algorithm-Hardware Co-design [71.97035034203275]
  バイナライゼーションにおけるゼロ点歪みを解析し,BWTA量子化方式を提案する。 本稿では,Smooth Multi-Stage Quantizationを提案し,レベルワイド・デグラデーション・ストラテジーとMagnitude Alignment Projection Factorを組み合わせた。 実験の結果、BWTAはTransformerベースのモデルに対して、GLUEでは平均3.5%、タスクでは2%未満の精度でフル精度のパフォーマンスにアプローチしていることがわかった。
  論文  参考訳（メタデータ） (2026-04-05T04:25:07Z)
• TinyML Enhances CubeSat Mission Capabilities [8.462623779881566]
  本稿では,画像分類のための畳み込みニューラルネットワーク(ConvNets)モデル最適化と配置パイプラインを提案する。 我々のパイプラインは、構造化された反復プルーニング、後のINT8量子化、および圧縮モデルへのハードウェア対応オペレータマッピングを統合している。 最適化されたモデルでは、RAM使用率89.55%、フラッシュメモリ709%の平均的な削減が示されている。
  論文  参考訳（メタデータ） (2026-03-20T17:51:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。