論文の概要: TP-JSCC: Efficient Token Pruning and Joint Source-Channel Coding for LVLMs-based 3D-VQA in Cloud-Edge Collaboration
- arxiv url: http://arxiv.org/abs/2610.35489v1
- Date: Mon, 26 Oct 2026 14:17:36 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-27 22:27:14.025538
- Title: TP-JSCC: Efficient Token Pruning and Joint Source-Channel Coding for LVLMs-based 3D-VQA in Cloud-Edge Collaboration
- Title(参考訳): TP-JSCC:クラウドエッジコラボレーションにおけるLVLMsベースの3D-VQAのための効率的なトーケンプルーニングとジョイントソースチャネル符号化
- Abstract要約: 大規模視覚言語モデル (LVLMs) は3次元視覚質問応答のための資源制約型エンボディエージェントに展開される。
帯域幅に制限されたノイズの多いチャネル上で、大量の視覚データをクラウドにオフロードすることで、厳しいレイテンシと送信歪みが発生します。
クラウドエッジコラボレーションにおけるLVLMsベースの3D-VQAのための,効率的なトークンプルーニングとジョイントソースチャネル符号化手法であるTP-JSCCを提案する。
- 参考スコア(独自算出の注目度): 53.21711959121914
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Deploying large vision-language models (LVLMs) on resource-constrained embodied agents for 3D visual question answering necessitates cloud-edge collaboration. However, offloading massive visual data to the cloud over bandwidth-limited and noisy channels introduces severe latency and transmission distortion. To address this, we propose TP-JSCC, an efficient token pruning and joint source-channel coding method for LVLMs-based 3D-VQA in Cloud-Edge Collaboration. First, we develop a Local and Global Semantics-based Hybrid Token Pruning (LGS-HTP) module to significantly reduce the visual token count. By decoupling foreground-background tokens and jointly selecting local and global semantics, LGS-HTP effectively reduces redundancy while preserving reasoning-critical tokens. Second, we introduce a lightweight Token Joint Source-Channel Coding (T-JSCC) module to further compress the pruned tokens and ensure their robust transmission over error-prone channels. By employing lightweight cascaded linear layers and Signal-to-Noise Ratio (SNR)-adaptive mechanism, this module adapts to fluctuating channel conditions while maintaining minimal computational overhead. Extensive experiments on ScanQA and SQA3D datasets indicate the exceptional efficiency and robustness of our approach. Specifically, on ScanQA validation set, the LGS-HTP module could achieve 90% pruning ratio while incurring less than a 1% CIDEr loss. Building on this, the T-JSCC further compresses the tokens by 18 times, resulting in an overall 180 times data volume reduction for robust transmission, while saving 90% in computational complexity for LVLM deployment. Our code is available at https://github.com/yuanhui0325/TP-JSCC.
- Abstract(参考訳): リソース制約のあるエンボディエージェントに大規模な視覚言語モデル(LVLM)をデプロイすることで、3次元視覚的質問応答を実現する。
しかし、帯域幅に制限されたノイズの多いチャネルで大量の視覚データをクラウドにオフロードすると、遅延と送信の歪みが発生する。
そこで我々は,LVLMsベースの3D-VQAをクラウド・エッジ・コラボレーションで実現する,効率的なトークン・プルーニングとジョイント・ソース・チャネル・コーディング手法であるTP-JSCCを提案する。
まず,ローカルおよびグローバルセマンティックスをベースとしたHybrid Token Pruning (LGS-HTP) モジュールを開発し,視覚的トークン数を大幅に削減する。
前景のトークンを分離し、局所的およびグローバルなセマンティクスを共同選択することにより、LGS-HTPは推論クリティカルトークンを保存しながら、冗長性を効果的に低減する。
第2に,軽量なToken Joint Source-Channel Coding (T-JSCC) モジュールを導入する。
軽量なカスケード線形層とSNR(Signal-to-Noise Ratio)適応機構を用いることで、このモジュールは最小の計算オーバーヘッドを維持しながらチャネル条件の変動に適応する。
ScanQAとSQA3Dデータセットの大規模な実験は、我々のアプローチの例外的な効率性と堅牢性を示している。
具体的には、ScanQA検証セットでは、LGS-HTPモジュールは90%のプルーニング比を達成でき、CIDErの損失は1%以下であった。
これに基づいて、T-JSCCはトークンをさらに18倍圧縮し、結果として、ロバストトランスミッションの合計180倍のデータボリュームを削減し、LVLMデプロイメントの計算複雑性の90%を削減した。
私たちのコードはhttps://github.com/yuanhui0325/TP-JSCCで利用可能です。
関連論文リスト
- Visual Token Codec: Unleashing Spatial Redundancy for ViT Feature Coding [49.540751364954666]
Visual Token Codecは、グローバルトークンとパッチトークンを専用のコーディングパスに分離する。
VTCは, 分類, セグメンテーション, 検出タスクにおいて, 代表的VT特徴量ベースラインを一貫して上回っていることを示す。
論文 参考訳(メタデータ) (2026-08-09T17:32:04Z) - OScaR: The Occam's Razor for Extreme KV Cache Quantization in LLMs and Beyond [50.440302567029654]
マルチモーダルインテリジェンスにより、Key-Valueキャッシュは効率的なデプロイメントのための主要なメモリボトルネックとなった。
本研究では、チャネルごとの量子化パラダイムの本質的な限界を再考する。
X-LLMのための高精度かつ軽量なKVキャッシュ圧縮フレームワークOScaRを提案する。
論文 参考訳(メタデータ) (2026-05-19T10:53:03Z) - Task-Oriented Communication for Human Action Understanding via Edge-Cloud Co-Inference [19.901979392669443]
スマートセンシングは、ネットワークエッジにおける人間の行動の正確な理解に対する需要が高まっている。
従来のアプローチでは、リソース制約のあるエッジデバイスから強力なクラウドサーバへ、大量のビデオデータを送信する必要がある。
エッジクラウドコラボレーションによるヒューマンアクション理解(TOAU)のためのタスク指向コミュニケーションフレームワークを提案する。
論文 参考訳(メタデータ) (2026-05-08T07:08:28Z) - WISV: Wireless-Informed Semantic Verification for Distributed Speculative Decoding in Device-Edge LLM Inference [56.297697169678095]
WISV(Wireless-Informed Semantic Verification)は、分散投機的復号化フレームワークである。
WISVは最大60.8%の許容長の増加、37.3%の対話ラウンドの削減、31.4%のエンドツーエンドレイテンシの改善を実現している。
NVIDIA Jetson AGX OrinとA40搭載サーバからなるハードウェアテストベッド上でWISVを検証する。
論文 参考訳(メタデータ) (2026-04-20T01:29:56Z) - Range Asymmetric Numeral Systems-Based Lightweight Intermediate Feature Compression for Split Computing of Deep Neural Networks [5.186026342830856]
Splitコンピューティングは、リソース制約のあるエッジデバイスとクラウドサーバの間で、ディープニューラルネットワーク推論を分散する。
本研究では、非対称整数量子化とスパーステンソル表現を併用したレンジ非対称数値システム(rANS)の符号化を利用して、伝送オーバーヘッドを劇的に低減する新しい軽量圧縮フレームワークを提案する。
論文 参考訳(メタデータ) (2025-11-11T12:33:59Z) - Why Should the Server Do It All?: A Scalable, Versatile, and Model-Agnostic Framework for Server-Light DNN Inference over Massively Distributed Clients via Training-Free Intermediate Feature Compression [6.932768187544348]
スプリットコンピューティングにおける通信負荷とサーバ負荷の両方を削減するためにIFを圧縮する、リトレーニングフリーでアーキテクチャに依存しないフレームワークであるSLICERを紹介した。
標準的なビジョンとLLMワークロード全体にわたって、SLICERはアップリンクボリュームを最大10倍、サーバGPU時間を最大4.4倍削減する。
論文 参考訳(メタデータ) (2025-11-03T08:44:13Z) - Lightweight and Progressively-Scalable Networks for Semantic
Segmentation [100.63114424262234]
マルチスケール学習フレームワークは,セマンティックセグメンテーションを向上する有効なモデルのクラスと見なされてきた。
本稿では,畳み込みブロックの設計と,複数スケールにわたる相互作用の仕方について,徹底的に解析する。
我々は,軽量で拡張性の高いネットワーク(LPS-Net)を考案した。
論文 参考訳(メタデータ) (2022-07-27T16:00:28Z) - An Adaptive Device-Edge Co-Inference Framework Based on Soft
Actor-Critic [72.35307086274912]
高次元パラメータモデルと大規模数学的計算は、特にIoT(Internet of Things)デバイスにおける実行効率を制限する。
本稿では,ソフトポリシーの繰り返しによるエフェキシット点,エフェキシット点,エンフェキシット点を生成する離散的(SAC-d)のための新しい深層強化学習(DRL)-ソフトアクタ批判法を提案する。
レイテンシと精度を意識した報酬設計に基づいて、そのような計算は動的無線チャンネルや任意の処理のような複雑な環境によく適応でき、5G URLをサポートすることができる。
論文 参考訳(メタデータ) (2022-01-09T09:31:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。