論文の概要: Task-Oriented Feature Compression for Multimodal Understanding via Device-Edge Co-Inference

• arxiv url: http://arxiv.org/abs/2503.12926v1
• Date: Mon, 17 Mar 2025 08:37:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-18 12:29:05.890599
• Title: Task-Oriented Feature Compression for Multimodal Understanding via Device-Edge Co-Inference
• Title（参考訳）: デバイスエッジ共振によるマルチモーダル理解のためのタスク指向特徴圧縮
• Authors: Cheng Yuan, Zhening Liu, Jiashu Lv, Jiawei Shao, Yufei Jiang, Jun Zhang, Xuelong Li,
• Abstract要約: 本稿では,マルチモーダル理解のためのタスク指向特徴圧縮(TOFC)手法を提案する。 圧縮効率を向上させるために、視覚特徴の特性に基づいて複数のエントロピーモデルを適応的に選択する。 その結果,TOFCはデータ転送オーバヘッドの最大60%削減,システム遅延の50%削減を実現している。
• 参考スコア（独自算出の注目度）: 49.77734021302196
• License:
• Abstract: With the rapid development of large multimodal models (LMMs), multimodal understanding applications are emerging. As most LMM inference requests originate from edge devices with limited computational capabilities, the predominant inference pipeline involves directly forwarding the input data to an edge server which handles all computations. However, this approach introduces high transmission latency due to limited uplink bandwidth of edge devices and significant computation latency caused by the prohibitive number of visual tokens, thus hindering delay-sensitive tasks and degrading user experience. To address this challenge, we propose a task-oriented feature compression (TOFC) method for multimodal understanding in a device-edge co-inference framework, where visual features are merged by clustering and encoded by a learnable and selective entropy model before feature projection. Specifically, we employ density peaks clustering based on K nearest neighbors to reduce the number of visual features, thereby minimizing both data transmission and computational complexity. Subsequently, a learnable entropy model with hyperprior is utilized to encode and decode merged features, further reducing transmission overhead. To enhance compression efficiency, multiple entropy models are adaptively selected based on the characteristics of the visual features, enabling a more accurate estimation of the probability distribution. Comprehensive experiments on seven visual question answering benchmarks validate the effectiveness of the proposed TOFC method. Results show that TOFC achieves up to 60% reduction in data transmission overhead and 50% reduction in system latency while maintaining identical task performance, compared with traditional image compression methods.
• Abstract（参考訳）: 大規模マルチモーダルモデル(LMM)の急速な発展に伴い、マルチモーダル理解アプリケーションが登場しつつある。 ほとんどのLMM推論要求は、限られた計算能力を持つエッジデバイスに由来するため、主要な推論パイプラインは、すべての計算を処理するエッジサーバに直接入力データを転送する。 しかし、エッジデバイスのアップリンク帯域の制限や、視覚トークンの禁止による計算遅延の大幅な増加により、遅延に敏感なタスクが妨げられ、ユーザエクスペリエンスが低下する。 そこで我々は,マルチモーダル理解のためのタスク指向特徴圧縮(TOFC)手法を提案する。これにより,視覚的特徴をクラスタリングによってマージし,特徴投影の前に学習可能な選択エントロピーモデルによって符号化する。 具体的には、K近傍の近傍に集束する密度ピークを用いて、視覚的特徴の数を減らし、データ伝送と計算の複雑さを最小化する。 その後、ハイパープライアを持つ学習可能なエントロピーモデルを使用して、マージされた機能をエンコードし、デコードし、さらにトランスミッションオーバーヘッドを低減する。 圧縮効率を向上させるために、視覚特徴の特性に基づいて複数のエントロピーモデルを適応的に選択し、より正確な確率分布推定を可能にする。 7つの視覚的質問応答ベンチマークに関する総合的な実験により,提案手法の有効性が検証された。 その結果、従来の画像圧縮法と比較して、TOFCはデータ転送オーバーヘッドを最大60%削減し、システム遅延を50%削減し、同一のタスク性能を維持した。

関連論文リスト

• Towards Resource-Efficient Federated Learning in Industrial IoT for Multivariate Time Series Analysis [50.18156030818883]
  異常と欠落したデータは、産業応用における厄介な問題を構成する。 ディープラーニングによる異常検出が重要な方向として現れている。 エッジデバイスで収集されたデータは、ユーザのプライバシを含む。
  論文  参考訳（メタデータ） (2024-11-06T15:38:31Z)
• PAR: Prompt-Aware Token Reduction Method for Efficient Large Multimodal Models [32.33892531885448]
  MLLM(Multimodal large language model)は、視覚的タスクにまたがる強力なパフォーマンスを示す。 しかし、それらの効率は、マルチモーダル入力で長いコンテキストを処理することによる計算とメモリの要求によって妨げられている。 PAR(Prompt-Aware Token Reduction)は,モデルの性能を損なうことなく,視覚トークンを効率よく削減する新しい,プラグアンドプレイ方式である。
  論文  参考訳（メタデータ） (2024-10-09T07:13:22Z)
• Resource Management for Low-latency Cooperative Fine-tuning of Foundation Models at the Network Edge [35.40849522296486]
  大規模ファウンデーションモデル(FoMos)は、人間のような知性を実現することができる。 FoMosは微調整技術により、特定の下流タスクに適応する必要がある。 デバイスエッジ協調微調整パラダイムにおける多デバイス連携を提唱する。
  論文  参考訳（メタデータ） (2024-07-13T12:47:14Z)
• Efficient and Effective Deep Multi-view Subspace Clustering [9.6753782215283]
  E$2$MVSC(Efficient and Effective Deep Multi-View Subspace Clustering)と呼ばれる新しいディープフレームワークを提案する。 パラメータ化されたFC層の代わりに、より計算効率のよいサンプル数からネットワークパラメータスケールを分離するRelation-Metric Netを設計する。 E$2$MVSCは既存のメソッドに匹敵する結果を出し、様々なタイプのマルチビューデータセットで最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2023-10-15T03:08:25Z)
• Gradient Sparsification for Efficient Wireless Federated Learning with Differential Privacy [25.763777765222358]
  フェデレートラーニング(FL)により、分散クライアントは、生データを互いに共有することなく、機械学習モデルを協調的にトレーニングできる。 モデルのサイズが大きくなるにつれて、送信帯域の制限によるトレーニングのレイテンシが低下し、個人情報が劣化すると同時に、差分プライバシ(DP)保護を使用する。 我々は、収束性能を犠牲にすることなく、トレーニング効率を向上させるために、FLフレームワーク無線チャネルのスペース化を提案する。
  論文  参考訳（メタデータ） (2023-04-09T05:21:15Z)
• Efficient Graph Neural Network Inference at Large Scale [54.89457550773165]
  グラフニューラルネットワーク(GNN)は、幅広いアプリケーションで優れた性能を示している。 既存のスケーラブルなGNNは、線形伝搬を利用して特徴を前処理し、トレーニングと推論の手順を高速化する。 本稿では,そのトポロジ情報に基づいて各ノードに対してパーソナライズされた伝搬順序を生成する適応的伝搬順序法を提案する。
  論文  参考訳（メタデータ） (2022-11-01T14:38:18Z)
• Transformer-based Context Condensation for Boosting Feature Pyramids in Object Detection [77.50110439560152]
  現在の物体検出器は、通常マルチレベル特徴融合(MFF)のための特徴ピラミッド(FP)モジュールを持つ。 我々は,既存のFPがより優れたMFF結果を提供するのに役立つ,新しい,効率的なコンテキストモデリング機構を提案する。 特に,包括的文脈を2種類の表現に分解・凝縮して高効率化を図っている。
  論文  参考訳（メタデータ） (2022-07-14T01:45:03Z)
• An Adaptive Device-Edge Co-Inference Framework Based on Soft Actor-Critic [72.35307086274912]
  高次元パラメータモデルと大規模数学的計算は、特にIoT(Internet of Things)デバイスにおける実行効率を制限する。 本稿では,ソフトポリシーの繰り返しによるエフェキシット点,エフェキシット点,エンフェキシット点を生成する離散的(SAC-d)のための新しい深層強化学習(DRL)-ソフトアクタ批判法を提案する。 レイテンシと精度を意識した報酬設計に基づいて、そのような計算は動的無線チャンネルや任意の処理のような複雑な環境によく適応でき、5G URLをサポートすることができる。
  論文  参考訳（メタデータ） (2022-01-09T09:31:50Z)
• Communication-Computation Efficient Device-Edge Co-Inference via AutoML [4.06604174802643]
  デバイスエッジのコ推論は、リソース制約のあるモバイルデバイスとエッジサーバの間のディープニューラルネットワークを分割する。 オンデバイスモデルスパーシリティレベルと中間特徴圧縮比は、ワークロードと通信オーバーヘッドに直接的な影響を与える。 深部強化学習(DRL)に基づく新しい自動機械学習(AutoML)フレームワークを提案する。
  論文  参考訳（メタデータ） (2021-08-30T06:36:30Z)
• Low-Latency Federated Learning over Wireless Channels with Differential Privacy [142.5983499872664]
  フェデレートラーニング(FL)では、モデルトレーニングはクライアントに分散し、ローカルモデルは中央サーバによって集約される。 本稿では,各クライアントの差分プライバシ(DP)要件だけでなく,全体としてのトレーニング性能に制約された無線チャネル上でのFLトレーニング遅延を最小限に抑えることを目的とする。
  論文  参考訳（メタデータ） (2021-06-20T13:51:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。