論文の概要: Remote Inference over Dynamic Links via Adaptive Rate Deep Task-Oriented Vector Quantization

• arxiv url: http://arxiv.org/abs/2501.02521v1
• Date: Sun, 05 Jan 2025 12:38:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-07 17:06:25.875262
• Title: Remote Inference over Dynamic Links via Adaptive Rate Deep Task-Oriented Vector Quantization
• Title（参考訳）: Adaptive Rate Deep Task-Oriented Vector Quantizationによる動的リンク上のリモート推論
• Authors: Eyal Fishel, May Malka, Shai Ginzach, Nir Shlezinger,
• Abstract要約: 本稿では、動的リンク上のリモート推論に適した学習圧縮機構である適応レートタスク指向ベクトル量子化(ARTOVeQ)を提案する。 我々は、ARTOVeQが連続的な改良原理によって徐々に洗練される低レイテンシ推論をサポートするように拡張されていることを示す。 数値的な結果から,提案手法は複数のレートで動作し,幅広いビット予算をサポートする遠隔深部推論を実現し,より多くのビットを交換して徐々に改善する高速推論を容易にする。
• 参考スコア（独自算出の注目度）: 24.064287427162345
• License:
• Abstract: A broad range of technologies rely on remote inference, wherein data acquired is conveyed over a communication channel for inference in a remote server. Communication between the participating entities is often carried out over rate-limited channels, necessitating data compression for reducing latency. While deep learning facilitates joint design of the compression mapping along with encoding and inference rules, existing learned compression mechanisms are static, and struggle in adapting their resolution to changes in channel conditions and to dynamic links. To address this, we propose Adaptive Rate Task-Oriented Vector Quantization (ARTOVeQ), a learned compression mechanism that is tailored for remote inference over dynamic links. ARTOVeQ is based on designing nested codebooks along with a learning algorithm employing progressive learning. We show that ARTOVeQ extends to support low-latency inference that is gradually refined via successive refinement principles, and that it enables the simultaneous usage of multiple resolutions when conveying high-dimensional data. Numerical results demonstrate that the proposed scheme yields remote deep inference that operates with multiple rates, supports a broad range of bit budgets, and facilitates rapid inference that gradually improves with more bits exchanged, while approaching the performance of single-rate deep quantization methods.
• Abstract（参考訳）: 幅広い技術がリモート推論に依存しており、取得したデータはリモートサーバでの推論のために通信チャネルを介して転送される。 参加するエンティティ間の通信はレート制限されたチャネル上で行われることが多く、レイテンシを低減するためにデータ圧縮が必要となる。 深層学習は符号化と推論規則とともに圧縮マッピングの結合設計を促進するが、既存の学習圧縮機構は静的であり、チャネル条件の変化や動的リンクへの適応に苦慮している。 これを解決するために,動的リンク上のリモート推論に適した学習圧縮機構であるAdaptive Rate Task-Oriented Vector Quantization (ARTOVeQ)を提案する。 ARTOVeQは、ネストしたコードブックの設計と、プログレッシブラーニングを利用した学習アルゴリズムに基づいている。 我々はARTOVeQが連続的な改良原理によって徐々に洗練される低レイテンシ推論をサポートするように拡張され、高次元データを伝送する際に複数の解像度を同時に使用できることを示す。 提案手法は,複数のレートで動作し,幅広いビット予算をサポートする遠隔深部推論を実現し,より多くのビットを交換して徐々に改善し,シングルレートの深部量子化手法の性能にアプローチする。

関連論文リスト

• Causal Context Adjustment Loss for Learned Image Compression [72.7300229848778]
  近年,学習画像圧縮(lic)技術は,特にRD性能の点で従来の手法を上回りつつある。 現在の技術のほとんどは、自己回帰エントロピーモデルを備えたVAEベースで、デコードされた因果コンテキストを利用してRD性能を向上する。 本稿では,提案した因果文脈調整損失を用いて因果文脈を的確に調整する方法を初めて検討する。
  論文  参考訳（メタデータ） (2024-10-07T09:08:32Z)
• Differentiable Resolution Compression and Alignment for Efficient Video Classification and Retrieval [16.497758750494537]
  本稿では,高解像度圧縮・アライメント機構を備えた効率的な映像表現ネットワークを提案する。 我々は、相性および非相性フレーム特徴を符号化するために、微分可能なコンテキスト対応圧縮モジュールを利用する。 我々は,異なる解像度のフレーム特徴間のグローバル時間相関を捉えるために,新しい解像度変換器層を導入する。
  論文  参考訳（メタデータ） (2023-09-15T05:31:53Z)
• Adaptive Discrete Communication Bottlenecks with Dynamic Vector Quantization [76.68866368409216]
  入力に条件付けされた離散化の厳密度を動的に選択する学習を提案する。 コミュニケーションボトルネックの動的に変化する厳密さは、視覚的推論や強化学習タスクにおけるモデル性能を向上させることができることを示す。
  論文  参考訳（メタデータ） (2022-02-02T23:54:26Z)
• Wideband and Entropy-Aware Deep Soft Bit Quantization [1.7259824817932292]
  広帯域チャネル間のソフトビット量子化のための新しいディープラーニングソリューションを提案する。 本手法は、損失関数に対する量子化およびエントロピー対応の強化により、エンドツーエンドで訓練される。 提案手法は,従来の最先端手法と比較して,高SNR方式で最大10 %の圧縮ゲインを実現する。
  論文  参考訳（メタデータ） (2021-10-18T18:00:05Z)
• Remote Multilinear Compressive Learning with Adaptive Compression [107.87219371697063]
  MultiIoT Compressive Learning (MCL)は、多次元信号に対する効率的な信号取得および学習パラダイムである。 MCLモデルにそのような機能を実現するための新しい最適化手法を提案する。
  論文  参考訳（メタデータ） (2021-09-02T19:24:03Z)
• CCVS: Context-aware Controllable Video Synthesis [95.22008742695772]
  プレゼンテーションでは、古いビデオクリップから新しいビデオクリップを合成するための自己教師付き学習アプローチを紹介している。 時間的連続性のための文脈情報と微妙な制御のための補助情報に基づいて合成過程を規定する。
  論文  参考訳（メタデータ） (2021-07-16T17:57:44Z)
• Efficient Distributed Auto-Differentiation [22.192220404846267]
  大規模ディープニューラルネットワーク(DNN)をトレーニングするための勾配ベースのアルゴリズムは通信量が多い。 グラデーションよりもコミュニケーションにやさしい分散型DNNをトレーニングするための驚くほど単純な統計を紹介します。 このプロセスは、バックプロパゲーション中のグラデーション平均の柔軟性を提供し、新しい柔軟なトレーニングスキーマを可能にします。
  論文  参考訳（メタデータ） (2021-02-18T21:46:27Z)
• Learning Task-Oriented Communication for Edge Inference: An Information Bottleneck Approach [3.983055670167878]
  ローエンドエッジ装置は、ローカルデータサンプルの抽出された特徴ベクトルを強力なエッジサーバに送信して処理する。 帯域幅が限られているため、データを低遅延推論のための情報的かつコンパクトな表現に符号化することが重要である。 特徴抽出,ソース符号化,チャネル符号化を協調的に最適化する学習型通信方式を提案する。
  論文  参考訳（メタデータ） (2021-02-08T12:53:32Z)
• Solving Sparse Linear Inverse Problems in Communication Systems: A Deep Learning Approach With Adaptive Depth [51.40441097625201]
  疎信号回復問題に対するエンドツーエンドの訓練可能なディープラーニングアーキテクチャを提案する。 提案手法は,出力するレイヤ数を学習し,各タスクのネットワーク深さを推論フェーズで動的に調整する。
  論文  参考訳（メタデータ） (2020-10-29T06:32:53Z)
• A Variational Information Bottleneck Based Method to Compress Sequential Networks for Human Action Recognition [9.414818018857316]
  本稿では,人間行動認識(HAR)に用いるリカレントニューラルネットワーク(RNN)を効果的に圧縮する手法を提案する。 変分情報ボトルネック(VIB)理論に基づくプルーニング手法を用いて,RNNの逐次セルを流れる情報の流れを小さなサブセットに制限する。 我々は、圧縮を大幅に改善する特定のグループ・ラッソ正規化手法とプルーニング手法を組み合わせる。 提案手法は,UCF11上での動作認識の精度に比較して,最も近い競合に比べて70倍以上の圧縮を実現する。
  論文  参考訳（メタデータ） (2020-10-03T12:41:51Z)
• PowerGossip: Practical Low-Rank Communication Compression in Decentralized Deep Learning [62.440827696638664]
  本稿では,近隣労働者間のモデル差を直接圧縮する簡単なアルゴリズムを提案する。 中央集権的なディープラーニングのためにPowerSGDにインスパイアされたこのアルゴリズムは、パワーステップを使用して、1ビットあたりの転送情報を最大化する。
  論文  参考訳（メタデータ） (2020-08-04T09:14:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。