論文の概要: Distributed and Rate-Adaptive Feature Compression

• arxiv url: http://arxiv.org/abs/2404.02179v1
• Date: Tue, 2 Apr 2024 03:21:06 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-04 21:38:27.817807
• Title: Distributed and Rate-Adaptive Feature Compression
• Title（参考訳）: 分散・レート適応型特徴圧縮
• Authors: Aditya Deshmukh, Venugopal V. Veeravalli, Gunjan Verma,
• Abstract要約: 線形回帰に対する分散・レート適応的特徴圧縮の問題点について検討する。 本稿では,センサデータの1次元投影を定量化する分散圧縮方式を提案する。 また,通信制約の変化に対処する簡単な適応方式を提案する。
• 参考スコア（独自算出の注目度）: 25.36842869638915
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We study the problem of distributed and rate-adaptive feature compression for linear regression. A set of distributed sensors collect disjoint features of regressor data. A fusion center is assumed to contain a pretrained linear regression model, trained on a dataset of the entire uncompressed data. At inference time, the sensors compress their observations and send them to the fusion center through communication-constrained channels, whose rates can change with time. Our goal is to design a feature compression {scheme} that can adapt to the varying communication constraints, while maximizing the inference performance at the fusion center. We first obtain the form of optimal quantizers assuming knowledge of underlying regressor data distribution. Under a practically reasonable approximation, we then propose a distributed compression scheme which works by quantizing a one-dimensional projection of the sensor data. We also propose a simple adaptive scheme for handling changes in communication constraints. We demonstrate the effectiveness of the distributed adaptive compression scheme through simulated experiments.
• Abstract（参考訳）: 線形回帰に対する分散・レート適応的特徴圧縮の問題点について検討する。 分散センサの集合は、回帰器データの解離した特徴を収集する。 核融合センターは、非圧縮データ全体のデータセットに基づいて訓練された事前訓練された線形回帰モデルを含むと仮定される。 推定時、センサーは観測結果を圧縮し、通信に制約のあるチャネルを通じて融合センターに送り、その速度は時間とともに変化する。 我々のゴールは、融合センターでの推論性能を最大化しつつ、様々な通信制約に適応できる特徴圧縮(scheme)を設計することである。 まず、下層の回帰器データ分布の知識を仮定した最適な定量化器の形式を得る。 そこで本研究では,センサデータの1次元投影を定量化する分散圧縮方式を提案する。 また,通信制約の変化に対処する簡単な適応方式を提案する。 シミュレーション実験により分散適応圧縮方式の有効性を示す。

関連論文リスト

• Collaborative Heterogeneous Causal Inference Beyond Meta-analysis [68.4474531911361]
  異種データを用いた因果推論のための協調的逆確率スコア推定器を提案する。 異質性の増加に伴うメタアナリシスに基づく手法に対して,本手法は有意な改善を示した。
  論文  参考訳（メタデータ） (2024-04-24T09:04:36Z)
• Compression of Structured Data with Autoencoders: Provable Benefit of Nonlinearities and Depth [83.15263499262824]
  勾配勾配勾配は入力のスパース構造を完全に無視する解に収束することを示す。 浅層構造にデノナイジング関数を付加することにより,スパースデータの圧縮におけるガウス性能の改善方法を示す。 CIFAR-10 や MNIST などの画像データセットに対して,本研究の成果を検証した。
  論文  参考訳（メタデータ） (2024-02-07T16:32:29Z)
• Distributed Variational Inference for Online Supervised Learning [15.038649101409804]
  本稿では,スケーラブルな分散確率的推論アルゴリズムを提案する。 センサネットワークにおける連続変数、難解な後部データ、大規模リアルタイムデータに適用できる。
  論文  参考訳（メタデータ） (2023-09-05T22:33:02Z)
• Compressed Regression over Adaptive Networks [58.79251288443156]
  分散エージェントのネットワークによって達成可能な性能を導出し,通信制約や回帰問題を解消し,適応的に解決する。 エージェントによって最適化に必要なパラメータをオンラインで学習できる最適化アロケーション戦略を考案する。
  論文  参考訳（メタデータ） (2023-04-07T13:41:08Z)
• Data-Efficient Collaborative Decentralized Thermal-Inertial Odometry [37.23164397188061]
  本研究では,空飛ぶロボットのチームに対して,データ効率,分散状態推定を実現するシステムを提案する。 各ロボットは独立して飛行し、可能な限りデータを交換して状態を推定する。 提案手法は, 個人エージェントのアプローチにより, 最大46%の軌道推定精度が向上することを示した。
  論文  参考訳（メタデータ） (2022-09-14T12:13:36Z)
• Unified Multivariate Gaussian Mixture for Efficient Neural Image Compression [151.3826781154146]
  先行変数と超優先度を持つ潜伏変数は、変動画像圧縮において重要な問題である。 ベクトル化された視点で潜伏変数を観察する際、相関関係や相関関係は存在する。 当社のモデルでは、速度歪曲性能が向上し、圧縮速度が3.18倍に向上した。
  論文  参考訳（メタデータ） (2022-03-21T11:44:17Z)
• Lossy Gradient Compression: How Much Accuracy Can One Bit Buy? [17.907068248604755]
  モデル更新の圧縮のための量化器の設計のための歪み尺度のクラスを提案する。 本稿では、ディープニューラルネットワーク(DNN)の分散トレーニングにおいて、この疑問に答えるために、レート歪みのアプローチをとる。
  論文  参考訳（メタデータ） (2022-02-06T16:29:00Z)
• Communication-Compressed Adaptive Gradient Method for Distributed Nonconvex Optimization [21.81192774458227]
  主なボトルネックの1つは、中央サーバとローカルワーカーの間の通信コストが大きいことである。 提案する分散学習フレームワークは,効果的な勾配勾配圧縮戦略を特徴とする。
  論文  参考訳（メタデータ） (2021-11-01T04:54:55Z)
• Compressing gradients by exploiting temporal correlation in momentum-SGD [17.995905582226463]
  エラーフィードバックのないシステムにおける時間相関を利用した圧縮手法を解析する。 ImageNetデータセットを用いた実験により,提案手法は通信速度を著しく低減することを示した。 我々は、最小勾配ノルムの有界性を確立することにより、予測誤差仮定の下でSGDの収束を証明した。
  論文  参考訳（メタデータ） (2021-08-17T18:04:06Z)
• A Linearly Convergent Algorithm for Decentralized Optimization: Sending Less Bits for Free! [72.31332210635524]
  分散最適化手法は、中央コーディネータを使わずに、機械学習モデルのデバイス上でのトレーニングを可能にする。 ランダム化圧縮演算子を適用し,通信ボトルネックに対処する新しいランダム化一階法を提案する。 本手法は,ベースラインに比べて通信数の増加を伴わずに問題を解くことができることを示す。
  論文  参考訳（メタデータ） (2020-11-03T13:35:53Z)
• Unfolding Neural Networks for Compressive Multichannel Blind Deconvolution [71.29848468762789]
  圧縮性多チャネルブラインドデコンボリューション問題に対する学習構造付き展開型ニューラルネットワークを提案する。 この問題では、各チャネルの測定は共通のソース信号とスパースフィルタの畳み込みとして与えられる。 提案手法は,従来の圧縮型マルチチャネルブラインドデコンボリューション法よりも,スパースフィルタの精度と高速化の点で優れていることを示す。
  論文  参考訳（メタデータ） (2020-10-22T02:34:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。