論文の概要: Optimal Compression of Unit Norm Vectors in the High Distortion Regime

• arxiv url: http://arxiv.org/abs/2307.07941v2
• Date: Mon, 5 Feb 2024 01:13:48 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-07 05:54:04.109111
• Title: Optimal Compression of Unit Norm Vectors in the High Distortion Regime
• Title（参考訳）: 高歪レジームにおける単位ノルムベクトルの最適圧縮
• Authors: Heng Zhu, Avishek Ghosh, Arya Mazumdar
• Abstract要約: 本稿では,単位ノルムベクトルを最小ビット数に圧縮する手法について検討する。 本研究は, バイアス圧縮法と非バイアス圧縮法の両方を考察し, 最適圧縮率を決定する。 結果は新しいものと既知のものが混在しているが、完全性のためにこの論文にまとめられている。
• 参考スコア（独自算出の注目度）: 30.6205706348233
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Motivated by the need for communication-efficient distributed learning, we investigate the method for compressing a unit norm vector into the minimum number of bits, while still allowing for some acceptable level of distortion in recovery. This problem has been explored in the rate-distortion/covering code literature, but our focus is exclusively on the "high-distortion" regime. We approach this problem in a worst-case scenario, without any prior information on the vector, but allowing for the use of randomized compression maps. Our study considers both biased and unbiased compression methods and determines the optimal compression rates. It turns out that simple compression schemes are nearly optimal in this scenario. While the results are a mix of new and known, they are compiled in this paper for completeness.
• Abstract（参考訳）: 通信効率の高い分散学習の必要性に動機づけられて,単位ノルムベクトルを最小ビット数に圧縮する方法を検討した。 この問題は、率歪み/カバレッジコード文学において検討されてきたが、我々の焦点は「高歪」体制に限られている。 我々は,ベクトルに関する事前情報を得ることなく,ランダム化圧縮マップを使用可能な,最悪のシナリオでこの問題にアプローチする。 本研究は, バイアス圧縮法と非バイアス圧縮法の両方を考察し, 最適圧縮率を決定する。 このシナリオでは、単純な圧縮スキームがほぼ最適であることがわかった。 結果は新しいものと既知のものが混在しているが、完全性のためにこの論文にまとめられている。

関連論文リスト

• Unrolled Compressed Blind-Deconvolution [77.88847247301682]
  sparse multi channel blind deconvolution (S-MBD) はレーダー/ソナー/超音波イメージングなどの多くの工学的応用で頻繁に発生する。 そこで本研究では,受信した全信号に対して,はるかに少ない測定値からブラインドリカバリを可能にする圧縮手法を提案する。
  論文  参考訳（メタデータ） (2022-09-28T15:16:58Z)
• Shifted Compression Framework: Generalizations and Improvements [2.2147691173934967]
  コミュニケーションは、大規模な機械学習モデルの分散トレーニングにおける重要なボトルネックの1つだ。 勾配やモデルのような交換された情報のロッシー圧縮は、この問題を緩和する最も効果的な手段の1つである。
  論文  参考訳（メタデータ） (2022-06-21T15:00:04Z)
• On Error and Compression Rates for Prototype Rules [1.116812194101501]
  非パラメトリックなマルチクラス分類設定における誤りと圧縮の相互作用について検討する。 まず、OptiNetは、最小値の最適誤差率に近づきながら、非自明な圧縮率を達成することを示す。 続いて、プロトタイプルールをさらに圧縮するための新しい汎用圧縮スキームの研究を進める。
  論文  参考訳（メタデータ） (2022-06-16T09:15:15Z)
• EF-BV: A Unified Theory of Error Feedback and Variance Reduction Mechanisms for Biased and Unbiased Compression in Distributed Optimization [7.691755449724637]
  分散最適化と学習では、異なるコンピュータユニット間の通信がボトルネックとなることが多い。 圧縮演算子には2つのクラスがあり、それを利用するアルゴリズムは別々である。 本稿では,特にDIANAとEF21を復元する新しいアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-05-09T10:44:23Z)
• Estimating the Resize Parameter in End-to-end Learned Image Compression [50.20567320015102]
  本稿では,最近の画像圧縮モデルの速度歪みトレードオフをさらに改善する検索自由化フレームワークについて述べる。 提案手法により,Bjontegaard-Deltaレート(BD-rate)を最大10%向上させることができる。
  論文  参考訳（メタデータ） (2022-04-26T01:35:02Z)
• Distributed Methods with Absolute Compression and Error Compensation [1.52292571922932]
  コミュニケーション圧縮はこの問題を緩和するための強力なアプローチである。 本稿では,任意のサンプリング戦略に対する絶対圧縮によるEC-SGDの解析を一般化する。 この設定では、以前知られていたものよりも私たちのレートが向上します。
  論文  参考訳（メタデータ） (2022-03-04T15:41:14Z)
• Implicit Neural Representations for Image Compression [103.78615661013623]
  Inlicit Neural Representations (INRs) は、様々なデータ型の新規かつ効果的な表現として注目されている。 量子化、量子化を考慮した再学習、エントロピー符号化を含むINRに基づく最初の包括的圧縮パイプラインを提案する。 我々は、INRによるソース圧縮に対する我々のアプローチが、同様の以前の作業よりも大幅に優れていることに気付きました。
  論文  参考訳（メタデータ） (2021-12-08T13:02:53Z)
• Compressing Neural Networks: Towards Determining the Optimal Layer-wise Decomposition [62.41259783906452]
  本稿では,ディープニューラルネットワークのための新しいグローバル圧縮フレームワークを提案する。 各層を自動的に解析し、最適な層間圧縮比を特定する。 我々の結果は、現代のニューラルネットワークのグローバルなパフォーマンス-サイズトレードオフに関する将来の研究のための新たな道を開く。
  論文  参考訳（メタデータ） (2021-07-23T20:01:30Z)
• Towards Compact CNNs via Collaborative Compression [166.86915086497433]
  チャネルプルーニングとテンソル分解を結合してCNNモデルを圧縮する協調圧縮方式を提案する。 52.9%のFLOPを削減し、ResNet-50で48.4%のパラメータを削除しました。
  論文  参考訳（メタデータ） (2021-05-24T12:07:38Z)
• Unfolding Neural Networks for Compressive Multichannel Blind Deconvolution [71.29848468762789]
  圧縮性多チャネルブラインドデコンボリューション問題に対する学習構造付き展開型ニューラルネットワークを提案する。 この問題では、各チャネルの測定は共通のソース信号とスパースフィルタの畳み込みとして与えられる。 提案手法は,従来の圧縮型マルチチャネルブラインドデコンボリューション法よりも,スパースフィルタの精度と高速化の点で優れていることを示す。
  論文  参考訳（メタデータ） (2020-10-22T02:34:33Z)
• Uncertainty Principle for Communication Compression in Distributed and Federated Learning and the Search for an Optimal Compressor [5.09755285351264]
  我々は,ベクトルのカシン表現にインスパイアされた非バイアス圧縮法を考察し,これをエムカシン圧縮(KC)と呼ぶ。 KC は、各ベクトルエントリごとに数ビットしか通信する必要のない状態であっても、明示的な公式を導出するエム次元独立分散境界を享受する。
  論文  参考訳（メタデータ） (2020-02-20T17:20:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。