論文の概要: On Error and Compression Rates for Prototype Rules

• arxiv url: http://arxiv.org/abs/2206.08014v1
• Date: Thu, 16 Jun 2022 09:15:15 GMT
• ステータス: 処理完了
• システム内更新日: 2022-06-18 06:37:08.175988
• Title: On Error and Compression Rates for Prototype Rules
• Title（参考訳）: プロトタイプルールの誤差と圧縮率について
• Authors: Omer Kerem and Roi Weiss
• Abstract要約: 非パラメトリックなマルチクラス分類設定における誤りと圧縮の相互作用について検討する。 まず、OptiNetは、最小値の最適誤差率に近づきながら、非自明な圧縮率を達成することを示す。 続いて、プロトタイプルールをさらに圧縮するための新しい汎用圧縮スキームの研究を進める。
• 参考スコア（独自算出の注目度）: 1.116812194101501
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We study the close interplay between error and compression in the non-parametric multiclass classification setting in terms of prototype learning rules. We focus in particular on a close variant of a recently proposed compression-based learning rule termed OptiNet. Beyond its computational merits, this rule has been recently shown to be universally consistent in any metric instance space that admits a universally consistent rule -- the first learning algorithm known to enjoy this property. However, its error and compression rates have been left open. Here we derive such rates in the case where instances reside in Euclidean space under commonly posed smoothness and tail conditions on the data distribution. We first show that OptiNet achieves non-trivial compression rates while enjoying near minimax-optimal error rates. We then proceed to study a novel general compression scheme for further compressing prototype rules that locally adapts to the noise level without sacrificing accuracy. Applying it to OptiNet, we show that under a geometric margin condition, further gain in the compression rate is achieved. Experimental results comparing the performance of the various methods are presented.
• Abstract（参考訳）: 本研究では,非パラメトリックな多クラス分類設定における誤りと圧縮の密接な相互作用を,プロトタイプ学習ルールの観点から検討する。 特に,最近提案されている圧縮ベースの学習規則optinetの近種に注目する。 計算のメリット以外にも、このルールは、普遍的に一貫性のあるルール(この性質を享受した最初の学習アルゴリズム)を許容する任意の計量インスタンス空間において、普遍的に一貫性があることが最近示されている。 しかし、エラーと圧縮率は未解決のままである。 ここでは、ユークリッド空間のインスタンスが、一般にデータ分布の滑らかさと尾の条件を示す場合のそのような速度を導出する。 まず、OptiNetは、最小値の誤差率に近づきながら、非自明な圧縮率を達成することを示す。 そこで我々は,精度を犠牲にすることなく,騒音レベルに局所的に適応するプロトタイプルールをさらに圧縮するための新しい汎用圧縮方式の研究を進める。 OptiNetに適用すると、幾何学的マージン条件下では、圧縮率がさらに向上することを示す。 各種手法の性能を比較する実験結果を示す。

関連論文リスト

• Neural Normalized Compression Distance and the Disconnect Between Compression and Classification [42.98054061480037]
  我々はNeural NCDを開発し、LLMをgzipのような古典的な汎用アルゴリズムと比較する。 分類精度は圧縮速度だけでは予測できない。 我々の結果は、ニューラルネットワークが圧縮する意味に関する我々の直感が、まだよく理解されていないことを示唆している」。
  論文  参考訳（メタデータ） (2024-10-20T04:31:56Z)
• Differential error feedback for communication-efficient decentralized learning [48.924131251745266]
  本稿では,差分量子化と誤りフィードバックをブレンドする分散通信効率学習手法を提案する。 その結果,平均二乗誤差と平均ビットレートの両面において通信効率が安定であることが示唆された。 その結果、小さなステップサイズで有限ビットの場合には、圧縮がない場合に達成可能な性能が得られることが判明した。
  論文  参考訳（メタデータ） (2024-06-26T15:11:26Z)
• Flattened one-bit stochastic gradient descent: compressed distributed optimization with controlled variance [55.01966743652196]
  パラメータ・サーバ・フレームワークにおける圧縮勾配通信を用いた分散勾配降下(SGD)のための新しいアルゴリズムを提案する。 平坦な1ビット勾配勾配勾配法(FO-SGD)は2つの単純なアルゴリズムの考え方に依存している。
  論文  参考訳（メタデータ） (2024-05-17T21:17:27Z)
• Compression with Exact Error Distribution for Federated Learning [33.74795273515338]
  正確な誤差分布を達成するための層状量子化器に基づいて,異なるアグリゲーション方式を提案し,解析する。 提案手法を応用して,差分プライバシアプリケーションにおける圧縮自由化を実現する。
  論文  参考訳（メタデータ） (2023-10-31T17:48:22Z)
• Optimal Compression of Unit Norm Vectors in the High Distortion Regime [30.6205706348233]
  本稿では,単位ノルムベクトルを最小ビット数に圧縮する手法について検討する。 本研究は, バイアス圧縮法と非バイアス圧縮法の両方を考察し, 最適圧縮率を決定する。 結果は新しいものと既知のものが混在しているが、完全性のためにこの論文にまとめられている。
  論文  参考訳（メタデータ） (2023-07-16T04:23:57Z)
• Unrolled Compressed Blind-Deconvolution [77.88847247301682]
  sparse multi channel blind deconvolution (S-MBD) はレーダー/ソナー/超音波イメージングなどの多くの工学的応用で頻繁に発生する。 そこで本研究では,受信した全信号に対して,はるかに少ない測定値からブラインドリカバリを可能にする圧縮手法を提案する。
  論文  参考訳（メタデータ） (2022-09-28T15:16:58Z)
• Lower Bounds and Nearly Optimal Algorithms in Distributed Learning with Communication Compression [33.217552987061474]
  通信圧縮は、通信を減らす最も効果的な方法の1つである。 分散最適化と学習の最近の進歩は、通信圧縮が通信を減らす最も効果的な方法の1つであることを示している。
  論文  参考訳（メタデータ） (2022-06-08T03:36:34Z)
• Learning, compression, and leakage: Minimising classification error via meta-universal compression principles [87.054014983402]
  学習シナリオのための圧縮技法の有望なグループは、正規化極大(NML)符号化である。 ここでは,教師付き分類問題に対するNMLに基づく意思決定戦略を検討し,多種多様なモデルに適用した場合にPAC学習を実現することを示す。 本手法の誤分類率は,プライバシに敏感なシナリオにおいて,データ漏洩の可能性を定量化するための指標である最大リークによって上限づけられていることを示す。
  論文  参考訳（メタデータ） (2020-10-14T20:03:58Z)
• Linear Convergent Decentralized Optimization with Compression [50.44269451541387]
  圧縮を伴う既存の分散アルゴリズムは主にDGD型アルゴリズムの圧縮に焦点を当てている。 原始双対アルゴリズムによって動機付けられた本論文は、最初のアンダーラインLinunderlineEAr収束を提案する。 underline Decentralized with compression, LEAD。
  論文  参考訳（メタデータ） (2020-07-01T04:35:00Z)
• On Compression Principle and Bayesian Optimization for Neural Networks [0.0]
  本稿では,全てのデータとモデル定義の合計圧縮メッセージ長を最小化しつつ,デオードビリティを保証しながら,最適な予測モデルを提案する圧縮原理を提案する。 圧縮原理によって要求される最適ネットワーク次元を求めることができる連続的な次元削減にドロップアウトが利用できることを示す。
  論文  参考訳（メタデータ） (2020-06-23T03:23:47Z)
• On Biased Compression for Distributed Learning [55.89300593805943]
  バイアス圧縮機が単一ノードと分散設定の両方において線形収束率をもたらすことを初めて示す。 理論的保証と実用性能を期待できる新しいバイアス圧縮機を提案する。
  論文  参考訳（メタデータ） (2020-02-27T19:52:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。