論文の概要: Neural Normalized Compression Distance and the Disconnect Between Compression and Classification

• arxiv url: http://arxiv.org/abs/2410.15280v1
• Date: Sun, 20 Oct 2024 04:31:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-22 13:20:59.189343
• Title: Neural Normalized Compression Distance and the Disconnect Between Compression and Classification
• Title（参考訳）: ニューラルノーマライズド圧縮距離と圧縮と分類の切り離し
• Authors: John Hurwitz, Charles Nicholas, Edward Raff,
• Abstract要約: 我々はNeural NCDを開発し、LLMをgzipのような古典的な汎用アルゴリズムと比較する。 分類精度は圧縮速度だけでは予測できない。 我々の結果は、ニューラルネットワークが圧縮する意味に関する我々の直感が、まだよく理解されていないことを示唆している」。
• 参考スコア（独自算出の注目度）: 42.98054061480037
• License:
• Abstract: It is generally well understood that predictive classification and compression are intrinsically related concepts in information theory. Indeed, many deep learning methods are explained as learning a kind of compression, and that better compression leads to better performance. We interrogate this hypothesis via the Normalized Compression Distance (NCD), which explicitly relies on compression as the means of measuring similarity between sequences and thus enables nearest-neighbor classification. By turning popular large language models (LLMs) into lossless compressors, we develop a Neural NCD and compare LLMs to classic general-purpose algorithms like gzip. In doing so, we find that classification accuracy is not predictable by compression rate alone, among other empirical aberrations not predicted by current understanding. Our results imply that our intuition on what it means for a neural network to ``compress'' and what is needed for effective classification are not yet well understood.
• Abstract（参考訳）: 予測的分類と圧縮は、情報理論において本質的に関連する概念であると一般的に理解されている。 実際、多くのディープラーニング手法は、ある種の圧縮を学習するものとして説明され、より良い圧縮によってパフォーマンスが向上する。 我々は、この仮説を正規化圧縮距離(NCD)を介して疑問視する。これは、列間の類似性を測定する手段として圧縮に明示的に依存し、最も近い隣の分類を可能にする。 一般的な大言語モデル(LLM)を損失のない圧縮機にすることで、ニューラルNCDを開発し、LLMをgzipのような古典的な汎用アルゴリズムと比較する。 そこで, 圧縮速度だけでは分類精度が予測できないこと, 現状の理解では予測できない経験的収差などを見出した。 以上の結果から,ニューラルネットワークが「圧縮」する意味や効果的な分類に必要な意味について,我々の直感がまだよく理解されていないことが示唆された。

関連論文リスト

• AlphaZip: Neural Network-Enhanced Lossless Text Compression [0.0]
  本稿では,Large Language Model (LLM) を用いたロスレステキスト圧縮手法を提案する。 第一に、トランスフォーマーブロックのような高密度ニューラルネットワークアーキテクチャを使用した予測、第二に、予測ランクをAdaptive Huffman、LZ77、Gzipといった標準的な圧縮アルゴリズムで圧縮する。
  論文  参考訳（メタデータ） (2024-09-23T14:21:06Z)
• Order of Compression: A Systematic and Optimal Sequence to Combinationally Compress CNN [5.25545980258284]
  本稿では,複数の圧縮手法を最も効率的な順序で適用するための,体系的かつ最適なシーケンスを提案する。 提案手法では,ResNet34の計算コストを最大859倍に削減する。 我々は, モデル圧縮の行程をシンプルかつ効果的に探索することで, モデル圧縮の実践に光を当てることができると考えている。
  論文  参考訳（メタデータ） (2024-03-26T07:26:00Z)
• Activations and Gradients Compression for Model-Parallel Training [85.99744701008802]
  モデル並列分散トレーニングセットアップにおけるアクティベーションと勾配の同時圧縮が収束に与える影響について検討する。 グラデーションはアクティベーションよりも軽度な圧縮速度を必要とする。 実験では、TopKでトレーニングされたモデルが、推論中に圧縮も適用された場合にのみ正常に動作することが示されている。
  論文  参考訳（メタデータ） (2024-01-15T15:54:54Z)
• Optimal Compression of Unit Norm Vectors in the High Distortion Regime [30.6205706348233]
  本稿では,単位ノルムベクトルを最小ビット数に圧縮する手法について検討する。 本研究は, バイアス圧縮法と非バイアス圧縮法の両方を考察し, 最適圧縮率を決定する。 結果は新しいものと既知のものが混在しているが、完全性のためにこの論文にまとめられている。
  論文  参考訳（メタデータ） (2023-07-16T04:23:57Z)
• Implicit Neural Representations for Image Compression [103.78615661013623]
  Inlicit Neural Representations (INRs) は、様々なデータ型の新規かつ効果的な表現として注目されている。 量子化、量子化を考慮した再学習、エントロピー符号化を含むINRに基づく最初の包括的圧縮パイプラインを提案する。 我々は、INRによるソース圧縮に対する我々のアプローチが、同様の以前の作業よりも大幅に優れていることに気付きました。
  論文  参考訳（メタデータ） (2021-12-08T13:02:53Z)
• Towards Compact CNNs via Collaborative Compression [166.86915086497433]
  チャネルプルーニングとテンソル分解を結合してCNNモデルを圧縮する協調圧縮方式を提案する。 52.9%のFLOPを削減し、ResNet-50で48.4%のパラメータを削除しました。
  論文  参考訳（メタデータ） (2021-05-24T12:07:38Z)
• Optimal Gradient Compression for Distributed and Federated Learning [9.711326718689492]
  分散学習における計算ノード間の通信は、通常避けられない負担である。 通信効率の訓練アルゴリズムの最近の進歩は、圧縮技術を用いてボトルネックを減らしている。 本稿では,圧縮ベクトルの符号化に必要なビット数と圧縮誤差との基本的なトレードオフについて検討する。
  論文  参考訳（メタデータ） (2020-10-07T07:58:59Z)
• PowerGossip: Practical Low-Rank Communication Compression in Decentralized Deep Learning [62.440827696638664]
  本稿では,近隣労働者間のモデル差を直接圧縮する簡単なアルゴリズムを提案する。 中央集権的なディープラーニングのためにPowerSGDにインスパイアされたこのアルゴリズムは、パワーステップを使用して、1ビットあたりの転送情報を最大化する。
  論文  参考訳（メタデータ） (2020-08-04T09:14:52Z)
• Linear Convergent Decentralized Optimization with Compression [50.44269451541387]
  圧縮を伴う既存の分散アルゴリズムは主にDGD型アルゴリズムの圧縮に焦点を当てている。 原始双対アルゴリズムによって動機付けられた本論文は、最初のアンダーラインLinunderlineEAr収束を提案する。 underline Decentralized with compression, LEAD。
  論文  参考訳（メタデータ） (2020-07-01T04:35:00Z)
• Uncertainty Principle for Communication Compression in Distributed and Federated Learning and the Search for an Optimal Compressor [5.09755285351264]
  我々は,ベクトルのカシン表現にインスパイアされた非バイアス圧縮法を考察し,これをエムカシン圧縮(KC)と呼ぶ。 KC は、各ベクトルエントリごとに数ビットしか通信する必要のない状態であっても、明示的な公式を導出するエム次元独立分散境界を享受する。
  論文  参考訳（メタデータ） (2020-02-20T17:20:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。