論文の概要: Scaling Training Data with Lossy Image Compression

• arxiv url: http://arxiv.org/abs/2407.17954v1
• Date: Thu, 25 Jul 2024 11:19:55 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-26 14:18:40.983024
• Title: Scaling Training Data with Lossy Image Compression
• Title（参考訳）: 損失画像圧縮によるトレーニングデータのスケーリング
• Authors: Katherine L. Mentzer, Andrea Montanari,
• Abstract要約: コンピュータビジョンでは、画像は本質的にアナログであるが、常に有限ビットでデジタル形式で保存される。 サンプルサイズと画像あたりのビット数によるテストエラーの連成進化を記述したストレージスケーリング法則を提案する。 我々は,この法則が画像圧縮のスタイリングモデル内にあることを証明し,二つのコンピュータビジョンタスクで実証的に検証する。
• 参考スコア（独自算出の注目度）: 8.05574597775852
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Empirically-determined scaling laws have been broadly successful in predicting the evolution of large machine learning models with training data and number of parameters. As a consequence, they have been useful for optimizing the allocation of limited resources, most notably compute time. In certain applications, storage space is an important constraint, and data format needs to be chosen carefully as a consequence. Computer vision is a prominent example: images are inherently analog, but are always stored in a digital format using a finite number of bits. Given a dataset of digital images, the number of bits $L$ to store each of them can be further reduced using lossy data compression. This, however, can degrade the quality of the model trained on such images, since each example has lower resolution. In order to capture this trade-off and optimize storage of training data, we propose a `storage scaling law' that describes the joint evolution of test error with sample size and number of bits per image. We prove that this law holds within a stylized model for image compression, and verify it empirically on two computer vision tasks, extracting the relevant parameters. We then show that this law can be used to optimize the lossy compression level. At given storage, models trained on optimally compressed images present a significantly smaller test error with respect to models trained on the original data. Finally, we investigate the potential benefits of randomizing the compression level.
• Abstract（参考訳）: 経験的に決定されたスケーリング法則は、トレーニングデータとパラメータの数で大規模な機械学習モデルの進化を予測することに成功している。 結果として、限られたリソース、特に計算時間の割り当てを最適化するのに有用である。 特定のアプリケーションでは、ストレージスペースは重要な制約であり、結果としてデータフォーマットを慎重に選択する必要があります。 画像は本質的にアナログであるが、常に有限ビットでデジタル形式で保存される。 デジタル画像のデータセットが与えられた場合、各ビットを格納するビット数$L$は、損失の多いデータ圧縮によってさらに削減することができる。 しかし、各例は解像度が低いため、このような画像で訓練されたモデルの品質を劣化させることができる。 このトレードオフを捉え、トレーニングデータの保存を最適化するために、サンプルサイズと画像当たりのビット数でテストエラーの共進化を記述した「ストレージスケーリング法則」を提案する。 我々は,この法則が画像圧縮のスタイリングモデル内に保持されていることを証明し,関連するパラメータを抽出して2つのコンピュータビジョンタスクで実証的に検証する。 次に、この法則を用いて、損失のある圧縮レベルを最適化できることを示す。 与えられたストレージにおいて、最適な圧縮画像に基づいてトレーニングされたモデルは、元のデータでトレーニングされたモデルに対して、はるかに小さなテストエラーを示す。 最後に,圧縮レベルをランダム化する利点について検討する。

関連論文リスト

• Probing Image Compression For Class-Incremental Learning [8.711266563753846]
  連続機械学習(ML)システムは、前もって学習したデータのパフォーマンスを維持するために、メモリ制限内に代表サンプル(例題としても知られる)を格納することに依存する。 本稿では,バッファの容量を増大させる戦略として画像圧縮を利用する方法を検討する。 本稿では,事前処理データ圧縮ステップと効率的な圧縮率/アルゴリズム選択方法を含む連続MLのための画像圧縮を組み込む新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-03-10T18:58:14Z)
• Deep learning based Image Compression for Microscopy Images: An Empirical Study [3.915183869199319]
  本研究では,古典的および深層学習に基づく画像圧縮法とその深層学習に基づく画像処理モデルへの影響について分析する。 このような所望の方法で画像を圧縮するには、複数の古典的損失画像圧縮技術と、複数のAIベースの圧縮モデルを比較する。 その結果、AIベースの圧縮技術は従来の圧縮技術よりも優れており、2Dケースでは下流のラベルなしタスクに最小限の影響を及ぼすことがわかった。
  論文  参考訳（メタデータ） (2023-11-02T16:00:32Z)
• Beyond Learned Metadata-based Raw Image Reconstruction [86.1667769209103]
  生画像は、線形性や微細な量子化レベルなど、sRGB画像に対して明確な利点がある。 ストレージの要求が大きいため、一般ユーザからは広く採用されていない。 本稿では,メタデータとして,潜在空間におけるコンパクトな表現を学習する新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-06-21T06:59:07Z)
• Crowd Counting on Heavily Compressed Images with Curriculum Pre-Training [90.76576712433595]
  ディープニューラルネットワークによって処理された画像に損失圧縮を適用することで、大幅な精度低下につながる可能性がある。 カリキュラム学習のパラダイムに着想を得て,圧縮画像の群集カウントのためのカリキュラム事前学習(CPT)と呼ばれる新しいトレーニング手法を提案する。
  論文  参考訳（メタデータ） (2022-08-15T08:43:21Z)
• Estimating the Resize Parameter in End-to-end Learned Image Compression [50.20567320015102]
  本稿では,最近の画像圧縮モデルの速度歪みトレードオフをさらに改善する検索自由化フレームワークについて述べる。 提案手法により,Bjontegaard-Deltaレート(BD-rate)を最大10%向上させることができる。
  論文  参考訳（メタデータ） (2022-04-26T01:35:02Z)
• Memory Replay with Data Compression for Continual Learning [80.95444077825852]
  古いトレーニングサンプルの記憶コストを低減するため,データ圧縮によるメモリリプレイを提案する。 我々はこれを、クラスインクリメンタル学習のいくつかのベンチマークと、自律運転のためのオブジェクト検出の現実的なシナリオにおいて、広範囲に検証する。
  論文  参考訳（メタデータ） (2022-02-14T10:26:23Z)
• Lossless Compression with Latent Variable Models [4.289574109162585]
  我々は「非対称数値系を持つビットバック」(bb-ans)と呼ぶ潜在変数モデルを用いる。 この方法は、エンコードおよびデコードステップをインターリーブし、データのバッチ圧縮時に最適なレートを達成する。 我々は,深層生成モデルを用いた圧縮の高速プロトタイピングのために開発したモジュール型ソフトウェアフレームワークである'craystack'について述べる。
  論文  参考訳（メタデータ） (2021-04-21T14:03:05Z)
• Learning Scalable $\ell_\infty$-constrained Near-lossless Image Compression via Joint Lossy Image and Residual Compression [118.89112502350177]
  本稿では,$ell_infty$-constrained near-lossless image compressionを学習するための新しいフレームワークを提案する。 元の残差の学習確率モデルを定量化し、量子化残差の確率モデルを導出する。
  論文  参考訳（メタデータ） (2021-03-31T11:53:36Z)
• Distributed Learning and Inference with Compressed Images [40.07509530656681]
  本稿では,自律運転に対する視覚に基づく認識をパラダイムシナリオとして取り上げる。 生成逆ネットワーク(GAN)を用いた画像復元に基づくデータセット復元を提案する。 本手法は,特定の画像圧縮手法と下流タスクの両方に非依存である。
  論文  参考訳（メタデータ） (2020-04-22T11:20:53Z)
• Quantization Guided JPEG Artifact Correction [69.04777875711646]
  我々はJPEGファイル量子化行列を用いたアーティファクト修正のための新しいアーキテクチャを開発した。 これにより、特定の品質設定のためにトレーニングされたモデルに対して、単一のモデルで最先端のパフォーマンスを達成できます。
  論文  参考訳（メタデータ） (2020-04-17T00:10:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。