論文の概要: Lossy Compression with Distortion Constrained Optimization
- arxiv url: http://arxiv.org/abs/2005.04064v1
- Date: Fri, 8 May 2020 14:27:01 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-05 11:59:55.648729
- Title: Lossy Compression with Distortion Constrained Optimization
- Title（参考訳）: 歪み制約付き最適化による損失圧縮
- Authors: Ties van Rozendaal, Guillaume Sauti\`ere, Taco S. Cohen
- Abstract要約: Rezende と Viola の制約付き最適化手法は,$beta$-VAE よりも損失のある圧縮モデルのトレーニングに適していることを示す。
本手法は実写画像圧縮タスクの制約を満たすことができ、ヒンジロスに基づく制約付き最適化手法よりも優れており、$beta$-VAEよりも実用的であることを示す。
- 参考スコア（独自算出の注目度）: 14.45964083146559
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: When training end-to-end learned models for lossy compression, one has to
balance the rate and distortion losses. This is typically done by manually
setting a tradeoff parameter $\beta$, an approach called $\beta$-VAE. Using
this approach it is difficult to target a specific rate or distortion value,
because the result can be very sensitive to $\beta$, and the appropriate value
for $\beta$ depends on the model and problem setup. As a result, model
comparison requires extensive per-model $\beta$-tuning, and producing a whole
rate-distortion curve (by varying $\beta$) for each model to be compared. We
argue that the constrained optimization method of Rezende and Viola, 2018 is a
lot more appropriate for training lossy compression models because it allows us
to obtain the best possible rate subject to a distortion constraint. This
enables pointwise model comparisons, by training two models with the same
distortion target and comparing their rate. We show that the method does manage
to satisfy the constraint on a realistic image compression task, outperforms a
constrained optimization method based on a hinge-loss, and is more practical to
use for model selection than a $\beta$-VAE.
- Abstract（参考訳）: エンドツーエンドの学習モデルによる損失圧縮のトレーニングでは、レートと歪み損失のバランスを取る必要がある。
これは通常、$\beta$-VAEと呼ばれるアプローチである$\beta$を手動で設定する。
このアプローチを使用すると、結果は$\beta$に非常に敏感であり、$\beta$の適切な値はモデルと問題の設定に依存するため、特定のレートまたは歪み値をターゲットにすることは困難である。
その結果、モデルの比較には、モデル毎の大規模な$\beta$-tuningが必要となり、比較対象モデルごとに($\beta$によって)全率歪み曲線を生成する。
rezende と viola, 2018 の制約付き最適化法は、歪みの制約を受ける最良のレートを得ることができるため、損失のある圧縮モデルのトレーニングにずっと適している。
これにより、同じ歪み目標を持つ2つのモデルをトレーニングし、それらの速度を比較することで、ポイントワイズモデルの比較が可能になる。
提案手法は,現実的な画像圧縮タスクの制約を満たすことができ,ヒンジロスに基づく制約付き最適化手法よりも優れており,モデル選択に$\beta$-VAEよりも実用的であることを示す。
関連論文リスト
- u-$μ$P: The Unit-Scaled Maximal Update Parametrization [4.275373946090221]
我々は、u-mu$Pという新しいスキームを提示し、ユニットスケーリングと組み合わせることで、$mu$Pを改善する。
2つのテクニックには自然な親和性がある。$mu$Pはアクティベーションのスケールがモデルサイズに依存しないことを保証するとともに、ユニットスケーリングはアクティベーション、ウェイト、勾配が1つのスケールでトレーニングを開始することを保証します。
論文 参考訳（メタデータ） (2024-07-24T17:58:42Z) - Rejection via Learning Density Ratios [50.91522897152437]
拒絶による分類は、モデルを予測しないことを許容する学習パラダイムとして現れます。
そこで我々は,事前学習したモデルの性能を最大化する理想的なデータ分布を求める。
私たちのフレームワークは、クリーンでノイズの多いデータセットで実証的にテストされます。
論文 参考訳（メタデータ） (2024-05-29T01:32:17Z) - Activations and Gradients Compression for Model-Parallel Training [85.99744701008802]
モデル並列分散トレーニングセットアップにおけるアクティベーションと勾配の同時圧縮が収束に与える影響について検討する。
グラデーションはアクティベーションよりも軽度な圧縮速度を必要とする。
実験では、TopKでトレーニングされたモデルが、推論中に圧縮も適用された場合にのみ正常に動作することが示されている。
論文 参考訳（メタデータ） (2024-01-15T15:54:54Z) - Rotation Invariant Quantization for Model Compression [7.633595230914364]
トレーニング後のニューラルネットワーク(NN)モデル圧縮は、メモリリソースが限られているデバイスに大規模なメモリ消費モデルを展開するための魅力的なアプローチである。
NNモデル全体の量子化に単一パラメータを用いる回転不変量子化(RIQ)手法を提案する。
論文 参考訳（メタデータ） (2023-03-03T10:53:30Z) - CrAM: A Compression-Aware Minimizer [103.29159003723815]
本稿では、CrAMと呼ばれる新しい圧縮対応最小化器を提案し、最適化ステップを原則的に修正する。
CrAMは、標準のSGD/アダムベースベースラインよりも精度が高い密度のモデルを生成するが、重量計算では安定である。
CrAMは、転送学習のためにうまく機能するスパースモデルを生成することができ、GPUハードウェアでサポートされている半構造化の2:4プルーニングパターンでも機能する。
論文 参考訳（メタデータ） (2022-07-28T16:13:28Z) - R-Drop: Regularized Dropout for Neural Networks [99.42791938544012]
ドロップアウト(Dropout)は、ディープニューラルネットワークのトレーニングを規則化する、強力で広く使用されているテクニックである。
モデルトレーニングにおけるドロップアウト時の単純な正規化戦略、すなわちR-Dropを導入し、異なるサブモデルの出力分布を互いに整合させる。
論文 参考訳（メタデータ） (2021-06-28T08:01:26Z) - Learning Scalable $\ell_\infty$-constrained Near-lossless Image
Compression via Joint Lossy Image and Residual Compression [118.89112502350177]
本稿では,$ell_infty$-constrained near-lossless image compressionを学習するための新しいフレームワークを提案する。
元の残差の学習確率モデルを定量化し、量子化残差の確率モデルを導出する。
論文 参考訳（メタデータ） (2021-03-31T11:53:36Z) - Overfitting for Fun and Profit: Instance-Adaptive Data Compression [20.764189960709164]
ニューラルデータ圧縮は、RD$パフォーマンスの点で古典的手法より優れていることが示されている。
本稿では,この概念を極端に取り入れ,全モデルを単一ビデオに適用し,潜在表現とともにモデル更新を送信する。
エンコーダのみの微調整に関して,フルモデル適応によりRD$性能が1dB向上することが実証された。
論文 参考訳（メタデータ） (2021-01-21T15:58:58Z) - Training with Quantization Noise for Extreme Model Compression [57.51832088938618]
与えられたモデルサイズに対する精度を最大化しながら、コンパクトなモデルを作成するという問題に取り組む。
標準的な解決策は、トレーニング中に重みが定量化され、勾配がストレート・スルー推定器に近似される量子化意識訓練(Quantization Aware Training)でネットワークをトレーニングすることである。
本稿では, この手法を, 極端な圧縮法を用いて, int8 の固定点量子化を超えて機能するように拡張する。
論文 参考訳（メタデータ） (2020-04-15T20:10:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。