論文の概要: Scaling Learned Image Compression Models up to 1 Billion

• arxiv url: http://arxiv.org/abs/2508.09075v1
• Date: Tue, 12 Aug 2025 16:50:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-13 21:07:34.513162
• Title: Scaling Learned Image Compression Models up to 1 Billion
• Title（参考訳）: 学習した画像圧縮モデルのスケーリングが最大10億に達する
• Authors: Yuqi Li, Haotian Zhang, Li Li, Dong Liu, Feng Wu,
• Abstract要約: 大規模言語モデル(LLM)の最近の進歩は、インテリジェンスと圧縮の強いつながりを浮き彫りにしている。 本稿では,学習した画像圧縮モデルのスケールアップと,スケーリング法則による性能動向を明らかにするための先駆的な研究について述べる。 実験結果から, スケールアップHPCM-1Bモデルにより, 最先端の速度歪み特性が得られた。
• 参考スコア（独自算出の注目度）: 44.524061351112955
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent advances in large language models (LLMs) highlight a strong connection between intelligence and compression. Learned image compression, a fundamental task in modern data compression, has made significant progress in recent years. However, current models remain limited in scale, restricting their representation capacity, and how scaling model size influences compression performance remains unexplored. In this work, we present a pioneering study on scaling up learned image compression models and revealing the performance trends through scaling laws. Using the recent state-of-the-art HPCM model as baseline, we scale model parameters from 68.5 millions to 1 billion and fit power-law relations between test loss and key scaling variables, including model size and optimal training compute. The results reveal a scaling trend, enabling extrapolation to larger scale models. Experimental results demonstrate that the scaled-up HPCM-1B model achieves state-of-the-art rate-distortion performance. We hope this work inspires future exploration of large-scale compression models and deeper investigations into the connection between compression and intelligence.
• Abstract（参考訳）: 大規模言語モデル(LLM)の最近の進歩は、インテリジェンスと圧縮の強いつながりを浮き彫りにしている。 現代のデータ圧縮における基本的な課題である学習された画像圧縮は、近年大きな進歩を遂げている。 しかし、現在のモデルでは、スケールが制限され、表現能力が制限され、スケールモデルのサイズが圧縮性能にどのように影響するかは未解明のままである。 本研究では,学習した画像圧縮モデルのスケールアップと,スケーリング法則による性能動向を明らかにするための先駆的な研究を提案する。 最近の最先端HPCMモデルをベースラインとして、モデルパラメータを6850万から10億に拡張し、テスト損失と主要なスケーリング変数(モデルサイズや最適なトレーニング計算など)の電力-法則関係に適合させる。 その結果,スケールの傾向が明らかとなり,大規模モデルへの外挿が可能となった。 実験結果から, スケールアップHPCM-1Bモデルにより, 最先端の速度歪み性能が得られた。 この研究によって、大規模圧縮モデルの将来の探索や、圧縮とインテリジェンスとの関係に関するより深い調査が期待できる。

関連論文リスト

• Tiny Models are the Computational Saver for Large Models [1.8350044465969415]
  本稿では,TinySaverについて紹介する。TinySaverは,大規模モデルを適応的に置き換えるために小さなモデルを用いる,早期に出現する動的モデル圧縮手法である。 この手法をImageNet-1k分類で評価した結果,最大90%の演算数を削減できる可能性が示唆された。
  論文  参考訳（メタデータ） (2024-03-26T14:14:30Z)
• Activations and Gradients Compression for Model-Parallel Training [85.99744701008802]
  モデル並列分散トレーニングセットアップにおけるアクティベーションと勾配の同時圧縮が収束に与える影響について検討する。 グラデーションはアクティベーションよりも軽度な圧縮速度を必要とする。 実験では、TopKでトレーニングされたモデルが、推論中に圧縮も適用された場合にのみ正常に動作することが示されている。
  論文  参考訳（メタデータ） (2024-01-15T15:54:54Z)
• Uncovering the Hidden Cost of Model Compression [43.62624133952414]
  視覚プロンプティングは、コンピュータビジョンにおける伝達学習の重要な方法として登場した。 モデル圧縮は視覚的プロンプトベース転送の性能に有害である。 しかし、量子化によってモデルが圧縮されるとき、キャリブレーションに対する負の効果は存在しない。
  論文  参考訳（メタデータ） (2023-08-29T01:47:49Z)
• What do Compressed Large Language Models Forget? Robustness Challenges in Model Compression [68.82486784654817]
  本稿では,知識蒸留とプルーニングを含む2つの一般的なモデル圧縮手法について検討する。 本研究では, 圧縮モデルが, 対向テストセット上のPLMモデルよりもはるかに頑健であることを示す。 サンプル不確実性に基づくモデル圧縮の正規化戦略を開発する。
  論文  参考訳（メタデータ） (2021-10-16T00:20:04Z)
• Learning End-to-End Lossy Image Compression: A Benchmark [90.35363142246806]
  まず,学習した画像の圧縮方法に関する総合的な文献調査を行う。 本稿では,最先端の学習画像圧縮手法のマイルストーンについて述べるとともに,既存の幅広い作品について概観し,その歴史的開発ルートについて考察する。 エントロピー推定と信号再構成のための粗大な超高次モデルを導入することにより、速度歪み性能の向上を実現する。
  論文  参考訳（メタデータ） (2020-02-10T13:13:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。