論文の概要: Efficient Learned Image Compression Through Knowledge Distillation

• arxiv url: http://arxiv.org/abs/2509.10366v1
• Date: Fri, 12 Sep 2025 15:59:55 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-15 16:03:08.150794
• Title: Efficient Learned Image Compression Through Knowledge Distillation
• Title（参考訳）: 知識蒸留による効率的な学習画像圧縮
• Authors: Fabien Allemand, Attilio Fiandrotti, Sumanta Chaudhuri, Alaa Eddine Mazouz,
• Abstract要約: 学習された画像圧縮は、機械学習と画像処理の交差点に位置する。 最近の研究は、ニューラルネットワークベースの圧縮モデルが従来のコーデックより一貫して優れていることを示唆している。 本研究では,知識蒸留を利用して画像圧縮に用いるニューラルネットワークの資源要求を削減することを目的とする。
• 参考スコア（独自算出の注目度）: 6.5170521662453185
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Learned image compression sits at the intersection of machine learning and image processing. With advances in deep learning, neural network-based compression methods have emerged. In this process, an encoder maps the image to a low-dimensional latent space, which is then quantized, entropy-coded into a binary bitstream, and transmitted to the receiver. At the receiver end, the bitstream is entropy-decoded, and a decoder reconstructs an approximation of the original image. Recent research suggests that these models consistently outperform conventional codecs. However, they require significant processing power, making them unsuitable for real-time use on resource-constrained platforms, which hinders their deployment in mainstream applications. This study aims to reduce the resource requirements of neural networks used for image compression by leveraging knowledge distillation, a training paradigm where smaller neural networks, partially trained on the outputs of larger, more complex models, can achieve better performance than when trained independently. Our work demonstrates that knowledge distillation can be effectively applied to image compression tasks: i) across various architecture sizes, ii) to achieve different image quality/bit rate tradeoffs, and iii) to save processing and energy resources. This approach introduces new settings and hyperparameters, and future research could explore the impact of different teacher models, as well as alternative loss functions. Knowledge distillation could also be extended to transformer-based models. The code is publicly available at: https://github.com/FABallemand/PRIM .
• Abstract（参考訳）: 学習された画像圧縮は、機械学習と画像処理の交差点に位置する。 ディープラーニングの進歩により、ニューラルネットワークベースの圧縮手法が出現した。 この過程において、エンコーダは画像を低次元の潜在空間にマッピングし、量子化し、エントロピー符号化してバイナリビットストリームに変換し、受信機に送信する。 受信側でビットストリームをエントロピー復号し、復号器は元の画像の近似を再構成する。 最近の研究は、これらのモデルが従来のコーデックより一貫して優れていることを示唆している。 しかし、大きな処理能力が必要であり、リソース制約のあるプラットフォームでのリアルタイム使用には適さないため、メインストリームアプリケーションへのデプロイを妨げている。 本研究の目的は、より大規模で複雑なモデルの出力を部分的に訓練した小さなニューラルネットワークが、独立に訓練された場合よりも優れたパフォーマンスを達成できる訓練パラダイムである知識蒸留を利用して、画像圧縮に使用されるニューラルネットワークのリソース要求を削減することである。 我々の研究は、画像圧縮タスクに知識蒸留を効果的に適用できることを実証している。 i) 様々な建築規模にまたがる 二 異なる画質/ビットレートのトレードオフを達成すること、及び 三 処理及びエネルギー資源の節約 このアプローチは、新しい設定とハイパーパラメータを導入し、将来の研究は、異なる教師モデルと代替の損失関数の影響を探る可能性がある。 知識蒸留はトランスフォーマーベースのモデルにも拡張できる。 コードは、https://github.com/FABallemand/PRIM で公開されている。

関連論文リスト

• Multi-Scale Invertible Neural Network for Wide-Range Variable-Rate Learned Image Compression [90.59962443790593]
  本稿では,制限を克服するために,可逆変換に基づく可変レート画像圧縮モデルを提案する。 具体的には、入力画像をマルチスケールの潜在表現にマッピングする、軽量なマルチスケール非可逆ニューラルネットワークを設計する。 実験結果から,提案手法は既存の可変レート法と比較して最先端性能を実現することが示された。
  論文  参考訳（メタデータ） (2025-03-27T09:08:39Z)
• Streaming Lossless Volumetric Compression of Medical Images Using Gated Recurrent Convolutional Neural Network [0.0]
  本稿では,ハードウェアフレンドリーなストリーミングロスレスボリューム圧縮フレームワークを提案する。 本稿では,多種多様な畳み込み構造と融合ゲート機構を組み合わせたゲートリカレント畳み込みニューラルネットワークを提案する。 提案手法は,堅牢な一般化能力と競争圧縮速度を示す。
  論文  参考訳（メタデータ） (2023-11-27T07:19:09Z)
• Lossy Image Compression with Quantized Hierarchical VAEs [33.173021636656465]
  ResNet VAEはもともとデータ(画像)の分散モデリングのために設計された。 自然画像の損失圧縮における従来の手法より優れる、強力で効率的なモデルを提案する。 本モデルでは,画像を粗大に圧縮し,並列符号化と復号化をサポートする。
  論文  参考訳（メタデータ） (2022-08-27T17:15:38Z)
• Convolutional Neural Network (CNN) to reduce construction loss in JPEG compression caused by Discrete Fourier Transform (DFT) [0.0]
  畳み込みニューラルネットワーク(CNN)は他の多くのディープニューラルネットワークよりも注目されている。 本研究では,オートエンコーダを用いた効率的な画像圧縮手法を提案する。
  論文  参考訳（メタデータ） (2022-08-26T12:46:16Z)
• The Devil Is in the Details: Window-based Attention for Image Compression [58.1577742463617]
  既存の学習画像圧縮モデルは畳み込みニューラルネットワーク(CNN)に基づいている。 本稿では,複数種類の注意機構が局所特徴学習に与える影響について検討し,より単純で効果的なウィンドウベースの局所的注意ブロックを提案する。 提案されたウィンドウベースのアテンションは非常に柔軟で、CNNとTransformerモデルを強化するためのプラグイン・アンド・プレイコンポーネントとして機能する可能性がある。
  論文  参考訳（メタデータ） (2022-03-16T07:55:49Z)
• Implicit Neural Representations for Image Compression [103.78615661013623]
  Inlicit Neural Representations (INRs) は、様々なデータ型の新規かつ効果的な表現として注目されている。 量子化、量子化を考慮した再学習、エントロピー符号化を含むINRに基づく最初の包括的圧縮パイプラインを提案する。 我々は、INRによるソース圧縮に対する我々のアプローチが、同様の以前の作業よりも大幅に優れていることに気付きました。
  論文  参考訳（メタデータ） (2021-12-08T13:02:53Z)
• Joint Global and Local Hierarchical Priors for Learned Image Compression [30.44884350320053]
  近年,従来の手書き画像コーデックと比較して,学習画像圧縮法の性能が向上している。 本稿では,ローカル情報とグローバル情報の両方をコンテンツに依存した方法で活用する,情報変換(Information Transformer, Informer)と呼ばれる新しいエントロピーモデルを提案する。 実験により,Informer はKodak および Tecnick データセットの最先端手法よりも速度歪み性能が向上することを示した。
  論文  参考訳（メタデータ） (2021-12-08T06:17:37Z)
• Restormer: Efficient Transformer for High-Resolution Image Restoration [118.9617735769827]
  畳み込みニューラルネットワーク(CNN)は、大規模データから一般化可能な画像の事前学習をうまく行う。 トランスフォーマーは、自然言語とハイレベルな視覚タスクにおいて、顕著なパフォーマンス向上を示している。 我々のモデルであるRecovery Transformer (Restormer) は、いくつかの画像復元タスクにおいて最先端の結果を得る。
  論文  参考訳（メタデータ） (2021-11-18T18:59:10Z)
• Supervised Compression for Resource-constrained Edge Computing Systems [26.676557573171618]
  フルスケールのディープニューラルネットワークは、エネルギーとストレージの面でリソース集約的すぎることが多い。 本稿では、知識蒸留とニューラルイメージ圧縮のアイデアを採用し、中間特徴表現をより効率的に圧縮する。 教師付きレート歪み性能を向上するとともに、エンドツーエンドのレイテンシも小さくする。
  論文  参考訳（メタデータ） (2021-08-21T11:10:29Z)
• Modeling Lost Information in Lossy Image Compression [72.69327382643549]
  ロスシー画像圧縮は、デジタル画像の最もよく使われる演算子の1つである。 Invertible Lossy Compression (ILC) と呼ばれる新しい非可逆的フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-06-22T04:04:56Z)
• Learning End-to-End Lossy Image Compression: A Benchmark [90.35363142246806]
  まず,学習した画像の圧縮方法に関する総合的な文献調査を行う。 本稿では,最先端の学習画像圧縮手法のマイルストーンについて述べるとともに,既存の幅広い作品について概観し,その歴史的開発ルートについて考察する。 エントロピー推定と信号再構成のための粗大な超高次モデルを導入することにより、速度歪み性能の向上を実現する。
  論文  参考訳（メタデータ） (2020-02-10T13:13:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。