論文の概要: Learning sparse auto-encoders for green AI image coding
- arxiv url: http://arxiv.org/abs/2209.04448v1
- Date: Fri, 9 Sep 2022 06:31:46 GMT
- ステータス: 処理完了
- システム内更新日: 2022-09-13 14:01:34.453248
- Title: Learning sparse auto-encoders for green AI image coding
- Title（参考訳）: グリーンAI画像符号化のためのスパースオートエンコーダの学習
- Authors: Cyprien Gille, Fr\'ed\'eric Guyard, Marc Antonini, and Michel Barlaud
- Abstract要約: 本稿では,メモリフットプリントが小さく,計算能力の少ないCAEを用いた画像圧縮の損失問題に対処する。
制約付きアプローチと新しい構造化スパース学習手法を提案する。
実験結果から,$ell_1,1$制約は最も構造化された近位間隔を提供し,メモリと計算コストの低減を図っている。
- 参考スコア（独自算出の注目度）: 5.967279020820772
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recently, convolutional auto-encoders (CAE) were introduced for image coding.
They achieved performance improvements over the state-of-the-art JPEG2000
method. However, these performances were obtained using massive CAEs featuring
a large number of parameters and whose training required heavy computational
power.\\ In this paper, we address the problem of lossy image compression using
a CAE with a small memory footprint and low computational power usage. In order
to overcome the computational cost issue, the majority of the literature uses
Lagrangian proximal regularization methods, which are time consuming
themselves.\\ In this work, we propose a constrained approach and a new
structured sparse learning method. We design an algorithm and test it on three
constraints: the classical $\ell_1$ constraint, the $\ell_{1,\infty}$ and the
new $\ell_{1,1}$ constraint. Experimental results show that the $\ell_{1,1}$
constraint provides the best structured sparsity, resulting in a high reduction
of memory and computational cost, with similar rate-distortion performance as
with dense networks.
- Abstract（参考訳）: 近年,画像符号化のための畳み込みオートエンコーダ (CAE) が導入された。
彼らは最先端のJPEG2000法よりも性能が向上した。
しかし、これらの性能は大量のパラメータを特徴とする大量のCAEを用いて得られ、そのトレーニングには大量の計算能力が必要であった。
本稿では,メモリフットプリントが小さく,計算消費電力の少ないCAEを用いて画像圧縮を行う際の問題点について述べる。
計算コストの問題を克服するために、文献の大半はラグランジュ近位正規化法を用いており、これは自分自身で時間を消費している。
そこで本研究では,制約付きアプローチと新しい構造化スパース学習手法を提案する。
我々はアルゴリズムを設計し、古典的な$\ell_1$制約、$\ell_{1,\infty}$および新しい$\ell_{1,1}$制約という3つの制約でそれをテストする。
実験の結果、$\ell_{1,1}$の制約は最も構造化されたスパース性をもたらし、結果としてメモリと計算コストが大幅に削減され、密集したネットワークと同様のレートゆがみ性能が得られた。
関連論文リスト
- A Fast Quantum Image Compression Algorithm based on Taylor Expansion [0.0]
本研究では,パラメータ化量子回路内での量子画像圧縮アルゴリズムを改良する。
本手法では,画像データをユニタリ演算子パラメータとして符号化し,暗号処理のエミュレートに量子コンパイルアルゴリズムを適用した。
Lenna や Cameraman などのベンチマーク画像による実験結果から,本手法は最大 86% の反復回数削減を実現していることがわかった。
論文 参考訳（メタデータ） (2025-02-15T06:03:49Z) - Hamming Attention Distillation: Binarizing Keys and Queries for Efficient Long-Context Transformers [18.469378618426294]
本稿では,ハミング注意蒸留(HAD)について紹介する。これは注意機構のキーとクエリをバイナライズして,大幅な効率向上を実現するフレームワークである。
我々は,HADをカスタムハードウェアシミュレーションに実装し,標準的なハードウェア実装と比較して優れた性能特性を示す。
論文 参考訳（メタデータ） (2025-02-03T19:24:01Z) - Masked Generative Nested Transformers with Decode Time Scaling [21.34984197218021]
本研究では,視覚生成アルゴリズムにおける推論計算効率のボトルネックに対処することを目的とする。
我々は、計算を効果的に活用するためにデコード時間モデルのスケーリングスケジュールを設計し、計算の一部をキャッシュして再利用することができる。
実験の結果,ベースラインよりも3倍近い計算量で,競争性能が得られることがわかった。
論文 参考訳（メタデータ） (2025-02-01T09:41:01Z) - Accelerating Error Correction Code Transformers [56.75773430667148]
本稿では,トランスを用いたデコーダの高速化手法を提案する。
最新のハードウェアでは、90%の圧縮比を実現し、算術演算エネルギー消費を少なくとも224倍削減する。
論文 参考訳（メタデータ） (2024-10-08T11:07:55Z) - SqueezeLLM: Dense-and-Sparse Quantization [80.32162537942138]
LLMにおける生成推論の主なボトルネックは、単一のバッチ推論のための計算ではなく、メモリ帯域幅である。
学習後量子化フレームワークであるSqueezeLLMを導入し、最大3ビットの超低精度でのロスレス圧縮を実現する。
本フレームワークは,2次情報に基づく最適ビット精度割当を探索する感度ベース非一様量子化法と,2次情報に基づくDense-and-Sparse分解法と,2次情報量割当値と感度重み値を効率的にスパース形式で格納するDense-and-Sparse分解法である。
論文 参考訳（メタデータ） (2023-06-13T08:57:54Z) - Communication-Efficient Adam-Type Algorithms for Distributed Data Mining [93.50424502011626]
我々はスケッチを利用した新しい分散Adam型アルゴリズムのクラス(例:SketchedAMSGrad)を提案する。
我々の新しいアルゴリズムは、反復毎に$O(frac1sqrtnT + frac1(k/d)2 T)$の高速収束率を$O(k log(d))$の通信コストで達成する。
論文 参考訳（メタデータ） (2022-10-14T01:42:05Z) - Batch-efficient EigenDecomposition for Small and Medium Matrices [65.67315418971688]
EigenDecomposition (ED)は多くのコンピュータビジョンアルゴリズムとアプリケーションの中心にある。
本稿では,コンピュータビジョンの応用シナリオに特化したQRベースのED手法を提案する。
論文 参考訳（メタデータ） (2022-07-09T09:14:12Z) - Lossless Compression with Probabilistic Circuits [42.377045986733776]
確率回路 (PC) は、$|p|$計算単位を含むニューラルネットワークのクラスである。
時間複雑性が $mathcalO (log(D) cdot |p|)$ であるような効率的な符号化と復号化スキームを導出する。
従来のPC構造学習パイプラインをスケールアップすることにより、MNISTなどの画像データセットで最先端の結果が得られた。
論文 参考訳（メタデータ） (2021-11-23T03:30:22Z) - An Information Theory-inspired Strategy for Automatic Network Pruning [88.51235160841377]
深層畳み込みニューラルネットワークは、リソース制約のあるデバイスで圧縮されることがよく知られている。
既存のネットワークプルーニング手法の多くは、人的努力と禁忌な計算資源を必要とする。
本稿では,自動モデル圧縮のための情報理論に基づく戦略を提案する。
論文 参考訳（メタデータ） (2021-08-19T07:03:22Z) - CNNs for JPEGs: A Study in Computational Cost [49.97673761305336]
畳み込みニューラルネットワーク(CNN)は過去10年間で驚くべき進歩を遂げてきた。
CNNはRGBピクセルから直接データの堅牢な表現を学習することができる。
近年,圧縮領域から直接学習できる深層学習手法が注目されている。
論文 参考訳（メタデータ） (2020-12-26T15:00:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。