論文の概要: Learning sparse auto-encoders for green AI image coding

• arxiv url: http://arxiv.org/abs/2209.04448v1
• Date: Fri, 9 Sep 2022 06:31:46 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-13 14:01:34.453248
• Title: Learning sparse auto-encoders for green AI image coding
• Title（参考訳）: グリーンAI画像符号化のためのスパースオートエンコーダの学習
• Authors: Cyprien Gille, Fr\'ed\'eric Guyard, Marc Antonini, and Michel Barlaud
• Abstract要約: 本稿では,メモリフットプリントが小さく,計算能力の少ないCAEを用いた画像圧縮の損失問題に対処する。 制約付きアプローチと新しい構造化スパース学習手法を提案する。 実験結果から,$ell_1,1$制約は最も構造化された近位間隔を提供し,メモリと計算コストの低減を図っている。
• 参考スコア（独自算出の注目度）: 5.967279020820772
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recently, convolutional auto-encoders (CAE) were introduced for image coding. They achieved performance improvements over the state-of-the-art JPEG2000 method. However, these performances were obtained using massive CAEs featuring a large number of parameters and whose training required heavy computational power.\\ In this paper, we address the problem of lossy image compression using a CAE with a small memory footprint and low computational power usage. In order to overcome the computational cost issue, the majority of the literature uses Lagrangian proximal regularization methods, which are time consuming themselves.\\ In this work, we propose a constrained approach and a new structured sparse learning method. We design an algorithm and test it on three constraints: the classical $\ell_1$ constraint, the $\ell_{1,\infty}$ and the new $\ell_{1,1}$ constraint. Experimental results show that the $\ell_{1,1}$ constraint provides the best structured sparsity, resulting in a high reduction of memory and computational cost, with similar rate-distortion performance as with dense networks.
• Abstract（参考訳）: 近年,画像符号化のための畳み込みオートエンコーダ (CAE) が導入された。 彼らは最先端のJPEG2000法よりも性能が向上した。 しかし、これらの性能は大量のパラメータを特徴とする大量のCAEを用いて得られ、そのトレーニングには大量の計算能力が必要であった。 本稿では,メモリフットプリントが小さく,計算消費電力の少ないCAEを用いて画像圧縮を行う際の問題点について述べる。 計算コストの問題を克服するために、文献の大半はラグランジュ近位正規化法を用いており、これは自分自身で時間を消費している。 そこで本研究では,制約付きアプローチと新しい構造化スパース学習手法を提案する。 我々はアルゴリズムを設計し、古典的な$\ell_1$制約、$\ell_{1,\infty}$および新しい$\ell_{1,1}$制約という3つの制約でそれをテストする。 実験の結果、$\ell_{1,1}$の制約は最も構造化されたスパース性をもたらし、結果としてメモリと計算コストが大幅に削減され、密集したネットワークと同様のレートゆがみ性能が得られた。

関連論文リスト

• Accelerating Error Correction Code Transformers [56.75773430667148]
  本稿では,トランスを用いたデコーダの高速化手法を提案する。 最新のハードウェアでは、90%の圧縮比を実現し、算術演算エネルギー消費を少なくとも224倍削減する。
  論文  参考訳（メタデータ） (2024-10-08T11:07:55Z)
• SqueezeLLM: Dense-and-Sparse Quantization [80.32162537942138]
  LLMにおける生成推論の主なボトルネックは、単一のバッチ推論のための計算ではなく、メモリ帯域幅である。 学習後量子化フレームワークであるSqueezeLLMを導入し、最大3ビットの超低精度でのロスレス圧縮を実現する。 本フレームワークは,2次情報に基づく最適ビット精度割当を探索する感度ベース非一様量子化法と,2次情報に基づくDense-and-Sparse分解法と,2次情報量割当値と感度重み値を効率的にスパース形式で格納するDense-and-Sparse分解法である。
  論文  参考訳（メタデータ） (2023-06-13T08:57:54Z)
• Rethinking the Paradigm of Content Constraints in Unpaired Image-to-Image Translation [9.900050049833986]
  本稿では,パッチレベルの特徴の潜在空間における表現的類似性を制約することにより,コンテンツ管理のシンプルかつ効率的な方法であるEnCoを提案する。 類似性関数に対しては、I2Iタスクで広く使われている対照的な損失ではなく、単純なMSE損失を用いる。 さらに, 識別者によるサンプリングにおける役割を再考し, ランダムサンプリングの代替として, DAG(Disdisnative attention-guided)パッチサンプリング戦略を提案する。
  論文  参考訳（メタデータ） (2022-11-20T04:39:57Z)
• Communication-Efficient Adam-Type Algorithms for Distributed Data Mining [93.50424502011626]
  我々はスケッチを利用した新しい分散Adam型アルゴリズムのクラス(例:SketchedAMSGrad)を提案する。 我々の新しいアルゴリズムは、反復毎に$O(frac1sqrtnT + frac1(k/d)2 T)$の高速収束率を$O(k log(d))$の通信コストで達成する。
  論文  参考訳（メタデータ） (2022-10-14T01:42:05Z)
• Batch-efficient EigenDecomposition for Small and Medium Matrices [65.67315418971688]
  EigenDecomposition (ED)は多くのコンピュータビジョンアルゴリズムとアプリケーションの中心にある。 本稿では,コンピュータビジョンの応用シナリオに特化したQRベースのED手法を提案する。
  論文  参考訳（メタデータ） (2022-07-09T09:14:12Z)
• Asymmetric Learned Image Compression with Multi-Scale Residual Block, Importance Map, and Post-Quantization Filtering [15.056672221375104]
  ディープラーニングに基づく画像圧縮は、最新のH.266/VVCよりも高いレート歪み(R-D)性能を実現している。 多くの先導的な学習スキームは、パフォーマンスと複雑さの間の良いトレードオフを維持することができません。 そこで本研究では,R-D の性能を技術状況よりも低い複雑さで実現した,効率的かつ効果的な画像符号化フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-06-21T09:34:29Z)
• Lossless Compression with Probabilistic Circuits [42.377045986733776]
  確率回路 (PC) は、$|p|$計算単位を含むニューラルネットワークのクラスである。 時間複雑性が $mathcalO (log(D) cdot |p|)$ であるような効率的な符号化と復号化スキームを導出する。 従来のPC構造学習パイプラインをスケールアップすることにより、MNISTなどの画像データセットで最先端の結果が得られた。
  論文  参考訳（メタデータ） (2021-11-23T03:30:22Z)
• An Information Theory-inspired Strategy for Automatic Network Pruning [88.51235160841377]
  深層畳み込みニューラルネットワークは、リソース制約のあるデバイスで圧縮されることがよく知られている。 既存のネットワークプルーニング手法の多くは、人的努力と禁忌な計算資源を必要とする。 本稿では,自動モデル圧縮のための情報理論に基づく戦略を提案する。
  論文  参考訳（メタデータ） (2021-08-19T07:03:22Z)
• CNNs for JPEGs: A Study in Computational Cost [49.97673761305336]
  畳み込みニューラルネットワーク(CNN)は過去10年間で驚くべき進歩を遂げてきた。 CNNはRGBピクセルから直接データの堅牢な表現を学習することができる。 近年,圧縮領域から直接学習できる深層学習手法が注目されている。
  論文  参考訳（メタデータ） (2020-12-26T15:00:10Z)
• How to Exploit the Transferability of Learned Image Compression to Conventional Codecs [25.622863999901874]
  本稿では,学習した画像の符号化をサロゲートとして利用して,画像の符号化を最適化する方法を示す。 提案手法は,MS-SSIM歪みをデコードオーバーヘッドを伴わずに20%以上の速度改善で補正するために,従来の画像を再構成することができる。
  論文  参考訳（メタデータ） (2020-12-03T12:34:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。