論文の概要: Neural Image Compression: Generalization, Robustness, and Spectral Biases

• arxiv url: http://arxiv.org/abs/2307.08657v2
• Date: Fri, 27 Oct 2023 20:56:51 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-31 20:37:13.557181
• Title: Neural Image Compression: Generalization, Robustness, and Spectral Biases
• Title（参考訳）: ニューラル画像圧縮:一般化、ロバスト性、スペクトルバイアス
• Authors: Kelsey Lieberman, James Diffenderfer, Charles Godfrey, and Bhavya Kailkhura
• Abstract要約: ニューラルイメージ圧縮(NIC)の最近の進歩は、古典的コーデックを上回り始めているモデルを生み出している。 あらゆる機械学習システムが広く採用されるには、見当たらない分散シフトを一般化(かつ堅牢に)する必要がある。 本稿では,画像圧縮方式のアウト・オブ・ディストリビューション性能を評価するためのベンチマークスイートを提案する。
• 参考スコア（独自算出の注目度）: 16.55855347335981
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent advances in neural image compression (NIC) have produced models that are starting to outperform classic codecs. While this has led to growing excitement about using NIC in real-world applications, the successful adoption of any machine learning system in the wild requires it to generalize (and be robust) to unseen distribution shifts at deployment. Unfortunately, current research lacks comprehensive datasets and informative tools to evaluate and understand NIC performance in real-world settings. To bridge this crucial gap, first, this paper presents a comprehensive benchmark suite to evaluate the out-of-distribution (OOD) performance of image compression methods. Specifically, we provide CLIC-C and Kodak-C by introducing 15 corruptions to the popular CLIC and Kodak benchmarks. Next, we propose spectrally-inspired inspection tools to gain deeper insight into errors introduced by image compression methods as well as their OOD performance. We then carry out a detailed performance comparison of several classic codecs and NIC variants, revealing intriguing findings that challenge our current understanding of the strengths and limitations of NIC. Finally, we corroborate our empirical findings with theoretical analysis, providing an in-depth view of the OOD performance of NIC and its dependence on the spectral properties of the data. Our benchmarks, spectral inspection tools, and findings provide a crucial bridge to the real-world adoption of NIC. We hope that our work will propel future efforts in designing robust and generalizable NIC methods. Code and data will be made available at https://github.com/klieberman/ood_nic.
• Abstract（参考訳）: ニューラルイメージ圧縮(NIC)の最近の進歩は、古典的コーデックを上回り始めているモデルを生み出している。 このことが、現実世界のアプリケーションでNICを使うことに対する興奮の高まりにつながったが、どんな機械学習システムでも成功するためには、デプロイ時に見つからない分散シフトを一般化(かつ堅牢)する必要がある。 残念ながら、現在の研究では、実際の環境でNICのパフォーマンスを評価し、理解するための包括的なデータセットと情報ツールが欠けている。 この重要なギャップを埋めるために,まず,画像圧縮法の性能を評価するための総合ベンチマークスイートを提案する。 具体的には、人気のあるCLICとKodakベンチマークに15の汚職を導入することで、CLIC-CとKodak-Cを提供します。 次に,画像圧縮手法による誤差やOOD性能についてより深い知見を得るためのスペクトル刺激検査ツールを提案する。 次に、いくつかの古典的コーデックとNICの変種について詳細な性能比較を行い、NICの強みと限界に対する現在の理解に挑戦する興味深い発見を明らかにする。 最後に、実験結果と理論解析を相関させ、NICのOOD性能とそのデータスペクトル特性への依存性を詳細に把握する。 我々のベンチマーク、スペクトル検査ツール、そして調査結果は、NICの現実的な採用にとって重要な橋渡しとなる。 私たちは、堅牢で一般化可能なNICメソッドの設計における今後の取り組みを推進したいと考えています。 コードとデータはhttps://github.com/klieberman/ood_nicで入手できる。

関連論文リスト

• Using DUCK-Net for Polyp Image Segmentation [0.0]
  DUCK-Netは、少量の医療画像から効果的に学習し、一般化し、正確なセグメンテーションタスクを実行することができる。 大腸内視鏡画像におけるポリープセグメンテーションに特有な機能を示す。
  論文  参考訳（メタデータ） (2023-11-03T20:58:44Z)
• Pushing the Efficiency Limit Using Structured Sparse Convolutions [82.31130122200578]
  本稿では,画像の固有構造を利用して畳み込みフィルタのパラメータを削減する構造的スパース畳み込み(SSC)を提案する。 我々は、SSCが効率的なアーキテクチャにおける一般的なレイヤ(奥行き、グループ回り、ポイント回りの畳み込み)の一般化であることを示す。 SSCに基づくアーキテクチャは、CIFAR-10、CIFAR-100、Tiny-ImageNet、ImageNet分類ベンチマークのベースラインと比較して、最先端のパフォーマンスを実現している。
  論文  参考訳（メタデータ） (2022-10-23T18:37:22Z)
• Multi-Sample Training for Neural Image Compression [11.167668701825134]
  現在の最先端(ソータ)法では、一様後部を近似量子化雑音とし、単サンプルパスワイズ推定器を用いて証拠下界(ELBO)の勾配を近似する。 ELBOよりも厳密で,サンプルサイズの増加とともにログ可能性に収束するマルチサンプル重み付きオートエンコーダ(IWAE)ターゲットを用いたNIC訓練を提案する。 我々のMS-NICはプラグアンドプレイであり、他のニューラル圧縮タスクに容易に拡張できる。
  論文  参考訳（メタデータ） (2022-09-28T04:42:02Z)
• Flexible Neural Image Compression via Code Editing [8.499248314440557]
  ニューラル画像圧縮(NIC)は、レート歪み(R-D)性能において従来の画像コーデックよりも優れていた。 通常、R-D曲線の各点に専用エンコーダとデコーダのペアが必要であるため、実際の展開を妨げている。 本稿では,セミアモタイズされた推論と適応量子化に基づくNICの高フレキシブルな符号化手法であるCode Editingを提案する。
  論文  参考訳（メタデータ） (2022-09-19T09:41:43Z)
• The Devil Is in the Details: Window-based Attention for Image Compression [58.1577742463617]
  既存の学習画像圧縮モデルは畳み込みニューラルネットワーク(CNN)に基づいている。 本稿では,複数種類の注意機構が局所特徴学習に与える影響について検討し,より単純で効果的なウィンドウベースの局所的注意ブロックを提案する。 提案されたウィンドウベースのアテンションは非常に柔軟で、CNNとTransformerモデルを強化するためのプラグイン・アンド・プレイコンポーネントとして機能する可能性がある。
  論文  参考訳（メタデータ） (2022-03-16T07:55:49Z)
• Neural JPEG: End-to-End Image Compression Leveraging a Standard JPEG Encoder-Decoder [73.48927855855219]
  本稿では,エンコーダとデコーダの両端に内在するニューラル表現を強化することで,符号化性能の向上を図るシステムを提案する。 実験により,提案手法はJPEGに対する速度歪み性能を,様々な品質指標で改善することを示した。
  論文  参考訳（メタデータ） (2022-01-27T20:20:03Z)
• Self-Denoising Neural Networks for Few Shot Learning [66.38505903102373]
  既存のニューラルアーキテクチャの複数の段階でノイズを追加すると同時に、この付加ノイズに対して堅牢であるように学習する新しいトレーニングスキームを提案する。 このアーキテクチャは、SDNN(Self-Denoising Neural Network)と呼ばれ、現代の畳み込みニューラルネットワークに容易に適用できます。
  論文  参考訳（メタデータ） (2021-10-26T03:28:36Z)
• Rate Distortion Characteristic Modeling for Neural Image Compression [59.25700168404325]
  エンドツーエンドの最適化機能は、ニューラルイメージ圧縮(NIC)の優れた損失圧縮性能を提供する。 異なるモデルは、R-D空間の異なる点に到達するために訓練される必要がある。 深層ネットワークと統計モデルを用いてNICのR-D挙動を記述するために,本質的な数学的関数の定式化に努めている。
  論文  参考訳（メタデータ） (2021-06-24T12:23:05Z)
• On the Impact of Lossy Image and Video Compression on the Performance of Deep Convolutional Neural Network Architectures [17.349420462716886]
  本研究では,画像と映像の圧縮技術がディープラーニングアーキテクチャの性能に与える影響について検討する。 本研究では,人間のポーズ推定,セマンティックセグメンテーション,オブジェクト検出,行動認識,単眼深度推定の5つのタスクにおけるパフォーマンスへの影響について検討する。 その結果,ネットワーク性能と損失圧縮のレベルとの間には,非線形および不均一な関係が認められた。
  論文  参考訳（メタデータ） (2020-07-28T15:37:37Z)
• Learning End-to-End Lossy Image Compression: A Benchmark [90.35363142246806]
  まず,学習した画像の圧縮方法に関する総合的な文献調査を行う。 本稿では,最先端の学習画像圧縮手法のマイルストーンについて述べるとともに,既存の幅広い作品について概観し,その歴史的開発ルートについて考察する。 エントロピー推定と信号再構成のための粗大な超高次モデルを導入することにより、速度歪み性能の向上を実現する。
  論文  参考訳（メタデータ） (2020-02-10T13:13:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。