論文の概要: RECOMBINER: Robust and Enhanced Compression with Bayesian Implicit Neural Representations

• arxiv url: http://arxiv.org/abs/2309.17182v1
• Date: Fri, 29 Sep 2023 12:27:15 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-02 14:03:56.757534
• Title: RECOMBINER: Robust and Enhanced Compression with Bayesian Implicit Neural Representations
• Title（参考訳）: ReCOMBINER:ベイズ暗黙的ニューラル表現によるロバスト・圧縮の強化
• Authors: Jiajun He, Gergely Flamich, Zongyu Guo, Jos\'e Miguel Hern\'andez-Lobato
• Abstract要約: COMBINERは量子化を回避し、レート歪み性能の直接最適化を可能にするデータ圧縮手法である。 我々は,COMBINERの限界を克服するために,Robust and Enhanced COMBINER (RECOMBINER)を提案する。 我々は,RECOMBINERがINRベースの最良の手法と競合し,低解像度画像上でのオートエンコーダベースのコーデックよりも優れていることを示す。
• 参考スコア（独自算出の注目度）: 8.417694229876371
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: COMpression with Bayesian Implicit NEural Representations (COMBINER) is a recent data compression method that addresses a key inefficiency of previous Implicit Neural Representation (INR)-based approaches: it avoids quantization and enables direct optimization of the rate-distortion performance. However, COMBINER still has significant limitations: 1) it uses factorized priors and posterior approximations that lack flexibility; 2) it cannot effectively adapt to local deviations from global patterns in the data; and 3) its performance can be susceptible to modeling choices and the variational parameters' initializations. Our proposed method, Robust and Enhanced COMBINER (RECOMBINER), addresses these issues by 1) enriching the variational approximation while maintaining its computational cost via a linear reparameterization of the INR weights, 2) augmenting our INRs with learnable positional encodings that enable them to adapt to local details and 3) splitting high-resolution data into patches to increase robustness and utilizing expressive hierarchical priors to capture dependency across patches. We conduct extensive experiments across several data modalities, showcasing that RECOMBINER achieves competitive results with the best INR-based methods and even outperforms autoencoder-based codecs on low-resolution images at low bitrates.
• Abstract（参考訳）: Bayesian Implicit NEural Representation (COMBINER) による圧縮は、従来の Inlicit Neural Representation (INR) ベースのアプローチの重要な非効率性に対処する、最近のデータ圧縮手法である。 しかし、COMBINERには大きな制限がある。 1) 柔軟性に欠ける因子化事前及び後部近似を用いる。 2) データのグローバルなパターンからの局所的なずれに効果的に対応できない。 3) その性能は, モデル選択や変分パラメータの初期化の影響を受けやすい。 提案手法であるRobust and Enhanced COMBINER (RECOMBINER) はこれらの問題に対処する。 1)INR重みの線形再パラメータ化により計算コストを維持しつつ変動近似を充実させる。 2)局所的な細部への適応を可能にする学習可能な位置エンコーディングによる inrs の強化 3) 高解像度データをパッチに分割し、堅牢性を高め、表現力のある階層的事前を利用してパッチ間の依存関係をキャプチャする。 我々は、複数のデータモダリティにわたる広範な実験を行い、RECOMBINERが最高のINRベースの手法で競合する結果を得ることを示した。

関連論文リスト

• Causal Context Adjustment Loss for Learned Image Compression [72.7300229848778]
  近年,学習画像圧縮(lic)技術は,特にRD性能の点で従来の手法を上回りつつある。 現在の技術のほとんどは、自己回帰エントロピーモデルを備えたVAEベースで、デコードされた因果コンテキストを利用してRD性能を向上する。 本稿では,提案した因果文脈調整損失を用いて因果文脈を的確に調整する方法を初めて検討する。
  論文  参考訳（メタデータ） (2024-10-07T09:08:32Z)
• Verifying Properties of Binary Neural Networks Using Sparse Polynomial Optimization [8.323690755070123]
  本稿では,バイナリニューラルネットワーク(BNN)の特性検証手法について検討する。 フル精度のBNNと同様、入力の摂動にも敏感だ。 スパース多項式最適化から導かれる半有限プログラミング緩和を用いた代替手法を提案する。
  論文  参考訳（メタデータ） (2024-05-27T11:03:48Z)
• Explicit Foundation Model Optimization with Self-Attentive Feed-Forward Neural Units [4.807347156077897]
  バックプロパゲーションを用いた反復近似法はニューラルネットワークの最適化を可能にするが、大規模に使用すると計算コストがかかる。 本稿では、ニューラルネットワークのスケーリングコストを削減し、低リソースアプリケーションに高効率な最適化を提供する、ニューラルネットワークの最適化のための効率的な代替手段を提案する。
  論文  参考訳（メタデータ） (2023-11-13T17:55:07Z)
• Modality-Agnostic Variational Compression of Implicit Neural Representations [96.35492043867104]
  Inlicit Neural Representation (INR) としてパラメータ化されたデータの関数的ビューに基づくモーダリティ非依存型ニューラル圧縮アルゴリズムを提案する。 潜時符号化と疎性の間のギャップを埋めて、ソフトゲーティング機構に非直線的にマッピングされたコンパクト潜時表現を得る。 このような潜在表現のデータセットを得た後、ニューラル圧縮を用いてモーダリティ非依存空間におけるレート/歪みトレードオフを直接最適化する。
  論文  参考訳（メタデータ） (2023-01-23T15:22:42Z)
• Recurrent Bilinear Optimization for Binary Neural Networks [58.972212365275595]
  BNNは、実数値重みとスケールファクターの内在的双線型関係を無視している。 私たちの仕事は、双線形の観点からBNNを最適化する最初の試みです。 我々は、様々なモデルやデータセット上で最先端のBNNに対して印象的な性能を示す頑健なRBONNを得る。
  論文  参考訳（メタデータ） (2022-09-04T06:45:33Z)
• Implicit Neural Representations for Image Compression [103.78615661013623]
  Inlicit Neural Representations (INRs) は、様々なデータ型の新規かつ効果的な表現として注目されている。 量子化、量子化を考慮した再学習、エントロピー符号化を含むINRに基づく最初の包括的圧縮パイプラインを提案する。 我々は、INRによるソース圧縮に対する我々のアプローチが、同様の以前の作業よりも大幅に優れていることに気付きました。
  論文  参考訳（メタデータ） (2021-12-08T13:02:53Z)
• Efficient Micro-Structured Weight Unification and Pruning for Neural Network Compression [56.83861738731913]
  ディープニューラルネットワーク(DNN)モデルは、特にリソース制限されたデバイスにおいて、実用的なアプリケーションに不可欠である。 既往の非構造的あるいは構造化された重量刈り法は、推論を真に加速することはほとんど不可能である。 ハードウェア互換のマイクロ構造レベルでの一般化された重み統一フレームワークを提案し,高い圧縮と加速度を実現する。
  論文  参考訳（メタデータ） (2021-06-15T17:22:59Z)
• A Bop and Beyond: A Second Order Optimizer for Binarized Neural Networks [0.0]
  Binary Neural Networks (BNNs) の最適化は、実数値の重みをバイナライズ表現で近似することに依存している。 本稿では,第2の生モーメント推定を用いて第1の生モーメントを正規化し,しきい値との比較を行うアダム法と並行する手法を提案する。 提案した2つのバージョン – バイアス付きバージョンとバイアス修正バージョン – をそれぞれ独自のアプリケーションで提示する。
  論文  参考訳（メタデータ） (2021-04-11T22:20:09Z)
• Scalable Gaussian Process Variational Autoencoders [17.345687261000045]
  本稿では,実行時およびメモリフットプリントの観点から既存手法より優れた拡張性を持つGP-VAEモデルを提案する。
  論文  参考訳（メタデータ） (2020-10-26T10:26:02Z)
• Resource Allocation via Model-Free Deep Learning in Free Space Optical Communications [119.81868223344173]
  本稿では,自由空間光学(FSO)通信におけるチャネルフェージング効果の緩和のための資源配分の一般的な問題について検討する。 本フレームワークでは,FSO資源割り当て問題を解決する2つのアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-07-27T17:38:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。