論文の概要: Implicit Feature Decoupling with Depthwise Quantization

• arxiv url: http://arxiv.org/abs/2203.08080v1
• Date: Tue, 15 Mar 2022 17:07:19 GMT
• ステータス: 処理完了
• システム内更新日: 2022-03-16 12:38:12.731416
• Title: Implicit Feature Decoupling with Depthwise Quantization
• Title（参考訳）: 奥行き量子化による暗黙的特徴デカップリング
• Authors: Iordanis Fostiropoulos, Barry Boehm
• Abstract要約: ディープニューラルネットワーク(DNN)の複数の領域に量子化が適用されている。 我々は、$textitquantization$を、$textitfeature axis$の弱い統計的依存の分解されたサブテンソルに適用するDQ(Depthwise Quantization)を提案する。 この機能の分解により、$textitrepresentationキャパシティが指数関数的に増加し、メモリとパラメータのコストが線形的に増加する。
• 参考スコア（独自算出の注目度）: 2.728575246952532
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Quantization has been applied to multiple domains in Deep Neural Networks (DNNs). We propose Depthwise Quantization (DQ) where $\textit{quantization}$ is applied to a decomposed sub-tensor along the $\textit{feature axis}$ of weak statistical dependence. The feature decomposition leads to an exponential increase in $\textit{representation capacity}$ with a linear increase in memory and parameter cost. In addition, DQ can be directly applied to existing encoder-decoder frameworks without modification of the DNN architecture. We use DQ in the context of Hierarchical Auto-Encoder and train end-to-end on an image feature representation. We provide an analysis on cross-correlation between spatial and channel features and we propose a decomposition of the image feature representation along the channel axis. The improved performance of the depthwise operator is due to the increased representation capacity from implicit feature decoupling. We evaluate DQ on the likelihood estimation task, where it outperforms the previous state-of-the-art on CIFAR-10, ImageNet-32 and ImageNet-64. We progressively train with increasing image size a single hierarchical model that uses 69% less parameters and has a faster convergence than the previous works.
• Abstract（参考訳）: 量子化はディープニューラルネットワーク(DNN)の複数の領域に適用されている。 弱統計依存の$\textit{feature axis}$ に沿って分解された部分テンソルに$\textit{quantization}$ が適用される深さ方向量子化 (dq) を提案する。 特徴分解によって$\textit{representation capacity}$が指数関数的に増加し、メモリとパラメータコストが線形的に増加する。 さらに、DNNアーキテクチャを変更することなく、既存のエンコーダ/デコーダフレームワークに直接適用することができる。 dqを階層型オートエンコーダのコンテキストで使用し,画像特徴表現のエンドツーエンドをトレーニングする。 本稿では,空間的特徴とチャネル的特徴の相互相関解析を行い,チャネル軸に沿った画像特徴表現の分解を提案する。 奥行き方向演算子の性能向上は、暗黙的特徴分離による表現能力の増大によるものである。 CIFAR-10, ImageNet-32, ImageNet-64では, 従来よりも高い精度でDQを評価した。 画像サイズを増加させることで,69%のパラメータを削減し,従来よりも高速なコンバージェンスを持つ単一の階層モデルを段階的にトレーニングする。

関連論文リスト

• Chasing Better Deep Image Priors between Over- and Under-parameterization [63.8954152220162]
  そこで本研究では,DNN固有の空間性を利用して,LIP(lottery image prior)を新たに検討する。 LIPworksは、コンパクトなモデルサイズでディープデコーダを著しく上回っている。 また、LIPを圧縮センシング画像再構成に拡張し、事前学習したGANジェネレータを前者として使用する。
  論文  参考訳（メタデータ） (2024-10-31T17:49:44Z)
• Raising The Limit Of Image Rescaling Using Auxiliary Encoding [7.9700865143145485]
  近年、IRNのような画像再スケーリングモデルは、INNの双方向性を利用して、画像アップスケーリングのパフォーマンス限界を押し上げている。 本稿では,画像再スケーリング性能の限界をさらに押し上げるために,補助符号化モジュールを提案する。
  論文  参考訳（メタデータ） (2023-03-12T20:49:07Z)
• CADyQ: Content-Aware Dynamic Quantization for Image Super-Resolution [55.50793823060282]
  本稿では,画像超解像(SR)ネットワークのための新しいコンテント・アウェア・ダイナミック量子化(CADyQ)手法を提案する。 CADyQは、入力画像のローカル内容に基づいて、局所領域と層に最適なビットを適応的に割り当てる。 パイプラインは様々なSRネットワークでテストされ、いくつかの標準ベンチマークで評価されている。
  論文  参考訳（メタデータ） (2022-07-21T07:50:50Z)
• Autoregressive Image Generation using Residual Quantization [40.04085054791994]
  本稿では,高解像度画像を生成するための2段階のフレームワークを提案する。 フレームワークはResidual-Quantized VAE (RQ-VAE)とRQ-Transformerで構成されている。 提案手法は,高画質画像を生成するために,従来のARモデルよりもはるかに高速なサンプリング速度を有する。
  論文  参考訳（メタデータ） (2022-03-03T11:44:46Z)
• Scalable Visual Transformers with Hierarchical Pooling [61.05787583247392]
  本稿では,視覚的トークンを徐々にプールしてシーケンス長を縮小する階層的ビジュアルトランスフォーマ(hvt)を提案する。 計算の複雑さを増すことなく、深さ/幅/解像度/パッチサイズの寸法をスケールすることで、大きなメリットをもたらします。 当社のHVTはImageNetとCIFAR-100データセットの競合ベースラインを上回っています。
  論文  参考訳（メタデータ） (2021-03-19T03:55:58Z)
• Spatial Dependency Networks: Neural Layers for Improved Generative Image Modeling [79.15521784128102]
  画像生成装置(デコーダ)を構築するための新しいニューラルネットワークを導入し、可変オートエンコーダ(VAE)に適用する。 空間依存ネットワーク(sdns)では、ディープニューラルネットの各レベルにおける特徴マップを空間的にコヒーレントな方法で計算する。 空間依存層による階層型vaeのデコーダの強化は密度推定を大幅に改善することを示す。
  論文  参考訳（メタデータ） (2021-03-16T07:01:08Z)
• Learning Deep Interleaved Networks with Asymmetric Co-Attention for Image Restoration [65.11022516031463]
  本稿では,高品質(本社)画像再構成のために,異なる状態の情報をどのように組み合わせるべきかを学習するディープインターリーブドネットワーク(DIN)を提案する。 本稿では,各インターリーブノードにアタッチメントされた非対称なコアテンション(AsyCA)を提案し,その特性依存性をモデル化する。 提案したDINはエンドツーエンドで訓練でき、様々な画像復元タスクに適用できる。
  論文  参考訳（メタデータ） (2020-10-29T15:32:00Z)
• Tensor Reordering for CNN Compression [7.228285747845778]
  畳み込みニューラルネットワーク(CNN)フィルタにおけるパラメータ冗長性は,スペクトル領域におけるプルーニングによって効果的に低減できることを示す。 提案手法は事前学習したCNNに対して適用され,最小限の微調整により元のモデル性能を回復できることを示す。
  論文  参考訳（メタデータ） (2020-10-22T23:45:34Z)
• Sequential Hierarchical Learning with Distribution Transformation for Image Super-Resolution [83.70890515772456]
  画像SRのための逐次階層学習型超解像ネットワーク(SHSR)を構築した。 特徴のスケール間相関を考察し、階層的情報を段階的に探索するシーケンシャルなマルチスケールブロック(SMB)を考案する。 実験結果から,SHSRは最先端手法に優れた定量的性能と視覚的品質が得られることが示された。
  論文  参考訳（メタデータ） (2020-07-19T01:35:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。