論文の概要: IntraQ: Learning Synthetic Images with Intra-Class Heterogeneity for
Zero-Shot Network Quantization
- arxiv url: http://arxiv.org/abs/2111.09136v1
- Date: Wed, 17 Nov 2021 14:17:19 GMT
- ステータス: 処理完了
- システム内更新日: 2021-11-18 17:26:36.108102
- Title: IntraQ: Learning Synthetic Images with Intra-Class Heterogeneity for
Zero-Shot Network Quantization
- Title(参考訳): intraq: ゼロショットネットワーク量子化のためのクラス内不均一性を用いた合成画像の学習
- Authors: Yunshan Zhong, Mingbao Lin, Gongrui Nan, Jianzhuang Liu, Baochang
Zhang, Yonghong Tian, Rongrong Ji
- Abstract要約: IntraQと呼ばれる新しいゼロショット量子化法を提案する。
まず,合成画像の異なるスケールと位置で対象物を特定する局所的物体補強法を提案する。
第2に、粗い領域に分布するクラス関連特徴を形成するために、限界距離制約を導入する。
第3に,軟弱な先行ラベルを注入するソフトロスを考案し,合成画像が固定対象物に過度に収まらないようにした。
- 参考スコア(独自算出の注目度): 118.39791787743401
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Learning to synthesize data has emerged as a promising direction in zero-shot
quantization (ZSQ), which represents neural networks by low-bit integer without
accessing any of the real data. In this paper, we observe an interesting
phenomenon of intra-class heterogeneity in real data and show that existing
methods fail to retain this property in their synthetic images, which causes a
limited performance increase. To address this issue, we propose a novel
zero-shot quantization method referred to as IntraQ. First, we propose a local
object reinforcement that locates the target objects at different scales and
positions of the synthetic images. Second, we introduce a marginal distance
constraint to form class-related features distributed in a coarse area. Lastly,
we devise a soft inception loss which injects a soft prior label to prevent the
synthetic images from being overfitting to a fixed object. Our IntraQ is
demonstrated to well retain the intra-class heterogeneity in the synthetic
images and also observed to perform state-of-the-art. For example, compared to
the advanced ZSQ, our IntraQ obtains 9.17\% increase of the top-1 accuracy on
ImageNet when all layers of MobileNetV1 are quantized to 4-bit. Code is at
https://github.com/viperit/InterQ.
- Abstract(参考訳): データを合成する学習は、実データにアクセスせずに低ビット整数でニューラルネットワークを表現するゼロショット量子化(zsq)において、有望な方向として現れてきた。
本稿では,実データにおけるクラス内不均一性の興味深い現象を観察し,既存の手法ではそれらの合成画像にその性質を保持できず,性能が低下することを示した。
そこで本研究では,intraqと呼ばれるゼロショット量子化法を提案する。
まず,ターゲットオブジェクトを合成画像のスケールや位置の異なる場所に配置する局所オブジェクト強化を提案する。
次に,粗い領域に分散したクラス関連特徴を形成するために,限界距離制約を導入する。
最後に,合成画像が固定対象物に過度に収まらないよう,ソフトな先行ラベルを注入するソフトな開始損失を考案する。
IntraQは, 合成画像のクラス内不均一性を良好に保ち, また, 最先端の動作も観察した。
例えば、advanced zsqと比較して、mobilenetv1の全層を4ビットに量子化すると、intraqはimagenetのtop-1精度を9.17\%向上させる。
コードはhttps://github.com/viperit/InterQ.comにある。
関連論文リスト
- Semantic Ensemble Loss and Latent Refinement for High-Fidelity Neural
Image Compression [62.888755394395716]
本研究は、最適な視覚的忠実度のために設計された強化されたニューラル圧縮手法を提案する。
我々は,洗練されたセマンティック・アンサンブル・ロス,シャルボニエ・ロス,知覚的損失,スタイル・ロス,非バイナリ・ディバイザ・ロスを組み込んだモデルを構築した。
実験により,本手法は神経画像圧縮の統計的忠実度を著しく向上させることが示された。
論文 参考訳(メタデータ) (2024-01-25T08:11:27Z) - Transformer-based No-Reference Image Quality Assessment via Supervised
Contrastive Learning [36.695247860715874]
本稿では,新しいコントラスト学習 (Contrastive Learning, SCL) と NR-IQA モデル SaTQA を提案する。
まず、SCLによる大規模合成データセット上にモデルをトレーニングし、様々な歪みタイプとレベルの画像の劣化特徴を抽出する。
画像から歪み情報を抽出するために,CNNインダクティブバイアスとTransformerの長期依存性モデリング機能を組み合わせることで,マルチストリームブロック(MSB)を組み込んだバックボーンネットワークを提案する。
7つの標準IQAデータセットの実験結果から、SaTQAは合成データセットと認証データセットの両方において最先端の手法より優れていることが示された。
論文 参考訳(メタデータ) (2023-12-12T06:01:41Z) - Explore the Power of Synthetic Data on Few-shot Object Detection [27.26215175101865]
Few-shot Object Detection (FSOD) は、トレーニングのいくつかの例に限って、新しいカテゴリのオブジェクト検出器を拡張することを目的としている。
近年のテキスト・画像生成モデルでは,高品質な画像を生成する上で有望な結果が得られている。
この研究は、最先端のテキスト・ツー・イメージ・ジェネレータから生成された合成画像がFSODタスクにどのように貢献するかを幅広く研究している。
論文 参考訳(メタデータ) (2023-03-23T12:34:52Z) - DeepDC: Deep Distance Correlation as a Perceptual Image Quality
Evaluator [53.57431705309919]
ImageNet Pre-trained Deep Neural Network (DNN)は、効果的な画像品質評価(IQA)モデルを構築するための顕著な転送性を示す。
我々は,事前学習DNN機能のみに基づく新しいフル参照IQA(FR-IQA)モデルを開発した。
5つの標準IQAデータセット上で,提案した品質モデルの優位性を示すため,包括的実験を行った。
論文 参考訳(メタデータ) (2022-11-09T14:57:27Z) - A Shared Representation for Photorealistic Driving Simulators [83.5985178314263]
本稿では、識別器アーキテクチャを再考することにより、生成画像の品質を向上させることを提案する。
シーンセグメンテーションマップや人体ポーズといったセマンティックインプットによって画像が生成されるという問題に焦点が当てられている。
我々は,意味的セグメンテーション,コンテンツ再構成,および粗い粒度の逆解析を行うのに十分な情報をエンコードする,共有潜在表現を学習することを目指している。
論文 参考訳(メタデータ) (2021-12-09T18:59:21Z) - Image Quality Assessment using Contrastive Learning [50.265638572116984]
我々は、補助的な問題を解決するために、対照的な対の目的を用いて深層畳み込みニューラルネットワーク(CNN)を訓練する。
本研究では,最新のNR画像品質モデルと比較して,ContriQUEが競争性能を向上することを示す。
以上の結果から,大きなラベル付き主観的画像品質データセットを必要とせずに,知覚的関連性を持つ強力な品質表現が得られることが示唆された。
論文 参考訳(メタデータ) (2021-10-25T21:01:00Z) - SIMPL: Generating Synthetic Overhead Imagery to Address Zero-shot and
Few-Shot Detection Problems [5.668569695717809]
ディープニューラルネットワーク(DNN)は、オーバヘッド(例えば衛星)画像における物体検出において大きな成功を収めている。
進行中の課題の1つは、衛星画像の取得とオブジェクトの注釈付けのコストが高いため、トレーニングデータの取得である。
本稿では,SIMPL(Synthetic Object IMPLantation)と呼ばれるシンプルなアプローチを提案する。
論文 参考訳(メタデータ) (2021-06-29T19:06:05Z) - Synthesize-It-Classifier: Learning a Generative Classifier through
RecurrentSelf-analysis [9.029985847202667]
本研究では,高分解能,フォトリアリスティック,多彩な画像を大規模に合成することにより,画像分類ネットワークの生成能力を示す。
Synthesize-It-Classifier(STIC)と呼ばれる全体的な方法論は、データ分布の密度を推定するために明示的なジェネレータネットワークを必要としません。
ImageNetデータセット上で合成された画像の反復描画を示すAttentive-STICネットワークを実証する。
論文 参考訳(メタデータ) (2021-03-26T02:00:29Z) - Hierarchical Quantized Autoencoders [3.9146761527401432]
本稿では,Vector Quantized Variencoders (VQ-VAEs) の階層構造を用いて,高い圧縮係数を求める。
量子化と階層的潜在構造の組み合わせは、確率に基づく画像圧縮に役立つことを示す。
得られたスキームは、高い知覚品質の画像を再構成するマルコフ変数の列を生成する。
論文 参考訳(メタデータ) (2020-02-19T11:26:34Z) - ZeroQ: A Novel Zero Shot Quantization Framework [83.63606876854168]
量子化は、ニューラルネットワークの推論時間とメモリフットプリントを削減するための有望なアプローチである。
既存のゼロショット量子化法では、異なるエポックを用いてこの問題に対処するが、性能は低下する。
本稿では,この問題に対処する新しいゼロショット量子化フレームワークであるZeroQを提案する。
論文 参考訳(メタデータ) (2020-01-01T23:58:26Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。