論文の概要: IntraQ: Learning Synthetic Images with Intra-Class Heterogeneity for Zero-Shot Network Quantization

• arxiv url: http://arxiv.org/abs/2111.09136v1
• Date: Wed, 17 Nov 2021 14:17:19 GMT
• ステータス: 処理完了
• システム内更新日: 2021-11-18 17:26:36.108102
• Title: IntraQ: Learning Synthetic Images with Intra-Class Heterogeneity for Zero-Shot Network Quantization
• Title（参考訳）: intraq: ゼロショットネットワーク量子化のためのクラス内不均一性を用いた合成画像の学習
• Authors: Yunshan Zhong, Mingbao Lin, Gongrui Nan, Jianzhuang Liu, Baochang Zhang, Yonghong Tian, Rongrong Ji
• Abstract要約: IntraQと呼ばれる新しいゼロショット量子化法を提案する。 まず,合成画像の異なるスケールと位置で対象物を特定する局所的物体補強法を提案する。 第2に、粗い領域に分布するクラス関連特徴を形成するために、限界距離制約を導入する。 第3に,軟弱な先行ラベルを注入するソフトロスを考案し,合成画像が固定対象物に過度に収まらないようにした。
• 参考スコア（独自算出の注目度）: 118.39791787743401
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Learning to synthesize data has emerged as a promising direction in zero-shot quantization (ZSQ), which represents neural networks by low-bit integer without accessing any of the real data. In this paper, we observe an interesting phenomenon of intra-class heterogeneity in real data and show that existing methods fail to retain this property in their synthetic images, which causes a limited performance increase. To address this issue, we propose a novel zero-shot quantization method referred to as IntraQ. First, we propose a local object reinforcement that locates the target objects at different scales and positions of the synthetic images. Second, we introduce a marginal distance constraint to form class-related features distributed in a coarse area. Lastly, we devise a soft inception loss which injects a soft prior label to prevent the synthetic images from being overfitting to a fixed object. Our IntraQ is demonstrated to well retain the intra-class heterogeneity in the synthetic images and also observed to perform state-of-the-art. For example, compared to the advanced ZSQ, our IntraQ obtains 9.17\% increase of the top-1 accuracy on ImageNet when all layers of MobileNetV1 are quantized to 4-bit. Code is at https://github.com/viperit/InterQ.
• Abstract（参考訳）: データを合成する学習は、実データにアクセスせずに低ビット整数でニューラルネットワークを表現するゼロショット量子化(zsq)において、有望な方向として現れてきた。 本稿では,実データにおけるクラス内不均一性の興味深い現象を観察し,既存の手法ではそれらの合成画像にその性質を保持できず,性能が低下することを示した。 そこで本研究では,intraqと呼ばれるゼロショット量子化法を提案する。 まず,ターゲットオブジェクトを合成画像のスケールや位置の異なる場所に配置する局所オブジェクト強化を提案する。 次に,粗い領域に分散したクラス関連特徴を形成するために,限界距離制約を導入する。 最後に,合成画像が固定対象物に過度に収まらないよう,ソフトな先行ラベルを注入するソフトな開始損失を考案する。 IntraQは, 合成画像のクラス内不均一性を良好に保ち, また, 最先端の動作も観察した。 例えば、advanced zsqと比較して、mobilenetv1の全層を4ビットに量子化すると、intraqはimagenetのtop-1精度を9.17\%向上させる。 コードはhttps://github.com/viperit/InterQ.comにある。

関連論文リスト

• RATLIP: Generative Adversarial CLIP Text-to-Image Synthesis Based on Recurrent Affine Transformations [0.0]
  条件付きアフィン変換(CAT)は、画像中のコンテンツ合成を制御するために、GANの異なる層に適用されている。 まず、各レイヤがグローバル情報にアクセスできるようにするために、CATとRAT(Recurrent Neural Network)をモデル化する。 次に、リカレントニューラルネットワークにおける情報忘れの特性を軽減するために、RAT間のシャッフルアテンションを導入する。
  論文  参考訳（メタデータ） (2024-05-13T18:49:18Z)
• Zero-Shot Distillation for Image Encoders: How to Make Effective Use of Synthetic Data [40.37396692278567]
  我々は、効率的なゼロショット分類のための画像エンコーダの小さな変種を訓練することに重点を置いている。 合成データの使用は、より大きな教師の蒸留表現において有望であることが示され、強い数発のプローブ性能と線形プローブ性能が得られた。 対照的な損失を使用する場合、真のゼロショット設定では、このアプローチが驚くほど失敗することがわかった。
  論文  参考訳（メタデータ） (2024-04-25T14:24:41Z)
• Explore the Power of Synthetic Data on Few-shot Object Detection [27.26215175101865]
  Few-shot Object Detection (FSOD) は、トレーニングのいくつかの例に限って、新しいカテゴリのオブジェクト検出器を拡張することを目的としている。 近年のテキスト・画像生成モデルでは,高品質な画像を生成する上で有望な結果が得られている。 この研究は、最先端のテキスト・ツー・イメージ・ジェネレータから生成された合成画像がFSODタスクにどのように貢献するかを幅広く研究している。
  論文  参考訳（メタデータ） (2023-03-23T12:34:52Z)
• DeepDC: Deep Distance Correlation as a Perceptual Image Quality Evaluator [53.57431705309919]
  ImageNet Pre-trained Deep Neural Network (DNN)は、効果的な画像品質評価(IQA)モデルを構築するための顕著な転送性を示す。 我々は,事前学習DNN機能のみに基づく新しいフル参照IQA(FR-IQA)モデルを開発した。 5つの標準IQAデータセット上で,提案した品質モデルの優位性を示すため,包括的実験を行った。
  論文  参考訳（メタデータ） (2022-11-09T14:57:27Z)
• Noise Self-Regression: A New Learning Paradigm to Enhance Low-Light Images Without Task-Related Data [86.68013790656762]
  タスク関連のデータにアクセスせずにノイズ自己回帰(NoiSER)を提案する。 NoiSERは品質向上に非常に競争力があるが、モデルのサイズははるかに小さく、トレーニングや推論のコストもはるかに低い。
  論文  参考訳（メタデータ） (2022-11-09T06:18:18Z)
• A Shared Representation for Photorealistic Driving Simulators [83.5985178314263]
  本稿では、識別器アーキテクチャを再考することにより、生成画像の品質を向上させることを提案する。 シーンセグメンテーションマップや人体ポーズといったセマンティックインプットによって画像が生成されるという問題に焦点が当てられている。 我々は,意味的セグメンテーション,コンテンツ再構成,および粗い粒度の逆解析を行うのに十分な情報をエンコードする,共有潜在表現を学習することを目指している。
  論文  参考訳（メタデータ） (2021-12-09T18:59:21Z)
• Image Quality Assessment using Contrastive Learning [50.265638572116984]
  我々は、補助的な問題を解決するために、対照的な対の目的を用いて深層畳み込みニューラルネットワーク(CNN)を訓練する。 本研究では,最新のNR画像品質モデルと比較して,ContriQUEが競争性能を向上することを示す。 以上の結果から,大きなラベル付き主観的画像品質データセットを必要とせずに,知覚的関連性を持つ強力な品質表現が得られることが示唆された。
  論文  参考訳（メタデータ） (2021-10-25T21:01:00Z)
• SIMPL: Generating Synthetic Overhead Imagery to Address Zero-shot and Few-Shot Detection Problems [5.668569695717809]
  ディープニューラルネットワーク(DNN)は、オーバヘッド(例えば衛星)画像における物体検出において大きな成功を収めている。 進行中の課題の1つは、衛星画像の取得とオブジェクトの注釈付けのコストが高いため、トレーニングデータの取得である。 本稿では,SIMPL(Synthetic Object IMPLantation)と呼ばれるシンプルなアプローチを提案する。
  論文  参考訳（メタデータ） (2021-06-29T19:06:05Z)
• Hierarchical Quantized Autoencoders [3.9146761527401432]
  本稿では,Vector Quantized Variencoders (VQ-VAEs) の階層構造を用いて,高い圧縮係数を求める。 量子化と階層的潜在構造の組み合わせは、確率に基づく画像圧縮に役立つことを示す。 得られたスキームは、高い知覚品質の画像を再構成するマルコフ変数の列を生成する。
  論文  参考訳（メタデータ） (2020-02-19T11:26:34Z)
• ZeroQ: A Novel Zero Shot Quantization Framework [83.63606876854168]
  量子化は、ニューラルネットワークの推論時間とメモリフットプリントを削減するための有望なアプローチである。 既存のゼロショット量子化法では、異なるエポックを用いてこの問題に対処するが、性能は低下する。 本稿では,この問題に対処する新しいゼロショット量子化フレームワークであるZeroQを提案する。
  論文  参考訳（メタデータ） (2020-01-01T23:58:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。