論文の概要: Rescuing Deep Hashing from Dead Bits Problem

• arxiv url: http://arxiv.org/abs/2102.00648v1
• Date: Mon, 1 Feb 2021 05:51:40 GMT
• ステータス: 処理完了
• システム内更新日: 2021-02-02 15:49:34.476264
• Title: Rescuing Deep Hashing from Dead Bits Problem
• Title（参考訳）: デッドビット問題からディープハッシュを救う
• Authors: Shu Zhao, Dayan Wu, Yucan Zhou, Bo Li and Weiping Wang
• Abstract要約: ディープハッシュ法における一般的な戦略は、量子化損失を最小化し、離散値に近似することである。 このパラダイムは、アクティベーション関数の間違った飽和領域により多くのハッシュビットを固定し、決してエスケープしないかもしれない。 本稿では,DBPを緩和するアクティベーション関数の前に作用する,単純だが効果的な勾配増幅器を提案する。 また、DBPをさらに緩和するために、エラー対応の量子化損失を考案する。
• 参考スコア（独自算出の注目度）: 16.898772410153672
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Deep hashing methods have shown great retrieval accuracy and efficiency in large-scale image retrieval. How to optimize discrete hash bits is always the focus in deep hashing methods. A common strategy in these methods is to adopt an activation function, e.g. $\operatorname{sigmoid}(\cdot)$ or $\operatorname{tanh}(\cdot)$, and minimize a quantization loss to approximate discrete values. However, this paradigm may make more and more hash bits stuck into the wrong saturated area of the activation functions and never escaped. We call this problem "Dead Bits Problem~(DBP)". Besides, the existing quantization loss will aggravate DBP as well. In this paper, we propose a simple but effective gradient amplifier which acts before activation functions to alleviate DBP. Moreover, we devise an error-aware quantization loss to further alleviate DBP. It avoids the negative effect of quantization loss based on the similarity between two images. The proposed gradient amplifier and error-aware quantization loss are compatible with a variety of deep hashing methods. Experimental results on three datasets demonstrate the efficiency of the proposed gradient amplifier and the error-aware quantization loss.
• Abstract（参考訳）: ディープハッシュ法は大規模画像検索において高い検索精度と効率を示す。 離散ハッシュビットの最適化は、常にディープハッシュ方式に重点を置いている。 これらの方法の一般的な戦略は、例えばアクティベーション関数を採用することである。 $\operatorname{sigmoid}(\cdot)$または$\operatorname{tanh}(\cdot)$は、近似離散値への量子化損失を最小限に抑える。 しかし、このパラダイムは、ますます多くのハッシュビットを活性化関数の間違った飽和領域に閉じ込め、決して逃がすことはないかもしれない。 この問題を "Dead Bits Problem~(DBP)" と呼ぶ。 さらに、既存の量子化損失もDBPを増大させます。 本稿では,DBPを緩和するアクティベーション関数の前に作用する,単純だが効果的な勾配増幅器を提案する。 さらに、DBPをさらに軽減するためにエラー認識量子化損失を考案する。 2つの画像の類似性に基づいて量子化損失の負の効果を回避する。 提案する勾配増幅器と誤り認識量子化損失は、様々なディープハッシュ法と互換性がある。 3つのデータセットの実験結果は、提案した勾配増幅器の効率と誤り認識量子化損失を示す。

関連論文リスト

• Scalable noisy quantum circuits for biased-noise qubits [55.41644538483948]
  安定猫量子ビットの既存システムに動機づけられたビットフリップ誤差のみに影響されるバイアスノイズ量子ビットを考察する。 我々は,このアルゴリズムを,大規模かつ複雑な量子回路のスケールにおける雑音の偏りの単純なベンチマークとして用いることを提案する。
  論文  参考訳（メタデータ） (2023-05-03T11:27:50Z)
• One Loss for Quantization: Deep Hashing with Discrete Wasserstein Distributional Matching [19.831174790835732]
  画像ハッシュ(英: image hashing)は、画像の大規模なコレクションにおいて、クエリに類似したアイテムを見つけるために、原理的に最も近い近隣アプローチである。 最適な検索性能を得るためには、低量子化誤差でバランスの取れたハッシュコードを生成することが重要である。 本稿では、量子化制約を学習するための代替手法について考察し、量子化エラーの少ないバランスの取れた符号の学習タスクを、学習された連続コードの分布と事前定義された離散的均一な分布とを一致させるものとして再定式化する。
  論文  参考訳（メタデータ） (2022-05-31T12:11:17Z)
• HHF: Hashing-guided Hinge Function for Deep Hashing Retrieval [14.35219963508551]
  textbfDeep textbfNeural textbfNetwork (DNN)によって抽出された潜時コードは、バイナライゼーションプロセス中に必然的にセマンティック情報を失う。 textbfHashing-guided textbfHinge textbfFunction (HHF) はそのような衝突を避けるために提案されている。 本稿では,パラメータ学習と量子化学習のバランスをとるために,ハッシュビット長とカテゴリ数に依存する特定の屈折点を慎重に設計する。
  論文  参考訳（メタデータ） (2021-12-04T03:16:42Z)
• n-hot: Efficient bit-level sparsity for powers-of-two neural network quantization [0.0]
  パワーオブツー(PoT)量子化は、リソース制約ハードウェア上でのディープニューラルネットワークのビット演算数を減少させる。 PoT量子化は、表現能力が限られているため、深刻な精度低下を引き起こす。 メモリ効率の高い方法で精度とコストを両立した効率的なPoT量子化方式を提案する。
  論文  参考訳（メタデータ） (2021-03-22T10:13:12Z)
• Targeted Attack against Deep Neural Networks via Flipping Limited Weight Bits [55.740716446995805]
  我々は,悪質な目的で展開段階におけるモデルパラメータを修飾する新しい攻撃パラダイムについて検討する。 私たちのゴールは、特定のサンプルをサンプル修正なしでターゲットクラスに誤分類することです。 整数プログラミングにおける最新の手法を利用することで、このBIP問題を連続最適化問題として等価に再構成する。
  論文  参考訳（メタデータ） (2021-02-21T03:13:27Z)
• Deep Momentum Uncertainty Hashing [65.27971340060687]
  我々は,新しいDeep Momentum Uncertainity Hashing (DMUH)を提案する。 トレーニング中の不確実性を明示的に推定し、不確実性情報を利用して近似過程を導出する。 提案手法は,すべてのデータセット上で最高の性能を達成し,既存の最先端手法を大きなマージンで超越する。
  論文  参考訳（メタデータ） (2020-09-17T01:57:45Z)
• Pairwise Supervised Hashing with Bernoulli Variational Auto-Encoder and Self-Control Gradient Estimator [62.26981903551382]
  バイナリ潜在変数を持つ変分自動エンコーダ(VAE)は、文書検索の精度の観点から最先端のパフォーマンスを提供する。 本稿では、クラス内類似度とクラス間類似度に報いるために、個別潜伏型VAEを用いたペアワイズ損失関数を提案する。 この新しいセマンティックハッシュフレームワークは、最先端技術よりも優れたパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2020-05-21T06:11:33Z)
• Bayesian Bits: Unifying Quantization and Pruning [73.27732135853243]
  我々は、勾配に基づく最適化による混合精度量子化とプルーニングの実用的な方法であるBayesian Bitsを紹介する。 提案手法をいくつかのベンチマーク・データセット上で実験的に検証し,プレナード付き混合精度ネットワークを学習可能であることを示す。
  論文  参考訳（メタデータ） (2020-05-14T16:00:34Z)
• Reinforcing Short-Length Hashing [61.75883795807109]
  既存の手法は、非常に短いハッシュコードを用いた検索性能が劣っている。 本研究では, 短寿命ハッシュ(RSLH)を改良する新しい手法を提案する。 本稿では,ハッシュ表現とセマンティックラベルの相互再構成を行い,セマンティック情報を保存する。 3つの大規模画像ベンチマークの実験は、様々な短いハッシュシナリオ下でのRSLHの優れた性能を示す。
  論文  参考訳（メタデータ） (2020-04-24T02:23:52Z)
• Image Hashing by Minimizing Discrete Component-wise Wasserstein Distance [12.968141477410597]
  競合するオートエンコーダは、バランスよく高品質なハッシュコードを生成する堅牢で局所性を保存するハッシュ関数を暗黙的に学習できることが示されている。 既存の逆ハッシュ法は、大規模な画像検索に非効率である。 本稿では,サンプル要求と計算コストを大幅に低減した,新しい対向型オートエンコーダハッシュ手法を提案する。
  論文  参考訳（メタデータ） (2020-02-29T00:22:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。