論文の概要: Bit-mask Robust Contrastive Knowledge Distillation for Unsupervised Semantic Hashing

• arxiv url: http://arxiv.org/abs/2403.06071v1
• Date: Sun, 10 Mar 2024 03:33:59 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-13 08:50:57.877590
• Title: Bit-mask Robust Contrastive Knowledge Distillation for Unsupervised Semantic Hashing
• Title（参考訳）: 教師なしセマンティックハッシュのためのビットマスクロバストコントラスト知識蒸留
• Authors: Liyang He, Zhenya Huang, Jiayu Liu, Enhong Chen, Fei Wang, Jing Sha, Shijin Wang
• Abstract要約: セマンティックハッシュのための革新的なBit-mask Robust Contrastive Knowledge Distillation (BRCD)法を提案する。 BRCDはセマンティックハッシュモデルの蒸留のために特別に考案されている。
• 参考スコア（独自算出の注目度）: 71.47723696190184
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Unsupervised semantic hashing has emerged as an indispensable technique for fast image search, which aims to convert images into binary hash codes without relying on labels. Recent advancements in the field demonstrate that employing large-scale backbones (e.g., ViT) in unsupervised semantic hashing models can yield substantial improvements. However, the inference delay has become increasingly difficult to overlook. Knowledge distillation provides a means for practical model compression to alleviate this delay. Nevertheless, the prevailing knowledge distillation approaches are not explicitly designed for semantic hashing. They ignore the unique search paradigm of semantic hashing, the inherent necessities of the distillation process, and the property of hash codes. In this paper, we propose an innovative Bit-mask Robust Contrastive knowledge Distillation (BRCD) method, specifically devised for the distillation of semantic hashing models. To ensure the effectiveness of two kinds of search paradigms in the context of semantic hashing, BRCD first aligns the semantic spaces between the teacher and student models through a contrastive knowledge distillation objective. Additionally, to eliminate noisy augmentations and ensure robust optimization, a cluster-based method within the knowledge distillation process is introduced. Furthermore, through a bit-level analysis, we uncover the presence of redundancy bits resulting from the bit independence property. To mitigate these effects, we introduce a bit mask mechanism in our knowledge distillation objective. Finally, extensive experiments not only showcase the noteworthy performance of our BRCD method in comparison to other knowledge distillation methods but also substantiate the generality of our methods across diverse semantic hashing models and backbones. The code for BRCD is available at https://github.com/hly1998/BRCD.
• Abstract（参考訳）: 教師なしのセマンティックハッシュは、ラベルに依存することなく、イメージをバイナリハッシュコードに変換することを目的とした、高速画像検索に欠かせないテクニックとして登場した。 この分野の最近の進歩は、教師なしのセマンティックハッシュモデルに大規模なバックボーン(vitなど)を使用することで大幅に改善できることを示している。 しかし、推測遅延は見落としがますます難しくなっている。 知識蒸留は、この遅延を軽減するための実用的なモデル圧縮の手段を提供する。 それでも、一般的な知識蒸留アプローチは、セマンティックハッシュのために明示的に設計されていない。 彼らは、セマンティックハッシュのユニークな検索パラダイム、蒸留プロセスの固有の必須性、ハッシュコードの特性を無視している。 本稿では, セマンティックハッシュモデルの蒸留のために考案された, 革新的なBit-mask Robust Contrastive Knowledge Distillation (BRCD)法を提案する。 意味ハッシュの文脈における2種類の探索パラダイムの有効性を確保するため,BRCDは教師と生徒のモデル間の意味空間を,対照的な知識蒸留の目的を通じて整列させる。 さらに,ノイズの増大を排除し,ロバストな最適化を確保するために,知識蒸留プロセス内のクラスタベースの手法を導入している。 さらに,ビットレベルの解析により,ビット独立性に起因する冗長性ビットの存在を明らかにする。 これらの効果を緩和するため,我々は知識蒸留目的にビットマスク機構を導入する。 最後に, BRCD法の性能を他の知識蒸留法と比較するだけでなく, 多様な意味ハッシュモデルやバックボーンにまたがる手法の汎用性を実証した。 BRCDのコードはhttps://github.com/hly1998/BRCDで公開されている。

関連論文リスト

• Semantic-Aware Adversarial Training for Reliable Deep Hashing Retrieval [26.17466361744519]
  敵対的な例は、ディープハッシュモデルにセキュリティ上の脅威をもたらす。 逆のサンプルのハッシュコードと主スタイ特徴の間のハミング距離を最大化して作られた逆の例。 初めて、深部ハッシュの形式化された対角訓練を統一されたミニマックス構造に定式化する。
  論文  参考訳（メタデータ） (2023-10-23T07:21:40Z)
• Weighted Contrastive Hashing [11.14153532458873]
  教師なしハッシュ開発は、世界限定の画像表現に基づくデータ類似性マイニングの不足によって妨げられている。 本稿では,欠落した画像構造によって引き起こされるネットワーク特徴における情報非対称性の問題を軽減するために,新たな相互注意モジュールを提案する。 深い画像関係を反映した集約重み付き類似性を蒸留し、蒸留損失を伴うハッシュコード学習を容易にする。
  論文  参考訳（メタデータ） (2022-09-28T13:47:33Z)
• CIMON: Towards High-quality Hash Codes [63.37321228830102]
  我々はtextbfComprehensive stextbfImilarity textbfMining と ctextbfOnsistency leartextbfNing (CIMON) という新しい手法を提案する。 まず、グローバルな洗練と類似度統計分布を用いて、信頼性とスムーズなガイダンスを得る。第二に、意味的整合性学習とコントラスト的整合性学習の両方を導入して、乱不変と差別的ハッシュコードの両方を導出する。
  論文  参考訳（メタデータ） (2020-10-15T14:47:14Z)
• Deep Reinforcement Learning with Label Embedding Reward for Supervised Image Hashing [85.84690941656528]
  深層型ハッシュのための新しい意思決定手法を提案する。 我々はBose-Chaudhuri-Hocquenghem符号で定義された新しいラベル埋め込み報酬を用いて、深いQ-ネットワークを学ぶ。 我々の手法は、様々なコード長で最先端の教師付きハッシュ法より優れています。
  論文  参考訳（メタデータ） (2020-08-10T09:17:20Z)
• Deep Hashing with Hash-Consistent Large Margin Proxy Embeddings [65.36757931982469]
  画像ハッシュコードは、分類または検索のために訓練された畳み込みニューラルネットワーク(CNN)の埋め込みをバイナライズすることによって生成される。 この曖昧さを解消するために、固定されたプロキシ(CNN分類層の重み)の使用が提案されている。 得られたHCLMプロキシはハッシュ単位の飽和を促進することが示され、小さな二項化誤差が保証される。
  論文  参考訳（メタデータ） (2020-07-27T23:47:43Z)
• Dual-level Semantic Transfer Deep Hashing for Efficient Social Image Retrieval [35.78137004253608]
  ソーシャルネットワークは膨大な量のユーザ共有画像を保存し、配布する。 ディープハッシュは、大規模社会画像検索をサポートする効率的なインデックス化技術である。 既存の手法は、大量のディープニューラルネットワークパラメータを最適化する際に、深刻なセマンティックな不足に悩まされる。 本稿では,DSTDH(Dual-level Semantic Transfer Deep Hashing)法を提案する。
  論文  参考訳（メタデータ） (2020-06-10T01:03:09Z)
• Procrustean Orthogonal Sparse Hashing [3.302605292858623]
  昆虫の嗅覚は, スパースハッシュと構造的に, 機能的に類似していることが示されている。 本稿ではこれらの知見を統一する新しい方法であるPOSH(Procrustean Orthogonal Sparse Hashing)を提案する。 本稿では,これらの欠陥に対処する2つの新しい手法,Binary OSLとSphericalHashを提案する。
  論文  参考訳（メタデータ） (2020-06-08T18:09:33Z)
• Pairwise Supervised Hashing with Bernoulli Variational Auto-Encoder and Self-Control Gradient Estimator [62.26981903551382]
  バイナリ潜在変数を持つ変分自動エンコーダ(VAE)は、文書検索の精度の観点から最先端のパフォーマンスを提供する。 本稿では、クラス内類似度とクラス間類似度に報いるために、個別潜伏型VAEを用いたペアワイズ損失関数を提案する。 この新しいセマンティックハッシュフレームワークは、最先端技術よりも優れたパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2020-05-21T06:11:33Z)
• Reinforcing Short-Length Hashing [61.75883795807109]
  既存の手法は、非常に短いハッシュコードを用いた検索性能が劣っている。 本研究では, 短寿命ハッシュ(RSLH)を改良する新しい手法を提案する。 本稿では,ハッシュ表現とセマンティックラベルの相互再構成を行い,セマンティック情報を保存する。 3つの大規模画像ベンチマークの実験は、様々な短いハッシュシナリオ下でのRSLHの優れた性能を示す。
  論文  参考訳（メタデータ） (2020-04-24T02:23:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。