論文の概要: Unsupervised Hashing with Semantic Concept Mining

• arxiv url: http://arxiv.org/abs/2209.11475v1
• Date: Fri, 23 Sep 2022 08:25:24 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-26 17:16:54.966993
• Title: Unsupervised Hashing with Semantic Concept Mining
• Title（参考訳）: 意味的概念マイニングによる教師なしハッシュ
• Authors: Rong-Cheng Tu and Xian-Ling Mao and Kevin Qinghong Lin and Chengfei Cai and Weize Qin and Hongfa Wang and Wei Wei and Heyan Huang
• Abstract要約: 本稿では,A を利用したセマンティック・マイニング・コンセプト "Un Hashing with Semantic Mining Concept" を提案する。 高品質な類似性マトリックス。 意味的類似度行列を案内情報として、修正された対照的な損失に基づく正規化項目による新規ハッシュ損失を提案し、ハッシュネットワークを最適化する。
• 参考スコア（独自算出の注目度）: 37.215530006668935
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recently, to improve the unsupervised image retrieval performance, plenty of unsupervised hashing methods have been proposed by designing a semantic similarity matrix, which is based on the similarities between image features extracted by a pre-trained CNN model. However, most of these methods tend to ignore high-level abstract semantic concepts contained in images. Intuitively, concepts play an important role in calculating the similarity among images. In real-world scenarios, each image is associated with some concepts, and the similarity between two images will be larger if they share more identical concepts. Inspired by the above intuition, in this work, we propose a novel Unsupervised Hashing with Semantic Concept Mining, called UHSCM, which leverages a VLP model to construct a high-quality similarity matrix. Specifically, a set of randomly chosen concepts is first collected. Then, by employing a vision-language pretraining (VLP) model with the prompt engineering which has shown strong power in visual representation learning, the set of concepts is denoised according to the training images. Next, the proposed method UHSCM applies the VLP model with prompting again to mine the concept distribution of each image and construct a high-quality semantic similarity matrix based on the mined concept distributions. Finally, with the semantic similarity matrix as guiding information, a novel hashing loss with a modified contrastive loss based regularization item is proposed to optimize the hashing network. Extensive experiments on three benchmark datasets show that the proposed method outperforms the state-of-the-art baselines in the image retrieval task.
• Abstract（参考訳）: 近年,教師なし画像検索の性能向上のために,事前学習したCNNモデルにより抽出された画像特徴の類似性に基づく意味的類似度行列を設計することで,教師なしハッシュ法が多数提案されている。 しかし、これらの手法の多くは画像に含まれる高レベルの抽象的意味概念を無視する傾向にある。 直感的には、概念は画像間の類似性を計算する上で重要な役割を果たす。 現実のシナリオでは、各イメージはいくつかの概念に関連付けられており、2つのイメージ間の類似性は、より同一のコンセプトを共有する場合より大きくなる。 上記の直感にインスパイアされた本研究では,VLPモデルを利用して高品質な類似性行列を構築する,UHSCMと呼ばれる,非教師付きハッシュとセマンティック概念マイニングを提案する。 具体的には、ランダムに選択された概念のセットを最初に収集する。 そして、視覚表現学習において強力な力を示すプロンプトエンジニアリングを用いて視覚言語前訓練(vlp)モデルを使用することにより、学習画像に応じて概念集合を分別する。 次に,提案手法をVLPモデルに適用し,各画像の概念分布をマイニングし,マイニングされた概念分布に基づいて高品質な意味的類似性行列を構築する。 最後に、意味的類似度行列を案内情報として、修正された対照的な損失に基づく正規化項目による新規ハッシュ損失を提案し、ハッシュネットワークを最適化する。 3つのベンチマークデータセットの大規模な実験により,提案手法は画像検索タスクにおける最先端のベースラインよりも優れていた。

関連論文リスト

• MCM: Multi-layer Concept Map for Efficient Concept Learning from Masked Images [5.09981114473162]
  マスク画像に基づく効率的な概念学習法を考案する最初の試みであるMCM(Multi-layer Concept Map)を提案する。 特に,異なるエンコーダ層とデコーダ層との相関関係を確立することで,非対称な概念学習アーキテクチャを導入する。 MCMは、全画像パッチの75%未満をトレーニングすることで、計算コストを大幅に削減する。
  論文  参考訳（メタデータ） (2025-02-01T01:45:49Z)
• COMIX: Compositional Explanations using Prototypes [46.15031477955461]
  本稿では,機械表現を人間の理解と整合させる手法を提案する。 提案手法はCOMIXと呼ばれ,学習概念に基づいて領域に分解することで画像の分類を行う。 提案手法は説明の完全性を提供し,その効率性は他の本質的に解釈可能なアーキテクチャと競合することを示す。
  論文  参考訳（メタデータ） (2025-01-10T15:40:31Z)
• DEMO: A Statistical Perspective for Efficient Image-Text Matching [32.256725860652914]
  本稿では,効率的な画像テキストマッチングのための分散型構造マイニングと一貫性学習(DEMO)を提案する。 DEMOは、複数の拡張ビューを使用して各画像を特徴付け、本質的な意味分布から引き出されたサンプルと見なされる。 さらに,ハミング空間の類似構造を保存するだけでなく,異なる方向からの検索分布の整合性も促進する協調的一貫性学習を導入する。
  論文  参考訳（メタデータ） (2024-05-19T09:38:56Z)
• Visual Concept-driven Image Generation with Text-to-Image Diffusion Model [65.96212844602866]
  テキスト・ツー・イメージ(TTI)モデルは複雑なシーンの高解像度画像を生成するという印象的な結果を示した。 近年のアプローチでは、これらの手法をパーソナライズ技術で拡張し、ユーザ認証の概念の統合を可能にしている。 しかし、人間の被写体のような複数の相互作用する概念を持つ画像を生成する能力は、1つにまたがったり、複数にまたがったりする概念は、いまだに説明がつかないままである。 これらの課題に対処する概念駆動型TTIパーソナライズフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-02-18T07:28:37Z)
• Break-A-Scene: Extracting Multiple Concepts from a Single Image [80.47666266017207]
  テキストシーン分解の課題を紹介する。 本稿では,対象概念の存在を示すマスクを用いた入力画像の拡張を提案する。 次に、新しい2段階のカスタマイズプロセスを示す。
  論文  参考訳（メタデータ） (2023-05-25T17:59:04Z)
• ACSeg: Adaptive Conceptualization for Unsupervised Semantic Segmentation [17.019848796027485]
  自己教師付き視覚事前学習モデルでは,画素レベルの意味的関係を表現することに大きな期待が持たれている。 本研究では,自己学習モデルにおける画素レベルのセマンティックアグリゲーションを画像エンコードや設計概念として検討する。 本稿では,これらのプロトタイプを各画像に対する情報的概念に適応的にマッピングするアダプティブ・コンセプト・ジェネレータ(ACG)を提案する。
  論文  参考訳（メタデータ） (2022-10-12T06:16:34Z)
• Weighted Contrastive Hashing [11.14153532458873]
  教師なしハッシュ開発は、世界限定の画像表現に基づくデータ類似性マイニングの不足によって妨げられている。 本稿では,欠落した画像構造によって引き起こされるネットワーク特徴における情報非対称性の問題を軽減するために,新たな相互注意モジュールを提案する。 深い画像関係を反映した集約重み付き類似性を蒸留し、蒸留損失を伴うハッシュコード学習を容易にする。
  論文  参考訳（メタデータ） (2022-09-28T13:47:33Z)
• Semantic Image Synthesis via Diffusion Models [159.4285444680301]
  Denoising Diffusion Probabilistic Models (DDPM) は様々な画像生成タスクにおいて顕著な成功を収めた。 セマンティック画像合成に関する最近の研究は、主に「GAN(Generative Adversarial Nets)」に追従している。
  論文  参考訳（メタデータ） (2022-06-30T18:31:51Z)
• Deep Variational Network Toward Blind Image Restoration [60.45350399661175]
  ブラインド画像復元はコンピュータビジョンでは一般的だが難しい問題である。 両利点を両立させることを目的として,新しいブラインド画像復元手法を提案する。 画像デノイングと超解像という2つの典型的なブラインド赤外線タスクの実験により,提案手法が現状よりも優れた性能を達成できることが実証された。
  論文  参考訳（メタデータ） (2020-08-25T03:30:53Z)
• Learning Representations by Predicting Bags of Visual Words [55.332200948110895]
  自己教師付き表現学習ターゲットは、ラベルなしデータから畳み込みに基づく画像表現を学習する。 この分野におけるNLP手法の成功に触発された本研究では,空間的に高密度な画像記述に基づく自己教師型アプローチを提案する。
  論文  参考訳（メタデータ） (2020-02-27T16:45:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。