論文の概要: Dynamic Visual Semantic Sub-Embeddings and Fast Re-Ranking
- arxiv url: http://arxiv.org/abs/2309.08154v2
- Date: Thu, 21 Dec 2023 03:53:38 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-22 18:19:49.189950
- Title: Dynamic Visual Semantic Sub-Embeddings and Fast Re-Ranking
- Title（参考訳）: 動的ビジュアルセマンティックサブ埋め込みと高速リランキング
- Authors: Wenzhang Wei, Zhipeng Gui, Changguang Wu, Anqi Zhao, Dehua Peng, Huayi
Wu
- Abstract要約: 情報エントロピーを低減するために動的ビジュアルセマンティックサブエンベッドディングフレームワーク(DVSE)を提案する。
生成した候補埋め込みに様々な意味的変動を捉えるよう促すため,混合分布を構築した。
3つのベンチマークデータセット上の4つの画像特徴エンコーダと2つのテキスト特徴エンコーダを用いて,既存のセットベース手法と比較した。
- 参考スコア（独自算出の注目度）: 0.5242869847419834
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The core of cross-modal matching is to accurately measure the similarity
between different modalities in a unified representation space. However,
compared to textual descriptions of a certain perspective, the visual modality
has more semantic variations. So, images are usually associated with multiple
textual captions in databases. Although popular symmetric embedding methods
have explored numerous modal interaction approaches, they often learn toward
increasing the average expression probability of multiple semantic variations
within image embeddings. Consequently, information entropy in embeddings is
increased, resulting in redundancy and decreased accuracy. In this work, we
propose a Dynamic Visual Semantic Sub-Embeddings framework (DVSE) to reduce the
information entropy. Specifically, we obtain a set of heterogeneous visual
sub-embeddings through dynamic orthogonal constraint loss. To encourage the
generated candidate embeddings to capture various semantic variations, we
construct a mixed distribution and employ a variance-aware weighting loss to
assign different weights to the optimization process. In addition, we develop a
Fast Re-ranking strategy (FR) to efficiently evaluate the retrieval results and
enhance the performance. We compare the performance with existing set-based
method using four image feature encoders and two text feature encoders on three
benchmark datasets: MSCOCO, Flickr30K and CUB Captions. We also show the role
of different components by ablation studies and perform a sensitivity analysis
of the hyperparameters. The qualitative analysis of visualized bidirectional
retrieval and attention maps further demonstrates the ability of our method to
encode semantic variations.
- Abstract（参考訳）: クロスモーダルマッチングのコアは、統一表現空間における異なるモダリティ間の類似性を正確に測定することである。
しかし、ある視点のテキスト記述と比較すると、視覚的モダリティはより意味的なバリエーションを持つ。
そのため、画像は通常、データベース内の複数のテキストキャプションに関連付けられる。
一般的な対称埋め込み法は多数のモーダル相互作用のアプローチを探索してきたが、画像埋め込みにおける複数の意味的変動の平均表現確率を高めるためにしばしば学習される。
これにより、埋め込みにおける情報エントロピーが増大し、冗長性と精度が低下する。
本稿では,情報エントロピーの低減を目的とした動的ビジュアルセマンティクスサブエンベディングフレームワーク(dvse)を提案する。
具体的には,動的直交制約損失による不均一な視覚サブエンベディングのセットを得る。
生成した候補埋め込みに様々な意味的変動を捉えるよう促すため、混合分布を構築し、分散認識重み損失を用いて最適化プロセスに異なる重みを割り当てる。
さらに,検索結果を効率的に評価し,性能を向上させるための高速リランク戦略 (FR) を開発した。
MSCOCO, Flickr30K, CUB Captionsの3つのベンチマークデータセット上で, 4つの画像特徴エンコーダと2つのテキスト特徴エンコーダを用いた既存のセットベース手法との比較を行った。
また,アブレーション研究によって異なる成分の役割を示し,ハイパーパラメータの感度解析を行う。
さらに,可視化された双方向検索とアテンションマップの質的解析により,セマンティックなバリエーションを符号化できることを示す。
関連論文リスト
- DEMO: A Statistical Perspective for Efficient Image-Text Matching [32.256725860652914]
本稿では,効率的な画像テキストマッチングのための分散型構造マイニングと一貫性学習(DEMO)を提案する。
DEMOは、複数の拡張ビューを使用して各画像を特徴付け、本質的な意味分布から引き出されたサンプルと見なされる。
さらに,ハミング空間の類似構造を保存するだけでなく,異なる方向からの検索分布の整合性も促進する協調的一貫性学習を導入する。
論文 参考訳（メタデータ） (2024-05-19T09:38:56Z) - Language Guided Domain Generalized Medical Image Segmentation [68.93124785575739]
単一ソースドメインの一般化は、より信頼性が高く一貫性のあるイメージセグメンテーションを現実の臨床環境にわたって約束する。
本稿では,テキストエンコーダ機能によって案内されるコントラスト学習機構を組み込むことで,テキスト情報を明確に活用する手法を提案する。
文献における既存手法に対して,本手法は良好な性能を発揮する。
論文 参考訳（メタデータ） (2024-04-01T17:48:15Z) - Fine-grained Recognition with Learnable Semantic Data Augmentation [68.48892326854494]
きめ細かい画像認識は、長年続くコンピュータビジョンの課題である。
本稿では,識別領域損失問題を軽減するため,特徴レベルのトレーニングデータを多様化することを提案する。
本手法は,いくつかの人気分類ネットワーク上での一般化性能を著しく向上させる。
論文 参考訳（メタデータ） (2023-09-01T11:15:50Z) - Feature Decoupling-Recycling Network for Fast Interactive Segmentation [79.22497777645806]
近年のインタラクティブセグメンテーション手法では,入力としてソースイメージ,ユーザガイダンス,従来予測されていたマスクを反復的に取り込んでいる。
本稿では,本質的な相違点に基づいてモデリングコンポーネントを分離するFDRN(Feature Decoupling-Recycling Network)を提案する。
論文 参考訳（メタデータ） (2023-08-07T12:26:34Z) - Deep Diversity-Enhanced Feature Representation of Hyperspectral Images [87.47202258194719]
トポロジを改良して3次元畳み込みを補正し,上行階の高次化を図る。
また、要素間の独立性を最大化するために特徴マップに作用する新しい多様性対応正規化(DA-Reg)項を提案する。
提案したRe$3$-ConvSetとDA-Regの優位性を実証するために,様々なHS画像処理および解析タスクに適用する。
論文 参考訳（メタデータ） (2023-01-15T16:19:18Z) - Improving Cross-Modal Retrieval with Set of Diverse Embeddings [19.365974066256026]
画像とテキストのモダリティを横断するクロスモーダル検索は、その固有の曖昧さのために難しい課題である。
この問題の解決策として、セットベースの埋め込みが研究されている。
本稿では,従来の2つの側面において異なる,新しい集合ベースの埋め込み手法を提案する。
論文 参考訳（メタデータ） (2022-11-30T05:59:23Z) - Semantic Image Synthesis via Diffusion Models [159.4285444680301]
Denoising Diffusion Probabilistic Models (DDPM) は様々な画像生成タスクにおいて顕著な成功を収めた。
セマンティック画像合成に関する最近の研究は、主に「GAN(Generative Adversarial Nets)」に追従している。
論文 参考訳（メタデータ） (2022-06-30T18:31:51Z) - MPI: Multi-receptive and Parallel Integration for Salient Object
Detection [17.32228882721628]
深い特徴のセマンティック表現は、画像コンテキスト理解に不可欠である。
本稿では,MPIと呼ばれる新しい手法を提案する。
提案手法は,異なる評価基準下での最先端手法よりも優れる。
論文 参考訳（メタデータ） (2021-08-08T12:01:44Z) - Beyond the Deep Metric Learning: Enhance the Cross-Modal Matching with
Adversarial Discriminative Domain Regularization [21.904563910555368]
本稿では,画像とテキストのペア内における識別データドメインの集合を構築するための新しい学習フレームワークを提案する。
我々のアプローチは一般的に既存のメトリクス学習フレームワークの学習効率と性能を改善することができる。
論文 参考訳（メタデータ） (2020-10-23T01:48:37Z) - Learning to Compose Hypercolumns for Visual Correspondence [57.93635236871264]
本稿では,画像に条件付けされた関連レイヤを活用することで,動的に効率的な特徴を構成する視覚対応手法を提案する。
提案手法はダイナミックハイパーピクセルフロー(Dynamic Hyperpixel Flow)と呼ばれ,深層畳み込みニューラルネットワークから少数の関連層を選択することにより,高速にハイパーカラム機能を構成することを学習する。
論文 参考訳（メタデータ） (2020-07-21T04:03:22Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。