論文の概要: Cross Modal Retrieval with Querybank Normalisation

• arxiv url: http://arxiv.org/abs/2112.12777v1
• Date: Thu, 23 Dec 2021 18:51:58 GMT
• ステータス: 処理完了
• システム内更新日: 2021-12-24 17:27:47.958693
• Title: Cross Modal Retrieval with Querybank Normalisation
• Title（参考訳）: querybank正規化によるクロスモーダル検索
• Authors: Simion-Vlad Bogolin, Ioana Croitoru, Hailin Jin, Yang Liu, Samuel Albanie
• Abstract要約: 最先端のジョイント埋め込みは長年にわたるハブ性の問題に悩まされていることを示す。 組込み空間のハブを考慮したクエリ類似性を再正規化する,シンプルだが効果的なフレームワークを定式化する。 QB-Normは、テストセットクエリに同時アクセスすることなく効果的に動作することを示す。
• 参考スコア（独自算出の注目度）: 41.877255953069074
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Profiting from large-scale training datasets, advances in neural architecture design and efficient inference, joint embeddings have become the dominant approach for tackling cross-modal retrieval. In this work we first show that, despite their effectiveness, state-of-the-art joint embeddings suffer significantly from the longstanding hubness problem in which a small number of gallery embeddings form the nearest neighbours of many queries. Drawing inspiration from the NLP literature, we formulate a simple but effective framework called Querybank Normalisation (QB-Norm) that re-normalises query similarities to account for hubs in the embedding space. QB-Norm improves retrieval performance without requiring retraining. Differently from prior work, we show that QB-Norm works effectively without concurrent access to any test set queries. Within the QB-Norm framework, we also propose a novel similarity normalisation method, the Dynamic Inverted Softmax, that is significantly more robust than existing approaches. We showcase QB-Norm across a range of cross modal retrieval models and benchmarks where it consistently enhances strong baselines beyond the state of the art. Code is available at https://vladbogo.github.io/QB-Norm/.
• Abstract（参考訳）: 大規模トレーニングデータセットの利益、ニューラルアーキテクチャ設計の進歩、効率的な推論、ジョイント埋め込みは、クロスモーダル検索に取り組むための主要なアプローチとなっている。 本研究は,その有効性にもかかわらず,最先端のジョイント埋め込みは,少数のギャラリー埋め込みが多くのクエリの最も近い近傍を形成するという,長年にわたるハブ性の問題に著しく悩まされていることを示す。 nlp文献から着想を得て、埋め込み空間のハブを考慮したクエリ類似性を再正規化するクエリバンク正規化(qb-norm)と呼ばれる、単純で効果的なフレームワークを定式化した。 QB-Normはリトレーニングを必要とせずに検索性能を向上させる。 従来の作業とは違って、QB-Normはテストセットクエリに同時アクセスすることなく効果的に動作することを示す。 また、QB-Normフレームワーク内では、既存のアプローチよりもはるかに堅牢な新しい類似性正規化手法であるDynamic Inverted Softmaxを提案する。 QB-Normは多岐にわたるクロスモーダル検索モデルとベンチマークで紹介され、最先端の強力なベースラインを一貫して強化している。 コードはhttps://vladbogo.github.io/QB-Norm/で入手できる。

関連論文リスト

• Nearest Neighbor Normalization Improves Multimodal Retrieval [30.076028359751614]
  本稿では,Nearest Neighbor Normalization (NNN) という,追加トレーニングを伴わない訓練用コントラスト画像テキスト検索モデルの誤り訂正手法を提案する。 NNNは参照データベースを必要とするが、このデータベースのトレーニングは一切必要とせず、微調整後にモデルの取得精度を高めることもできる。
  論文  参考訳（メタデータ） (2024-10-31T16:44:10Z)
• RoarGraph: A Projected Bipartite Graph for Efficient Cross-Modal Approximate Nearest Neighbor Search [11.069814476661827]
  クロスモーダルANNSは、あるモダリティからデータベクトルを使用して、他のモダリティから最も類似したアイテムを検索することを目的としている。 最先端のANNSアプローチでは、OODワークロードのパフォーマンスが低下している。 本稿では、クエリ分布のガイダンスに基づいて構築された効率的なANNSグラフインデックスであるpRojected bipartite Graph(RoarGraph)を提案する。
  論文  参考訳（メタデータ） (2024-08-16T06:48:16Z)
• Balance Act: Mitigating Hubness in Cross-Modal Retrieval with Query and Gallery Banks [5.164924773752648]
  ハネス(Hubness)は、少数のギャラリーデータポイントが頻繁に検索される現象であり、その結果、検索性能が低下する。 ハブとしてのハブ性に対処するために,ギャラリーデータとクエリデータの両方を組み込むことは,ギャラリーデータとクエリデータとの類似性が常に高いことを示す。 本稿では,テキストイメージ,テキストビデオ,テキストオーディオなど,多様な言語基盤ベンチマークに関する広範な実験結果を示す。
  論文  参考訳（メタデータ） (2023-10-17T22:10:17Z)
• Learnable Pillar-based Re-ranking for Image-Text Retrieval [119.9979224297237]
  画像テキスト検索は、モダリティギャップを埋め、意味的類似性に基づいてモダリティコンテンツを検索することを目的としている。 一般的なポストプロセッシング手法であるリグレードは, 単一モダリティ検索タスクにおいて, 隣り合う関係を捕捉する優位性を明らかにしている。 本稿では,画像テキスト検索のための新しい学習可能な柱型リグレードパラダイムを提案する。
  論文  参考訳（メタデータ） (2023-04-25T04:33:27Z)
• Slimmable Domain Adaptation [112.19652651687402]
  重み付けモデルバンクを用いて、ドメイン間の一般化を改善するためのシンプルなフレームワーク、Slimmable Domain Adaptationを導入する。 私たちのフレームワークは、他の競合するアプローチを、複数のベンチマークにおいて非常に大きなマージンで上回ります。
  論文  参考訳（メタデータ） (2022-06-14T06:28:04Z)
• Autoregressive Search Engines: Generating Substrings as Document Identifiers [53.0729058170278]
  自動回帰言語モデルは、回答を生成するデファクト標準として現れています。 これまでの研究は、探索空間を階層構造に分割する方法を探究してきた。 本研究では,検索空間の任意の構造を強制しない代替として,経路内のすべてのngramを識別子として使用することを提案する。
  論文  参考訳（メタデータ） (2022-04-22T10:45:01Z)
• Improved Branch and Bound for Neural Network Verification via Lagrangian Decomposition [161.09660864941603]
  ニューラルネットワークの入出力特性を公式に証明するためのブランチとバウンド(BaB)アルゴリズムのスケーラビリティを改善します。 活性化に基づく新しい分岐戦略とBaBフレームワークであるブランチとデュアルネットワーク境界(BaDNB)を提案する。 BaDNBは、従来の完全検証システムを大きなマージンで上回り、対数特性で平均検証時間を最大50倍に削減した。
  論文  参考訳（メタデータ） (2021-04-14T09:22:42Z)
• CM-NAS: Cross-Modality Neural Architecture Search for Visible-Infrared Person Re-Identification [102.89434996930387]
  VI-ReIDは、暗い環境での単一モダリティ人物ReIDの制限を突破し、クロスモダリティ歩行者のイメージを一致させることを目指しています。 既存の作品は、さまざまな2ストリームアーキテクチャを手動で設計して、モダリティ固有およびモダリティシャーブル表現を別々に学習する。 CM-NAS(Cross-Modality Neural Architecture Search)という手法を提案する。
  論文  参考訳（メタデータ） (2021-01-21T07:07:00Z)
• Multi-task Retrieval for Knowledge-Intensive Tasks [21.725935960568027]
  ニューラル検索のためのマルチタスク訓練モデルを提案する。 我々のアプローチは、数ショット設定で過去の手法より優れているだけでなく、ニューラルレトリバーに匹敵する。 レトリバーの助けを借りて、ダウンストリームタスクの既存のモデルを改善し、複数のベンチマークで最先端の技術を密接に一致または改善します。
  論文  参考訳（メタデータ） (2021-01-01T00:16:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。