論文の概要: Test-time Adaptation for Cross-modal Retrieval with Query Shift

• arxiv url: http://arxiv.org/abs/2410.15624v1
• Date: Mon, 21 Oct 2024 04:08:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-22 13:17:27.983210
• Title: Test-time Adaptation for Cross-modal Retrieval with Query Shift
• Title（参考訳）: クエリシフトを用いたクロスモーダル検索のためのテスト時間適応
• Authors: Haobin Li, Peng Hu, Qianjun Zhang, Xi Peng, Xiting Liu, Mouxing Yang,
• Abstract要約: クロスモーダル検索(TCR)のためのテスト時間適応法を提案する。 本稿では,クエリシフトがクエリモダリティの均一性(すなわちモダリティ内散乱)を低下させるだけでなく,クエリとギャラリーのモダリティのギャップを増幅する。
• 参考スコア（独自算出の注目度）: 14.219337695007207
• License:
• Abstract: The success of most existing cross-modal retrieval methods heavily relies on the assumption that the given queries follow the same distribution of the source domain. However, such an assumption is easily violated in real-world scenarios due to the complexity and diversity of queries, thus leading to the query shift problem. Specifically, query shift refers to the online query stream originating from the domain that follows a different distribution with the source one. In this paper, we observe that query shift would not only diminish the uniformity (namely, within-modality scatter) of the query modality but also amplify the gap between query and gallery modalities. Based on the observations, we propose a novel method dubbed Test-time adaptation for Cross-modal Retrieval (TCR). In brief, TCR employs a novel module to refine the query predictions (namely, retrieval results of the query) and a joint objective to prevent query shift from disturbing the common space, thus achieving online adaptation for the cross-modal retrieval models with query shift. Expensive experiments demonstrate the effectiveness of the proposed TCR against query shift. The code will be released upon acceptance.
• Abstract（参考訳）: 既存のクロスモーダル検索手法の成功は、与えられたクエリがソースドメインの同じ分布に従うという仮定に大きく依存している。 しかし、そのような仮定は、クエリの複雑さと多様性のため、現実のシナリオでは容易に破られるため、クエリシフトの問題につながる。 具体的には、クエリシフトは、ソースと異なる分布に従うドメインから派生したオンラインクエリストリームを指す。 本稿では,クエリシフトがクエリモダリティの均一性(すなわちモダリティ内散乱)を低下させるだけでなく,クエリとギャラリーのモダリティのギャップを増幅する。 そこで本研究では,クロスモーダル検索(TCR)のためのテスト時間適応法を提案する。 簡単に言えば、TCRは、クエリ予測(すなわち、クエリの検索結果)を洗練させる新しいモジュールと、クエリシフトが共通空間を乱すのを防ぐための共同目的を用いて、クエリシフトを伴うクロスモーダル検索モデルに対するオンライン適応を実現する。 過剰な実験は、提案したTCRのクエリシフトに対する効果を示す。 コードは受理時にリリースされます。

関連論文リスト

• pEBR: A Probabilistic Approach to Embedding Based Retrieval [4.8338111302871525]
  埋め込み検索は、クエリとアイテムの両方の共有セマンティック表現空間を学習することを目的としている。 現在の産業実践では、検索システムは典型的には、異なるクエリに対して一定数のアイテムを検索する。
  論文  参考訳（メタデータ） (2024-10-25T07:14:12Z)
• Query matching for spatio-temporal action detection with query-based object detector [0.0]
  本稿では,ビデオの時間的一貫性を維持するために,クエリベースのオブジェクト検出モデルであるDETRを拡張する手法を提案する。 提案手法は,各フレームにDETRを適用し,時間情報を組み込むために特徴シフトを用いる。 この問題を解決するために、異なるフレーム間のクエリマッチングを提案し、同じオブジェクトのクエリが一致し、機能シフトに使用されることを保証する。
  論文  参考訳（メタデータ） (2024-09-27T02:54:24Z)
• Self-Supervised Query Reformulation for Code Search [6.415583252034772]
  本稿では,並列クエリコーパスに依存しない自己教師型クエリ再構成手法であるSSQRを提案する。 事前訓練されたモデルにインスパイアされたSSQRは、クエリ再構成をマスキング言語モデリングタスクとして扱う。
  論文  参考訳（メタデータ） (2023-07-01T08:17:23Z)
• Direct Diffusion Bridge using Data Consistency for Inverse Problems [65.04689839117692]
  拡散モデルに基づく逆問題解法は優れた性能を示したが、速度は制限されている。 いくつかの最近の研究は、拡散プロセスを構築し、クリーンで破損したものを直接ブリッジすることでこの問題を緩和しようと試みている。 微調整を必要とせずにデータの一貫性を強制する改良された推論手順を提案する。
  論文  参考訳（メタデータ） (2023-05-31T12:51:10Z)
• CAPSTONE: Curriculum Sampling for Dense Retrieval with Document Expansion [68.19934563919192]
  本稿では,学習中に擬似クエリを利用して,生成したクエリと実際のクエリとの関係を徐々に向上させるカリキュラムサンプリング戦略を提案する。 ドメイン内およびドメイン外両方のデータセットに対する実験結果から,本手法が従来の高密度検索モデルより優れていることが示された。
  論文  参考訳（メタデータ） (2022-12-18T15:57:46Z)
• LoL: A Comparative Regularization Loss over Query Reformulation Losses for Pseudo-Relevance Feedback [70.44530794897861]
  Pseudo-Relevance feedback (PRF) は、検索精度を向上させるための効果的なクエリ修正手法であることが証明されている。 既存のPRF手法は、同じクエリから派生した修正クエリを個別に扱うが、異なる数のフィードバックドキュメントを使用する。 そこで我々はLos-over-Loss(LoL)フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-04-25T10:42:50Z)
• Session-Aware Query Auto-completion using Extreme Multi-label Ranking [61.753713147852125]
  本稿では,セッション対応クエリ自動補完の新たな手法を,XMR(Multi Multi-Xtreme Ranking)問題として取り上げる。 アルゴリズムのキーステップにいくつかの修正を提案することにより、この目的のために一般的なXMRアルゴリズムを適応させる。 当社のアプローチは、セッション情報を活用しながら、自動補完システムの厳しいレイテンシ要件を満たします。
  論文  参考訳（メタデータ） (2020-12-09T17:56:22Z)
• Incorporating Behavioral Hypotheses for Query Generation [3.5873361386290643]
  本稿では,クエリ生成のための任意の仮説を集約する汎用エンコーダ・デコーダ・トランスフォーマフレームワークを提案する。 実験の結果,提案手法は単語誤り率のトップ$kとBert F1スコアを大幅に向上させることがわかった。
  論文  参考訳（メタデータ） (2020-10-06T12:38:02Z)
• Query Resolution for Conversational Search with Limited Supervision [63.131221660019776]
  本稿では,双方向トランスフォーマに基づくニューラルクエリ解決モデルQuReTeCを提案する。 我々はQuReTeCが最先端モデルより優れており、また、QuReTeCのトレーニングに必要な人為的なデータ量を大幅に削減するために、我々の遠隔監視手法が有効であることを示す。
  論文  参考訳（メタデータ） (2020-05-24T11:37:22Z)
• Query Focused Multi-Document Summarization with Distant Supervision [88.39032981994535]
  既存の作業は、クエリとテキストセグメント間の関連性を推定する検索スタイルの手法に大きく依存している。 本稿では,クエリに関連するセグメントを推定するための個別モジュールを導入した粗大なモデリングフレームワークを提案する。 我々のフレームワークは、標準QFSベンチマークにおいて、強力な比較システムよりも優れていることを実証する。
  論文  参考訳（メタデータ） (2020-04-06T22:35:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。