論文の概要: Test-time Adaptation for Cross-modal Retrieval with Query Shift

• arxiv url: http://arxiv.org/abs/2410.15624v1
• Date: Mon, 21 Oct 2024 04:08:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-22 13:17:27.983210
• Title: Test-time Adaptation for Cross-modal Retrieval with Query Shift
• Title（参考訳）: クエリシフトを用いたクロスモーダル検索のためのテスト時間適応
• Authors: Haobin Li, Peng Hu, Qianjun Zhang, Xi Peng, Xiting Liu, Mouxing Yang,
• Abstract要約: クロスモーダル検索(TCR)のためのテスト時間適応法を提案する。 本稿では,クエリシフトがクエリモダリティの均一性(すなわちモダリティ内散乱)を低下させるだけでなく,クエリとギャラリーのモダリティのギャップを増幅する。
• 参考スコア（独自算出の注目度）: 14.219337695007207
• License:
• Abstract: The success of most existing cross-modal retrieval methods heavily relies on the assumption that the given queries follow the same distribution of the source domain. However, such an assumption is easily violated in real-world scenarios due to the complexity and diversity of queries, thus leading to the query shift problem. Specifically, query shift refers to the online query stream originating from the domain that follows a different distribution with the source one. In this paper, we observe that query shift would not only diminish the uniformity (namely, within-modality scatter) of the query modality but also amplify the gap between query and gallery modalities. Based on the observations, we propose a novel method dubbed Test-time adaptation for Cross-modal Retrieval (TCR). In brief, TCR employs a novel module to refine the query predictions (namely, retrieval results of the query) and a joint objective to prevent query shift from disturbing the common space, thus achieving online adaptation for the cross-modal retrieval models with query shift. Expensive experiments demonstrate the effectiveness of the proposed TCR against query shift. The code will be released upon acceptance.
• Abstract（参考訳）: 既存のクロスモーダル検索手法の成功は、与えられたクエリがソースドメインの同じ分布に従うという仮定に大きく依存している。 しかし、そのような仮定は、クエリの複雑さと多様性のため、現実のシナリオでは容易に破られるため、クエリシフトの問題につながる。 具体的には、クエリシフトは、ソースと異なる分布に従うドメインから派生したオンラインクエリストリームを指す。 本稿では,クエリシフトがクエリモダリティの均一性(すなわちモダリティ内散乱)を低下させるだけでなく,クエリとギャラリーのモダリティのギャップを増幅する。 そこで本研究では,クロスモーダル検索(TCR)のためのテスト時間適応法を提案する。 簡単に言えば、TCRは、クエリ予測(すなわち、クエリの検索結果)を洗練させる新しいモジュールと、クエリシフトが共通空間を乱すのを防ぐための共同目的を用いて、クエリシフトを伴うクロスモーダル検索モデルに対するオンライン適応を実現する。 過剰な実験は、提案したTCRのクエリシフトに対する効果を示す。 コードは受理時にリリースされます。

関連論文リスト

• Options-Aware Dense Retrieval for Multiple-Choice query Answering [5.098112872671412]
  長文複数選択質問応答タスクは、広範囲なテキストソースに対して頑健な推論を必要とする。 この領域における先行研究は、主に事前訓練された高密度検索モデルを利用している。 本稿では,これらの課題に対処するため,OADR (Options Aware Dense Retrieval) と呼ばれる新しい手法を提案する。
  論文  参考訳（メタデータ） (2025-01-27T15:03:26Z)
• Parallel Key-Value Cache Fusion for Position Invariant RAG [55.9809686190244]
  大規模言語モデル(LLM)は、コンテキスト内の関連する情報の位置に敏感である。 入力コンテキスト順序に関係なく,デコーダのみのモデルに対して一貫した出力を生成するフレームワークを導入する。
  論文  参考訳（メタデータ） (2025-01-13T17:50:30Z)
• pEBR: A Probabilistic Approach to Embedding Based Retrieval [4.8338111302871525]
  埋め込み検索は、クエリとアイテムの両方の共有セマンティック表現空間を学習することを目的としている。 現在の産業実践では、検索システムは典型的には、異なるクエリに対して一定数のアイテムを検索する。
  論文  参考訳（メタデータ） (2024-10-25T07:14:12Z)
• Query matching for spatio-temporal action detection with query-based object detector [0.0]
  本稿では,ビデオの時間的一貫性を維持するために,クエリベースのオブジェクト検出モデルであるDETRを拡張する手法を提案する。 提案手法は,各フレームにDETRを適用し,時間情報を組み込むために特徴シフトを用いる。 この問題を解決するために、異なるフレーム間のクエリマッチングを提案し、同じオブジェクトのクエリが一致し、機能シフトに使用されることを保証する。
  論文  参考訳（メタデータ） (2024-09-27T02:54:24Z)
• Self-Supervised Query Reformulation for Code Search [6.415583252034772]
  本稿では,並列クエリコーパスに依存しない自己教師型クエリ再構成手法であるSSQRを提案する。 事前訓練されたモデルにインスパイアされたSSQRは、クエリ再構成をマスキング言語モデリングタスクとして扱う。
  論文  参考訳（メタデータ） (2023-07-01T08:17:23Z)
• Direct Diffusion Bridge using Data Consistency for Inverse Problems [65.04689839117692]
  拡散モデルに基づく逆問題解法は優れた性能を示したが、速度は制限されている。 いくつかの最近の研究は、拡散プロセスを構築し、クリーンで破損したものを直接ブリッジすることでこの問題を緩和しようと試みている。 微調整を必要とせずにデータの一貫性を強制する改良された推論手順を提案する。
  論文  参考訳（メタデータ） (2023-05-31T12:51:10Z)
• CAPSTONE: Curriculum Sampling for Dense Retrieval with Document Expansion [68.19934563919192]
  本稿では,学習中に擬似クエリを利用して,生成したクエリと実際のクエリとの関係を徐々に向上させるカリキュラムサンプリング戦略を提案する。 ドメイン内およびドメイン外両方のデータセットに対する実験結果から,本手法が従来の高密度検索モデルより優れていることが示された。
  論文  参考訳（メタデータ） (2022-12-18T15:57:46Z)
• LoL: A Comparative Regularization Loss over Query Reformulation Losses for Pseudo-Relevance Feedback [70.44530794897861]
  Pseudo-Relevance feedback (PRF) は、検索精度を向上させるための効果的なクエリ修正手法であることが証明されている。 既存のPRF手法は、同じクエリから派生した修正クエリを個別に扱うが、異なる数のフィードバックドキュメントを使用する。 そこで我々はLos-over-Loss(LoL)フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-04-25T10:42:50Z)
• Query Resolution for Conversational Search with Limited Supervision [63.131221660019776]
  本稿では,双方向トランスフォーマに基づくニューラルクエリ解決モデルQuReTeCを提案する。 我々はQuReTeCが最先端モデルより優れており、また、QuReTeCのトレーニングに必要な人為的なデータ量を大幅に削減するために、我々の遠隔監視手法が有効であることを示す。
  論文  参考訳（メタデータ） (2020-05-24T11:37:22Z)
• Query Focused Multi-Document Summarization with Distant Supervision [88.39032981994535]
  既存の作業は、クエリとテキストセグメント間の関連性を推定する検索スタイルの手法に大きく依存している。 本稿では,クエリに関連するセグメントを推定するための個別モジュールを導入した粗大なモデリングフレームワークを提案する。 我々のフレームワークは、標準QFSベンチマークにおいて、強力な比較システムよりも優れていることを実証する。
  論文  参考訳（メタデータ） (2020-04-06T22:35:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。