論文の概要: Toward Robust and Harmonious Adaptation for Cross-modal Retrieval
- arxiv url: http://arxiv.org/abs/2511.14416v1
- Date: Tue, 18 Nov 2025 12:21:23 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-11-19 16:23:53.098413
- Title: Toward Robust and Harmonious Adaptation for Cross-modal Retrieval
- Title(参考訳): クロスモーダル検索のためのロバスト・高調な適応に向けて
- Authors: Haobin Li, Mouxing Yang, Xi Peng,
- Abstract要約: クエリシフト(QS)に対するオンラインかつ調和的な適応を実現するための新しい手法を提案する。
本稿では、QSがソースモデルから受け継いだよく構造化された共通空間を損なうだけでなく、CMR(Cross-Modal Retrieval)に欠かせない一般知識を忘れることにも寄与する。
- 参考スコア(独自算出の注目度): 22.206923502018952
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recently, the general-to-customized paradigm has emerged as the dominant approach for Cross-Modal Retrieval (CMR), which reconciles the distribution shift problem between the source domain and the target domain. However, existing general-to-customized CMR methods typically assume that the entire target-domain data is available, which is easily violated in real-world scenarios and thus inevitably suffer from the query shift (QS) problem. Specifically, query shift embraces the following two characteristics and thus poses new challenges to CMR. i) Online Shift: real-world queries always arrive in an online manner, rendering it impractical to access the entire query set beforehand for customization approaches; ii) Diverse Shift: even with domain customization, the CMR models struggle to satisfy queries from diverse users or scenarios, leaving an urgent need to accommodate diverse queries. In this paper, we observe that QS would not only undermine the well-structured common space inherited from the source model, but also steer the model toward forgetting the indispensable general knowledge for CMR. Inspired by the observations, we propose a novel method for achieving online and harmonious adaptation against QS, dubbed Robust adaptation with quEry ShifT (REST). To deal with online shift, REST first refines the retrieval results to formulate the query predictions and accordingly designs a QS-robust objective function on these predictions to preserve the well-established common space in an online manner. As for tackling the more challenging diverse shift, REST employs a gradient decoupling module to dexterously manipulate the gradients during the adaptation process, thus preventing the CMR model from forgetting the general knowledge. Extensive experiments on 20 benchmarks across three CMR tasks verify the effectiveness of our method against QS.
- Abstract(参考訳): 近年,CMR (Cross-Modal Retrieval) の主要なアプローチとして一般化パラダイムが登場し,ソースドメインと対象ドメイン間の分散シフト問題を解決している。
しかし、既存の汎用CMR法では、ターゲットドメインデータ全体が利用可能であり、現実のシナリオでは容易に違反するため、クエリシフト(QS)問題に必然的に悩まされる。
具体的には、クエリシフトには以下の2つの特徴があるため、CMRに新たな課題が生じる。
一 オンラインシフト 実世界のクエリは、常にオンラインの方法で到着し、前もって、カスタマイズのアプローチのために、クエリセット全体にアクセスするのが現実的でないこと。
ii) 分散シフト: ドメインのカスタマイズにおいても、CMRモデルは多様なユーザやシナリオからのクエリを満足させるのに苦労し、さまざまなクエリに緊急に対応する必要性を残します。
本稿では、QSがソースモデルから受け継いだよく構造化された共通空間を損なうだけでなく、CMRの必然的な一般知識を忘れることにも寄与する。
そこで本研究では,quEry ShifT (REST) を用いたロバスト適応という,QSに対するオンラインかつ調和的な適応を実現するための新しい手法を提案する。
オンラインシフトに対処するため、RESTは検索結果を洗練してクエリの予測を定式化し、それに従ってQS-robustの目的関数を設計し、確立した共通空間をオンライン的に保存する。
より困難な多様なシフトに対処するために、RESTでは、適応プロセス中に勾配を巧みに操作するために勾配分離モジュールを採用しています。
3つのCMRタスクにまたがる20のベンチマークによる大規模な実験により,本手法のQSに対する有効性が確認された。
関連論文リスト
- Grounded Test-Time Adaptation for LLM Agents [75.62784644919803]
大規模言語モデル(LLM)ベースのエージェントは、新規で複雑な環境への一般化に苦慮している。
環境特化情報を活用することで, LLMエージェントを適応するための2つの戦略を提案する。
論文 参考訳(メタデータ) (2025-11-06T22:24:35Z) - Test Time Adaptation Using Adaptive Quantile Recalibration [19.97106215064574]
ドメイン適応は、現実世界のシナリオにおけるディープラーニングモデルの一般化性を高めるための重要な戦略である。
バッチ正規化統計更新に基づく最近のテスト時間適応手法は、教師なし適応を可能にする。
本稿では、チャネルワイズで量子を整列させることにより、事前アクティベーション分布を変更するテスト時間適応手法であるAdaptive Quantile Recalibration (AQR)を提案する。
論文 参考訳(メタデータ) (2025-11-05T03:12:30Z) - RAAD-LLM: Adaptive Anomaly Detection Using LLMs and RAG Integration [2.879328762187361]
本稿では,適応型異常検出のための新しいフレームワークであるRAAD-LLMを提案する。
ドメイン固有の知識を効果的に活用することにより、RAAD-LLMは時系列データにおける異常の検出を強化する。
実際のデータセットでは,70.7%から88.6%に精度が向上した。
論文 参考訳(メタデータ) (2025-03-04T17:20:43Z) - Towards Generalizable Trajectory Prediction Using Dual-Level Representation Learning And Adaptive Prompting [107.4034346788744]
既存の車両軌道予測モデルは、一般化可能性、予測の不確実性、複雑な相互作用を扱う。
本研究では,(1)自己拡張(SD)とマスドレコンストラクション(MR)による二重レベル表現学習,グローバルコンテキストと細部の詳細の収集,(2)レジスタベースのクエリと事前学習の強化,クラスタリングと抑圧の必要性の排除,(3)微調整中の適応型プロンプトチューニング,メインアーキテクチャの凍結,および少数のプロンプトの最適化といった,新たなトラジェクタ予測フレームワークであるPerceiverを提案する。
論文 参考訳(メタデータ) (2025-01-08T20:11:09Z) - Test-time Adaptation for Cross-modal Retrieval with Query Shift [14.219337695007207]
クロスモーダル検索(TCR)のためのテスト時間適応法を提案する。
本稿では,クエリシフトがクエリモダリティの均一性(すなわちモダリティ内散乱)を低下させるだけでなく,クエリとギャラリーのモダリティのギャップを増幅する。
論文 参考訳(メタデータ) (2024-10-21T04:08:19Z) - Dual Adversarial Alignment for Realistic Support-Query Shift Few-shot
Learning [15.828113109152069]
Support-Query Shift Few-shot Learningは、低次元空間に埋め込まれた学習結果に基づいて、未確認例(クエリセット)をラベル付きデータ(サポートセット)に分類することを目的としている。
本稿では,現実的なサポートクエリシフト (Realistic Support-Query Shift) という,新しい難題を提案する。
さらに,DuaL(dual adversarial alignment framework)と呼ばれる一貫した対角的特徴アライメント手法を提案し,RSQSをドメイン間バイアスとドメイン内分散の2つの側面から緩和する。
論文 参考訳(メタデータ) (2023-09-05T09:50:31Z) - Self-regulating Prompts: Foundational Model Adaptation without
Forgetting [112.66832145320434]
本稿では,PromptSRCと呼ばれる自己正規化フレームワークを提案する。
PromptSRCはタスク固有の汎用表現とタスクに依存しない汎用表現の両方に最適化するプロンプトを導く。
論文 参考訳(メタデータ) (2023-07-13T17:59:35Z) - Toward Certified Robustness Against Real-World Distribution Shifts [65.66374339500025]
我々は、データから摂動を学ぶために生成モデルを訓練し、学習したモデルの出力に関して仕様を定義する。
この設定から生じるユニークな挑戦は、既存の検証者がシグモイドの活性化を厳密に近似できないことである。
本稿では,古典的な反例誘導的抽象的洗練の概念を活用するシグモイドアクティベーションを扱うための一般的なメタアルゴリズムを提案する。
論文 参考訳(メタデータ) (2022-06-08T04:09:13Z) - Semi-Supervised Learning with Variational Bayesian Inference and Maximum
Uncertainty Regularization [62.21716612888669]
半教師付き学習(SSL)を改善するための2つの一般的な方法を提案する。
第一に、重量摂動(WP)を既存のCR(Consistency regularization)ベースの手法に統合する。
第2の手法は「最大不確実性正規化(MUR)」と呼ばれる新しい整合性損失を提案する。
論文 参考訳(メタデータ) (2020-12-03T09:49:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。