論文の概要: UniCA: Bi-directional Cross-Attention with Positive Similarity Loss for Robust Multi-Modal Retrieval
- arxiv url: http://arxiv.org/abs/2606.28350v1
- Date: Wed, 03 Jun 2026 10:57:28 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-05 17:01:29.590511
- Title: UniCA: Bi-directional Cross-Attention with Positive Similarity Loss for Robust Multi-Modal Retrieval
- Title（参考訳）: UniCA:ロバストなマルチモーダル検索のための正の類似性損失を持つ双方向クロスアテンション
- Abstract要約: マルチモーダル検索は、統合された視覚的テキストデータの量の増加を扱うためにますます重要になっている。
既存のフレームワークはテキストエンコーダによる暗黙の融合に依存しており、明示的なクロスモーダルなセマンティックアライメントを制限する。
本論文では,4つの重要なイノベーションを持つマルチモーダル検索モデルであるUniCAを提案する。
- 参考スコア（独自算出の注目度）: 11.70412524968217
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Multi-modal retrieval has become increasingly critical for handling the growing volume of integrated visual-textual data in real-world applications, but existing frameworks rely on implicit fusion via text encoder self-attention, limiting explicit cross-modal semantic alignment. To address this gap, this paper proposes UniCA (Unified Cross-Attention Encoder), a multi-modal retrieval model with four key innovations: 1) a bi-directional cross-attention (Bi-CA) block that enables active semantic exchange between visual and textual tokens prior to concatenation, capturing inter-modal correlations more efficiently. 2) a Positive Similarity Loss that optimizes absolute semantic proximity between query and positive candidate embeddings. 3) a streamlined dataset UMR-S10 (Universal Multimodal Retrieval Sample 10%) to reduce computational costs while retaining semantic diversity and task representativeness. 4) an experimental validation on the WebQA benchmark demonstrates that UniCA outperforms the baseline model across Hybrid and Image-Text tasks, achieving improvements of up to 4.09% in Recall@5, 3.28% in Recall@10, and 3.96% in MRR@1 for the hybrid task. UniCA provides an efficient and robust solution for multi-modal retrieval, lowering deployment barriers through its lightweight dataset and enhanced fusion mechanism.
- Abstract（参考訳）: マルチモーダル検索は、実世界のアプリケーションにおける統合された視覚的テキストデータの量の増加を扱うためにますます重要になっているが、既存のフレームワークはテキストエンコーダによる暗黙の融合に依存しており、明示的なモーダル間のセマンティックアライメントを制限する。
このギャップに対処するために,本研究では,4つの重要なイノベーションを持つマルチモーダル検索モデルであるUniCA(Unified Cross-Attention Encoder)を提案する。
1)両方向のクロスアテンション(Bi-CA)ブロックは,連結前の視覚的トークンとテキスト的トークンのアクティブなセマンティック交換を可能にし,モーダル間相関をより効率的に取得する。
2) 正の類似性損失は、クエリと正の候補埋め込みの間の絶対的なセマンティックな近接を最適化する。
3)UMR-S10(Universal Multimodal Retrieval Sample 10%)を合理化して,意味的多様性とタスク代表性を維持しながら計算コストを削減する。
4) WebQAベンチマークの実験的な検証では、UniCAがハイブリッドタスクとイメージテキストタスクでベースラインモデルを上回っ、Recall@5で4.09%、Recall@10で3.28%、MRR@1で3.96%の改善が達成されている。
UniCAは、マルチモーダル検索のための効率的で堅牢なソリューションを提供する。
関連論文リスト
- Unifying Generative Recall and Multi-Objective Ranking in a Single Decoder-Only Sequence [26.231002784432842]
生成的リコールとランキングのスケーリングは、共通のTransformerベースのモデリング哲学を共有している。
我々は textbfUniR$2$, textbfUnified decoder のみの変換器を提案し, 生成 textbfRecall と Multi-Objective textbfRanking を統一する。
論文 参考訳（メタデータ） (2026-07-27T13:47:38Z) - Cross-Modal Attention Network with Dual Graph Learning in Multimodal Recommendation [12.802844514133255]
二重グラフ埋め込み(CRANE)を用いたクロスモーダル再帰注意ネットワーク
我々は,共同潜在空間における相互相関に基づくモダリティ特徴を反復的に洗練するコア再帰的クロスモーダルアテンション(RCA)機構を設計する。
対称型マルチモーダル学習では,対話した項目の特徴を集約することで,ユーザのマルチモーダルプロファイルを明示的に構築する。
論文 参考訳（メタデータ） (2026-01-16T10:09:39Z) - scMRDR: A scalable and flexible framework for unpaired single-cell multi-omics data integration [53.683726781791385]
単一セルマルチオミクス(ScMRDR)と呼ばれるスケーラブルでフレキシブルな生成フレームワークを導入する。
本手法は, バッチ補正, モダリティアライメント, 生体信号保存の観点から, ベンチマークデータセット上での優れた性能を実現する。
論文 参考訳（メタデータ） (2025-10-28T21:28:39Z) - UNIDOC-BENCH: A Unified Benchmark for Document-Centric Multimodal RAG [82.84014669683863]
マルチモーダル検索拡張生成(MM-RAG)は,大規模言語モデルを現実世界の知識ベースに適用するための重要なアプローチである。
UniDoc-Benchは、70万の現実世界のPDFページから構築されたMM-RAGのための最初の大規模で現実的なベンチマークである。
実験により,マルチモーダルテキスト画像融合RAGシステムは,非モーダルおよび共同マルチモーダル埋め込みに基づく検索において一貫して優れていた。
論文 参考訳（メタデータ） (2025-10-04T04:30:13Z) - Generalized Contrastive Learning for Universal Multimodal Retrieval [53.70202081784898]
クロスモーダル検索モデル(例えばCLIP)は、融合した画像テキストのモダリティからなるキーを検索することで、劣化したパフォーマンスを示す。
本稿では,新たなデータセットキュレーションを必要とせずに,マルチモーダル検索性能を向上させる新しい損失定式化である汎用コントラスト学習(GCL)を提案する。
論文 参考訳（メタデータ） (2025-09-30T01:25:04Z) - UniECS: Unified Multimodal E-Commerce Search Framework with Gated Cross-modal Fusion [20.13803245640432]
現在のeコマースマルチモーダル検索システムは2つの重要な制限に直面している。
彼らは、固定されたモダリティペアリングで特定のタスクを最適化し、統一された検索アプローチを評価するための包括的なベンチマークを欠いている。
画像,テキスト,およびそれらの組み合わせにわたるすべての検索シナリオを処理する統合マルチモーダルeコマース検索フレームワークであるUniECSを紹介する。
論文 参考訳（メタデータ） (2025-08-19T14:06:13Z) - CART: A Generative Cross-Modal Retrieval Framework with Coarse-To-Fine Semantic Modeling [53.97609687516371]
クロスモーダル検索は、異なるモーダルデータの相互作用を通じて、クエリと意味的に関連するインスタンスを検索することを目的としている。
従来のソリューションでは、クエリと候補の間のスコアを明示的に計算するために、シングルトウワーまたはデュアルトウワーのフレームワークを使用している。
粗大なセマンティックモデリングに基づく生成的クロスモーダル検索フレームワーク(CART)を提案する。
論文 参考訳（メタデータ） (2024-06-25T12:47:04Z) - Modality-Collaborative Transformer with Hybrid Feature Reconstruction
for Robust Emotion Recognition [35.15390769958969]
ハイブリッド特徴再構成(MCT-HFR)を用いた統一型モダリティ協調変換器を提案する。
MCT-HFRは、モダリティ内およびモダリティ間関係を同時に抽出し、動的にバランスをとる新しいアテンションベースのエンコーダで構成されている。
モデルトレーニング中、LFIは、完全特徴を監督信号として活用し、局所的欠落した特徴を回復する一方、GFAはペア完全表現と不完全表現のグローバルな意味的ギャップを減らすように設計されている。
論文 参考訳（メタデータ） (2023-12-26T01:59:23Z) - Plug-and-Play Regulators for Image-Text Matching [76.28522712930668]
微細な対応と視覚的セマンティックなアライメントの爆発は、画像とテキストのマッチングにおいて大きな可能性を秘めている。
我々は、メッセージ出力を効率的にエンコードして、コンテキストを自動生成し、モーダル表現を集約する、シンプルだが非常に効果的な2つのレギュレータを開発した。
MSCOCOとFlickr30Kデータセットの実験は、複数のモデルで印象的で一貫したR@1ゲインをもたらすことができることを実証している。
論文 参考訳（メタデータ） (2023-03-23T15:42:05Z) - Efficient Multimodal Transformer with Dual-Level Feature Restoration for
Robust Multimodal Sentiment Analysis [47.29528724322795]
マルチモーダルセンシング分析(MSA)が近年注目を集めている。
著しい進歩にもかかわらず、堅牢なMSAへの道にはまだ2つの大きな課題がある。
デュアルレベル特徴回復 (EMT-DLFR) を用いた高効率マルチモーダル変圧器 (Efficient Multimodal Transformer) を提案する。
論文 参考訳（メタデータ） (2022-08-16T08:02:30Z) - Retrieve Fast, Rerank Smart: Cooperative and Joint Approaches for
Improved Cross-Modal Retrieval [80.35589927511667]
画像中のすべての単語やオブジェクトに係わるクロスアテンション機構を備えたTransformerベースのアーキテクチャを頼りに、クロスモーダル検索プロセスのテキストとビジュアルインプットへの最先端のアプローチ。
事前学習したテキスト画像のマルチモーダルモデルを効率的な検索モデルに変換する新しい微調整フレームワークを提案する。
我々は,モノリンガル,マルチリンガル,ゼロショットにおける一連の標準クロスモーダル検索ベンチマーク実験を行い,最先端クロスエンコーダに対する精度向上と大幅な効率向上を実証した。
論文 参考訳（メタデータ） (2021-03-22T15:08:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。