論文の概要: Text-Guided Visual Representation Learning for Robust Multimodal E-Commerce Recommendation

• arxiv url: http://arxiv.org/abs/2605.17366v1
• Date: Sun, 17 May 2026 10:20:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-19 17:57:47.92573
• Title: Text-Guided Visual Representation Learning for Robust Multimodal E-Commerce Recommendation
• Title（参考訳）: ロバストなマルチモーダルEコマースレコメンデーションのためのテキストガイド型ビジュアル表現学習
• Authors: Yufei Guo, Jing Ma, Tianlu Zhang, Shijie Yang, Yanlong Zang, Weijie Ding, Pinghua Gong, Jungong Han,
• Abstract要約: Text-Guided Q-Formerはテキストガイドによる視覚表現学習フレームワークである。 メタデータと探索的なビジュアルストリームを分離し、軽量で信頼性に配慮したデュアルゲートベクトル変調モジュールを導入する。 フルプール検索による大規模な実世界のeコマースデータセットの実験では、TGQ-Formerは強いコネクタベースラインとエンドツーエンドMLLMを一貫して上回っている。
• 参考スコア（独自算出の注目度）: 51.52908699287466
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Multimodal item embeddings are crucial for e-commerce item-to-item (I2I) retrieval, yet real-world product images often contain promotional overlays and background clutter that inject spurious visual cues and degrade retrieval robustness. This issue is particularly pronounced in MLRM-style pipelines, where a frozen vision encoder is connected to an LLM through a lightweight connector that must selectively aggregate visual tokens. We propose Text-Guided Q-Former (TGQ-Former), a text-guided visual representation learning framework that leverages structured metadata as semantic guidance for visual token extraction while preserving complementary visual evidence. Concretely, TGQ-Former employs a hybrid-query connector to disentangle metadata-anchored and exploratory visual streams, and introduces a lightweight reliability-aware dual-gated vector modulation module to adaptively calibrate their contributions under noisy inputs. Experiments on large-scale, real-world e-commerce datasets with full-pool retrieval show that TGQ-Former consistently outperforms strong connector baselines and end-to-end MLLMs. On average, it improves Hit Rate@100 (H@100) by 6.04%, demonstrating the effectiveness of text-guided visual encoding for robust multimodal retrieval.
• Abstract（参考訳）: マルチモーダルアイテムの埋め込みは、Eコマースアイテム・ツー・イテム(I2I)検索に不可欠であるが、実際の製品画像は、しばしば、刺激的な視覚的手がかりを注入し、検索の堅牢性を低下させるプロモーションオーバーレイと背景クラッタを含んでいる。 この問題はMLRM方式のパイプラインでは特に顕著であり、凍結された視覚エンコーダは軽量なコネクタを通してLCMに接続され、視覚トークンを選択的に集約する必要がある。 本稿では、構造化メタデータを視覚的トークン抽出のセマンティックガイダンスとして活用し、補完的な視覚的証拠を保存したテキストガイド型Q-Former(TGQ-Former)を提案する。 具体的には、TGQ-Formerは、メタデータと探索的なビジュアルストリームを分離するためにハイブリッドクエリコネクタを使用し、軽量で信頼性に配慮したデュアルゲートベクトル変調モジュールを導入し、ノイズの多い入力下でコントリビューションを適応的に調整する。 フルプール検索による大規模な実世界のeコマースデータセットの実験では、TGQ-Formerは強いコネクタベースラインとエンドツーエンドMLLMを一貫して上回っている。 平均して、Hit Rate@100(H@100)を6.04%改善し、堅牢なマルチモーダル検索のためのテキスト誘導ビジュアルエンコーディングの有効性を示した。

関連論文リスト

• AFMRL: Attribute-Enhanced Fine-Grained Multi-Modal Representation Learning in E-commerce [16.733243065736023]
  属性強化細粒度マルチモーダル表現学習(AFMRL)を提案する。 プロダクトのきめ細かい理解を属性生成タスクとして定義する。 MLLM(Multimodal Large Language Models)の生成力を利用して、製品画像やテキストから重要な属性を抽出する。
  論文  参考訳（メタデータ） (2026-04-22T03:02:21Z)
• Learning Item Representations Directly from Multimodal Features for Effective Recommendation [51.49251689107541]
  マルチモーダルレコメンデータシステムは、主にベイズパーソナライズされたランク付け(BPR)最適化を利用してアイテム表現を学習する。 本稿では,マルチモーダルな特徴からアイテム表現を直接学習し,推薦性能を向上する新しいモデル(LIRDRec)を提案する。
  論文  参考訳（メタデータ） (2025-05-08T05:42:22Z)
• QID: Efficient Query-Informed ViTs in Data-Scarce Regimes for OCR-free Visual Document Understanding [53.69841526266547]
  トレーニング済みのVision-Language Modelを新しいデータセットで微調整することは、ビジョンエンコーダの最適化に不足することが多い。 視覚エンコーダにクエリの埋め込みを統合する,新しい,合理化されたアーキテクチャ保存アプローチであるQIDを導入する。
  論文  参考訳（メタデータ） (2025-04-03T18:47:16Z)
• Towards Text-Image Interleaved Retrieval [49.96332254241075]
  テキスト画像検索(TIIR)タスクを導入し、クエリと文書をインターリーブしたテキスト画像シーケンスとする。 我々は、自然にインターリーブされたwikiHowチュートリアルに基づいてTIIRベンチマークを構築し、インターリーブされたクエリを生成するために特定のパイプラインを設計する。 異なる粒度で視覚トークンの数を圧縮する新しいMMEを提案する。
  論文  参考訳（メタデータ） (2025-02-18T12:00:47Z)
• Instruction Tuning-free Visual Token Complement for Multimodal LLMs [51.138806401996696]
  マルチモーダルな大言語モデル(MLLM)は、視覚と言語の間のエレガントな橋渡しを約束している。 本稿では,MLLM が欠落した視覚機能を取り戻すのに役立つ Visual Token Complement フレームワーク (VTC) を提案する。 我々のVTCは、テキスト不関連特徴を特定するためのガイドとしてテキスト・ツー・イメージ生成を統合し、視覚的セレクタを開発し、補完的な視覚的トークンを生成する。
  論文  参考訳（メタデータ） (2024-08-09T12:13:01Z)
• Mobile User Interface Element Detection Via Adaptively Prompt Tuning [15.438504077368936]
  我々はMUI-zhという新しいMUI要素検出データセットを開発した。 本稿では,OCR情報を識別するためのAPT(Adaptively Prompt Tuning)モジュールを提案する。
  論文  参考訳（メタデータ） (2023-05-16T07:16:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。