論文の概要: VL-CLIP: Enhancing Multimodal Recommendations via Visual Grounding and LLM-Augmented CLIP Embeddings
- arxiv url: http://arxiv.org/abs/2507.17080v1
- Date: Tue, 22 Jul 2025 23:45:43 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-07-24 22:33:14.805261
- Title: VL-CLIP: Enhancing Multimodal Recommendations via Visual Grounding and LLM-Augmented CLIP Embeddings
- Title（参考訳）: VL-CLIP:ビジュアルグラウンドとLLM拡張CLIP埋め込みによるマルチモーダルレコメンデーションの強化
- Authors: Ramin Giahi, Kehui Yao, Sriram Kollipara, Kai Zhao, Vahid Mirjalili, Jianpeng Xu, Topojoy Biswas, Evren Korpeoglu, Kannan Achan,
- Abstract要約: マルチモーダル学習は今日,eコマースレコメンデーションプラットフォームにおいて重要な役割を担っている。
CLIPのような既存のビジョン言語モデルは、eコマースレコメンデーションシステムにおいて重要な課題に直面している。
視覚的理解のきめ細かな理解のためにVisual Groundingを統合することにより,CLIPの埋め込みを強化するフレームワークであるVL-CLIPを提案する。
- 参考スコア（独自算出の注目度）: 11.209519424876762
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Multimodal learning plays a critical role in e-commerce recommendation platforms today, enabling accurate recommendations and product understanding. However, existing vision-language models, such as CLIP, face key challenges in e-commerce recommendation systems: 1) Weak object-level alignment, where global image embeddings fail to capture fine-grained product attributes, leading to suboptimal retrieval performance; 2) Ambiguous textual representations, where product descriptions often lack contextual clarity, affecting cross-modal matching; and 3) Domain mismatch, as generic vision-language models may not generalize well to e-commerce-specific data. To address these limitations, we propose a framework, VL-CLIP, that enhances CLIP embeddings by integrating Visual Grounding for fine-grained visual understanding and an LLM-based agent for generating enriched text embeddings. Visual Grounding refines image representations by localizing key products, while the LLM agent enhances textual features by disambiguating product descriptions. Our approach significantly improves retrieval accuracy, multimodal retrieval effectiveness, and recommendation quality across tens of millions of items on one of the largest e-commerce platforms in the U.S., increasing CTR by 18.6%, ATC by 15.5%, and GMV by 4.0%. Additional experimental results show that our framework outperforms vision-language models, including CLIP, FashionCLIP, and GCL, in both precision and semantic alignment, demonstrating the potential of combining object-aware visual grounding and LLM-enhanced text representation for robust multimodal recommendations.
- Abstract（参考訳）: マルチモーダル学習は、現在のeコマースレコメンデーションプラットフォームにおいて重要な役割を担い、正確なレコメンデーションと製品理解を可能にしている。
しかし、CLIPのような既存のビジョン言語モデルは、eコマースレコメンデーションシステムにおいて重要な課題に直面している。
1)大域的な画像埋め込みが細粒度の製品属性を捉えず、最適以下の検索性能に繋がる弱オブジェクトレベルのアライメント。
2) 製品記述に文脈的明確さが欠如し,相互対応に影響を及ぼす曖昧なテキスト表現
3) ドメインミスマッチは、一般的な視覚言語モデルでは、eコマース固有のデータには当てはまらない。
このような制約に対処するために,視覚的きめ細かい理解のためのVisual Groundingと,リッチテキスト埋め込みを生成するLLMベースのエージェントを統合することで,CLIPの埋め込みを強化するフレームワークであるVL-CLIPを提案する。
視覚的グラウンドリングは、主要商品をローカライズすることで画像表現を洗練し、LLMエージェントは、製品の説明を曖昧にすることで、テキストの特徴を強化する。
本手法は,米国最大のeコマースプラットフォームの一つであるCTRを18.6%,ATCを15.5%,GMVを4.0%増加させ,検索精度,マルチモーダル検索効率,推奨品質を大幅に向上させる。
追加実験の結果,CLIP,FashionCLIP,GCLなどの視覚言語モデルよりも精度とセマンティックアライメントが優れており,頑健なマルチモーダルレコメンデーションのためのオブジェクト認識ビジュアルグラウンドとLLM拡張テキスト表現を組み合わせる可能性を示している。
関連論文リスト
- Learning Item Representations Directly from Multimodal Features for Effective Recommendation [51.49251689107541]
マルチモーダルレコメンデータシステムは、主にベイズパーソナライズされたランク付け(BPR)最適化を利用してアイテム表現を学習する。
本稿では,マルチモーダルな特徴からアイテム表現を直接学習し,推薦性能を向上する新しいモデル(LIRDRec)を提案する。
論文 参考訳（メタデータ） (2025-05-08T05:42:22Z) - DashCLIP: Leveraging multimodal models for generating semantic embeddings for DoorDash [0.4288177321445912]
画像テキストデータに対するコントラスト学習を通じて,ユニモーダルエンコーダとマルチモーダルエンコーダを整列させることにより,製品およびユーザクエリのための共同トレーニングフレームワークを導入する。
提案手法では,クエリエンコーダをLLM計算した関連データセットでトレーニングし,エンゲージメント履歴への依存を解消する。
パーソナライズされた広告レコメンデーションでは、デプロイ後のクリックスルー率と変換レートが大きく上昇し、主要なビジネス指標への影響を確認します。
論文 参考訳（メタデータ） (2025-03-18T20:38:31Z) - CTR-Driven Advertising Image Generation with Multimodal Large Language Models [53.40005544344148]
本稿では,Click-Through Rate (CTR) を主目的とし,マルチモーダル大言語モデル(MLLM)を用いた広告画像の生成について検討する。
生成した画像のCTRをさらに改善するため、強化学習(RL)を通して事前学習したMLLMを微調整する新たな報酬モデルを提案する。
本手法は,オンラインとオフラインの両方で最先端のパフォーマンスを実現する。
論文 参考訳（メタデータ） (2025-02-05T09:06:02Z) - LLM2CLIP: Powerful Language Model Unlocks Richer Visual Representation [72.02635550088546]
この研究は、大規模言語モデル(LLM)がCLIPの機能をどのように強化するか、特により長く複雑なイメージキャプションを処理するために検討する。
キャプション・トゥ・キャプション・トゥ・キャプション・トゥ・コントラスト・ファインチューニング・フレームワークを導入し,LLM出力の識別品質を大幅に向上させた。
提案手法はLoRA法よりも優れ,より優れた性能で4倍近い高速トレーニングを実現している。
論文 参考訳（メタデータ） (2024-11-07T18:59:16Z) - Fine-tuning Multimodal Large Language Models for Product Bundling [53.01642741096356]
Bundle-MLLMは,大規模言語モデル(LLM)をハイブリットアイテムトークン化アプローチにより微調整する新しいフレームワークである。
具体的には、テキスト、メディア、およびリレーショナルデータを統一トークン化に統合し、テキストトークンと非テキストトークンを区別するソフトな分離トークンを導入する。
1)バンドルパターンを学習し,2)製品バンドル固有のマルチモーダルセマンティック理解の強化を行う。
論文 参考訳（メタデータ） (2024-07-16T13:30:14Z) - NoteLLM-2: Multimodal Large Representation Models for Recommendation [71.87790090964734]
大規模言語モデル(LLM)は、テキスト理解や埋め込みタスクにおいて、例外的な習熟度を示している。
マルチモーダル表現のポテンシャル、特にアイテムツーイテム(I2I)レコメンデーションについては、未解明のままである。
本稿では,既存のLLMと視覚エンコーダの統合をカスタマイズし,効率的なマルチモーダル表現を実現するエンド・ツー・エンドのファインチューニング手法を提案する。
論文 参考訳（メタデータ） (2024-05-27T03:24:01Z) - Multi-modal Instruction Tuned LLMs with Fine-grained Visual Perception [63.03288425612792]
マルチモーダル参照から画素単位のオブジェクト認識と自然言語記述を生成できる汎用MLLMモデルであるbfAnyRefを提案する。
本モデルでは,領域レベルの参照表現生成とセグメンテーションの多様さを含む,複数のベンチマークにおける最先端結果を実現する。
論文 参考訳（メタデータ） (2024-03-05T13:45:46Z) - UMG-CLIP: A Unified Multi-Granularity Vision Generalist for Open-World Understanding [90.74967596080982]
本稿では,マルチグラニュラリティアライメントを備えたコントラスト言語-画像事前学習(CLIP)を拡張した。
UMG-CLIPと呼ばれる統一多言語学習フレームワークを開発した。
パラメータ効率のよいチューニングにより、UMG-CLIPは、現在広く使われているCLIPの亜種を超え、多様な画像理解ベンチマークで最先端のパフォーマンスを達成する。
論文 参考訳（メタデータ） (2024-01-12T06:35:09Z) - e-CLIP: Large-Scale Vision-Language Representation Learning in
E-commerce [9.46186546774799]
本研究では,未ラベルの製品テキストや画像を用いて,言語モデルと視覚モデルとを整合させるコントラスト学習フレームワークを提案する。
我々は、大規模表現学習モデルを訓練し、ドメイン固有の課題に対処するソリューションを共有するために使用したテクニックを提示する。
論文 参考訳（メタデータ） (2022-07-01T05:16:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。