論文の概要: AFMRL: Attribute-Enhanced Fine-Grained Multi-Modal Representation Learning in E-commerce

• arxiv url: http://arxiv.org/abs/2604.20135v1
• Date: Wed, 22 Apr 2026 03:02:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-23 15:36:10.939028
• Title: AFMRL: Attribute-Enhanced Fine-Grained Multi-Modal Representation Learning in E-commerce
• Title（参考訳）: AFMRL:eコマースにおける微粒化多モード表現学習
• Authors: Biao Zhang, Lixin Chen, Bin Zhang, Zongwei Wang, Tong Liu, Bo Zheng,
• Abstract要約: 属性強化細粒度マルチモーダル表現学習(AFMRL)を提案する。 プロダクトのきめ細かい理解を属性生成タスクとして定義する。 MLLM(Multimodal Large Language Models)の生成力を利用して、製品画像やテキストから重要な属性を抽出する。
• 参考スコア（独自算出の注目度）: 16.733243065736023
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Multimodal representation is crucial for E-commerce tasks such as identical product retrieval. Large representation models (e.g., VLM2Vec) demonstrate strong multimodal understanding capabilities, yet they struggle with fine-grained semantic comprehension, which is essential for distinguishing highly similar items. To address this, we propose Attribute-Enhanced Fine-Grained Multi-Modal Representation Learning (AFMRL), which defines product fine-grained understanding as an attribute generation task. It leverages the generative power of Multimodal Large Language Models (MLLMs) to extract key attributes from product images and text, and enhances representation learning through a two-stage training framework: 1) Attribute-Guided Contrastive Learning (AGCL), where the key attributes generated by the MLLM are used in the image-text contrastive learning training process to identify hard samples and filter out noisy false negatives. 2) Retrieval-aware Attribute Reinforcement (RAR), where the improved retrieval performance of the representation model post-attribute integration serves as a reward signal to enhance MLLM's attribute generation during multimodal fine-tuning. Extensive experiments on large-scale E-commerce datasets demonstrate that our method achieves state-of-the-art performance on multiple downstream retrieval tasks, validating the effectiveness of harnessing generative models to advance fine-grained representation learning.
• Abstract（参考訳）: マルチモーダル表現は、同一商品検索のようなEコマースタスクに不可欠である。 大規模な表現モデル(例えば、VLM2Vec)は、強いマルチモーダル理解能力を示すが、非常に類似した項目を区別するのに不可欠な、きめ細かいセマンティック理解に苦慮している。 そこで本研究では,属性生成タスクとして製品細粒度理解を定義するAFMRL(Attribute-Enhanced Fine-Grained Multi-Modal Representation Learning)を提案する。 MLLM(Multimodal Large Language Models)の生成力を活用して,製品イメージやテキストから重要な属性を抽出し,2段階のトレーニングフレームワークを通じて表現学習を強化する。 1) MLLMが生成する重要な属性を画像テキストコントラスト学習プロセスで用いて, ハードサンプルを識別し, ノイズのある偽陰性を除去する属性誘導コントラスト学習(AGCL)を行う。 2)Retrieval-Aware Attribute Reinforcement (RAR)では,マルチモーダル微調整時にMLLMの属性生成を向上する報奨信号として,表現モデルポスト属性統合の検索性能が向上する。 大規模Eコマースデータセットの大規模な実験により,本手法は複数の下流検索タスクにおける最先端性能を達成し,生成モデルを用いて詳細な表現学習を推し進めることの有効性を検証した。

関連論文リスト

• Knowledge is Power: Advancing Few-shot Action Recognition with Multimodal Semantics from MLLMs [37.35588113092876]
  我々は,FSARの強化のためのマルチモーダル知識基盤としてMLLMを利用する最初のエンドツーエンド手法であるFSAR-LLaVAを提案する。 まず,MLLMのマルチモーダルデコーダを用いて時間的・意味的に豊かな表現を抽出する。 次に,MLLMの汎用性を活用して,多様なシナリオに柔軟に対応する入力プロンプトを構築する。 最後に,マルチモーダルな特徴を併用してメトリック学習をガイドするために,トレーニング不要なマルチモーダルプロトタイプマッチングメトリクスを導入する。
  論文  参考訳（メタデータ） (2026-03-27T03:05:56Z)
• MOON: Generative MLLM-based Multimodal Representation Learning for E-commerce Product Understanding [19.89836326556511]
  生成型多モーダル大規模言語モデルは,製品表現学習の改善に重要な可能性を秘めている。 製品表現学習のための第1世代MLLMモデルMOONを提案する。 本手法では,マルチモーダルおよびアスペクト特化商品のターゲットモデリングに,Mixture-of-Experts (MoE) モジュールを用いた。
  論文  参考訳（メタデータ） (2025-08-16T09:59:25Z)
• Multi-modal Relational Item Representation Learning for Inferring Substitutable and Complementary Items [10.98931494075836]
  本稿では,代替品や補完品を推論するための,自己教師型マルチモーダル・リレーショナル・アイテム表現学習フレームワークを提案する。 MMSCは,(1)マルチモーダルな基本モデルを活用して項目メタデータから学習するマルチモーダルな項目表現学習モジュール,(2)ユーザ行動データから学習する自己教師型行動ベース表現学習モジュール,(3)セマンティックおよびタスクレベルで項目表現を統合する階層型表現集約機構の3つの主要コンポーネントから構成される。
  論文  参考訳（メタデータ） (2025-07-29T22:38:39Z)
• Learning Item Representations Directly from Multimodal Features for Effective Recommendation [51.49251689107541]
  マルチモーダルレコメンデータシステムは、主にベイズパーソナライズされたランク付け(BPR)最適化を利用してアイテム表現を学習する。 本稿では,マルチモーダルな特徴からアイテム表現を直接学習し,推薦性能を向上する新しいモデル(LIRDRec)を提案する。
  論文  参考訳（メタデータ） (2025-05-08T05:42:22Z)
• EMMA: Efficient Visual Alignment in Multi-Modal LLMs [56.03417732498859]
  EMMAは、視覚的およびテキスト的エンコーディングを効率的に融合するために設計された軽量なクロスプラットフォームモジュールである。 EMMAは複数のタスクのパフォーマンスを最大9.3%向上させ、幻覚に対する堅牢性を大幅に向上させる。
  論文  参考訳（メタデータ） (2024-10-02T23:00:31Z)
• NoteLLM-2: Multimodal Large Representation Models for Recommendation [71.87790090964734]
  大規模言語モデル(LLM)は、テキスト理解や埋め込みタスクにおいて、例外的な習熟度を示している。 マルチモーダル表現のポテンシャル、特にアイテムツーイテム(I2I)レコメンデーションについては、未解明のままである。 本稿では,既存のLLMと視覚エンコーダの統合をカスタマイズし,効率的なマルチモーダル表現を実現するエンド・ツー・エンドのファインチューニング手法を提案する。
  論文  参考訳（メタデータ） (2024-05-27T03:24:01Z)
• MMAPS: End-to-End Multi-Grained Multi-Modal Attribute-Aware Product Summarization [93.5217515566437]
  マルチモーダル製品要約(MPS: Multi-modal Product Summarization)は、商品の特徴を強調して顧客の購入意欲を高めることを目的としている。 既存のMPS手法は有望な結果をもたらすが、それでもエンドツーエンドの製品要約は欠如している。 本稿では,eコマースにおける高品質な製品要約を生成するために,エンド・ツー・エンドのマルチモーダル属性対応製品要約手法(MMAPS)を提案する。
  論文  参考訳（メタデータ） (2023-08-22T11:00:09Z)
• UniDiff: Advancing Vision-Language Models with Generative and Discriminative Learning [86.91893533388628]
  本稿では、画像テキストコントラスト学習(ITC)、テキスト条件付き画像合成学習(IS)、相互意味整合性モデリング(RSC)を統合した統合マルチモーダルモデルUniDiffを提案する。 UniDiffはマルチモーダル理解と生成タスクの両方において汎用性を示す。
  論文  参考訳（メタデータ） (2023-06-01T15:39:38Z)
• e-CLIP: Large-Scale Vision-Language Representation Learning in E-commerce [9.46186546774799]
  本研究では,未ラベルの製品テキストや画像を用いて,言語モデルと視覚モデルとを整合させるコントラスト学習フレームワークを提案する。 我々は、大規模表現学習モデルを訓練し、ドメイン固有の課題に対処するソリューションを共有するために使用したテクニックを提示する。
  論文  参考訳（メタデータ） (2022-07-01T05:16:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。