論文の概要: MMRM: A Multiplex Multimodal Representation Model for Product Ranking in E-commerce Search
- arxiv url: http://arxiv.org/abs/2607.11030v1
- Date: Mon, 13 Jul 2026 02:54:04 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-14 17:47:21.318752
- Title: MMRM: A Multiplex Multimodal Representation Model for Product Ranking in E-commerce Search
- Title(参考訳): MMRM:eコマース検索における製品ランキングのマルチモーダル表現モデル
- Abstract要約: Multix Multimodal Representation Model (MMRM) は、多モーダル大規模言語モデルと多様な協調的なシグナルを一致させる統合フレームワークである。
MMRMは、JD eコマース検索エンジンにうまくデプロイされており、数百万の日々のユーザーにとって大きなパフォーマンス向上をもたらしている。
- 参考スコア(独自算出の注目度): 9.467425331289988
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Multimodal information is pivotal for e-commerce search ranking. Existing works leverage multimodal data typically by fine-tuning general Multimodal Large Language Models (MLLMs) via collaborative signals, subsequently integrating the derived representations into ranking models as item features. Despite their efficacy, these methods face two primary limitations: (1) they rely on a single collaborative signal for MLLM fine-tuning, failing to exploit the heterogeneous signals essential for multitask ranking; and (2) they treat multimodal representations as regular item features in ranking models, underutilizing their latent potential for user behavior modeling. To address these challenges, we propose the Multiplex Multimodal Representation Model (MMRM), a unified framework that aligns MLLMs with diverse collaborative signals. By employing a shared backbone with task-specific tokens and projection layers, MMRM simultaneously learns from multiple signals and generates comprehensive multiplex item representations in a single inference pass. Furthermore, we introduce a multiplex user representation strategy in ranking models, which derives task-specific user representations via search-based behavior sequence modeling leveraging multiplex item representations. Extensive experiments demonstrate MMRM's superior efficiency and effectiveness. Notably, MMRM has been successfully deployed in the JD e-commerce search engine, yielding significant performance gains for millions of daily users.
- Abstract(参考訳): マルチモーダル情報は、eコマース検索ランキングにとって重要な要素である。
既存の作業は、協調的な信号を介して、微調整の一般的なマルチモーダル大言語モデル(MLLM)によって、一般的にマルチモーダルデータを活用し、その後、派生した表現をアイテムの特徴としてランキングモデルに統合する。
有効性にもかかわらず,これらの手法は,(1)MLLMの微調整のための単一協調信号に頼り,マルチタスクランキングに不可欠な異種信号の活用に失敗し,(2)ランキングモデルにおける正規項目の特徴としてマルチモーダル表現を扱い,ユーザ行動モデリングにおける潜在可能性の弱化という,2つの主要な制約に直面している。
これらの課題に対処するために,MLLMを多様な協調信号に整合させる統合フレームワークであるMultiformx Multimodal Representation Model (MMRM)を提案する。
タスク固有のトークンとプロジェクションレイヤを備えた共有バックボーンを使用することで、MMRMは複数の信号から同時に学習し、単一の推論パスで包括的な多重アイテム表現を生成する。
さらに,複数項目表現を利用した検索に基づく行動系列モデリングにより,タスク固有のユーザ表現を導出するランキングモデルに,複数のユーザ表現戦略を導入する。
大規模な実験はMMRMの優れた効率と有効性を示している。
特に、MMRMはJDのeコマース検索エンジンにうまくデプロイされており、数百万の日々のユーザーにとって大きなパフォーマンス向上をもたらしている。
関連論文リスト
- AFMRL: Attribute-Enhanced Fine-Grained Multi-Modal Representation Learning in E-commerce [16.733243065736023]
属性強化細粒度マルチモーダル表現学習(AFMRL)を提案する。
プロダクトのきめ細かい理解を属性生成タスクとして定義する。
MLLM(Multimodal Large Language Models)の生成力を利用して、製品画像やテキストから重要な属性を抽出する。
論文 参考訳(メタデータ) (2026-04-22T03:02:21Z) - MuCo: Multi-turn Contrastive Learning for Multimodal Embedding Model [57.89395815934156]
Multi-Turn Contrastive Learning (MuCo)は、このプロセスを再考する対話にインスパイアされたフレームワークである。
新たな5Mマルチモーダルマルチターンデータセット(M3T)による MuCo の表示実験
論文 参考訳(メタデータ) (2026-02-06T05:18:33Z) - MUSE: A Simple Yet Effective Multimodal Search-Based Framework for Lifelong User Interest Modeling [48.18456242206804]
本稿では、生涯モデリングフレームワークの両段階にわたるマルチモーダル信号の活用方法の体系的分析について述べる。
単純なマルチモーダル検索ベースのフレームワークであるMUSEを提案する。
MUSE は Taobao ディスプレイ広告システムに実装されており,100K 長のユーザ行動シーケンスをモデル化することができる。
論文 参考訳(メタデータ) (2025-12-08T06:55:13Z) - TAMP: Token-Adaptive Layerwise Pruning in Multimodal Large Language Models [23.916205754112774]
MLLM(Multimodal Large Language Models)は多様なマルチモーダルデータやタスクを理解する上で,優れた汎用性を示している。
本稿では,MLLMに適した簡易かつ効果的な刈取フレームワークであるTAMPを提案する。
我々は、視覚言語タスク用に設計されたLLaVA-NeXTと、音声、視覚、言語モーダルを処理可能なVideoLLaMA2の2つの最先端MLLMに対して、本手法の有効性を検証する。
論文 参考訳(メタデータ) (2025-04-14T05:44:38Z) - MIND: Modality-Informed Knowledge Distillation Framework for Multimodal Clinical Prediction Tasks [50.98856172702256]
マルチモーダルモデル圧縮手法である MIND (Modality-Informed Knowledge Distillation) フレームワークを提案する。
MINDは、様々なサイズの事前訓練されたディープニューラルネットワークのアンサンブルから、より小さなマルチモーダルの学生に知識を伝達する。
時系列データと胸部X線画像を用いた2値および複数ラベルの臨床予測タスクにおけるMINDの評価を行った。
論文 参考訳(メタデータ) (2025-02-03T08:50:00Z) - A Unified Graph Transformer for Overcoming Isolations in Multi-modal Recommendation [9.720586396359906]
既存のマルチモーダルレコメンダシステムは、通常、特徴抽出とモダリティモデリングの両方に分離されたプロセスを使用する。
本稿では, マルチウェイ変換器を用いて, 整列したマルチモーダル特徴を抽出するUnified Multi-modal Graph Transformer (UGT) という新しいモデルを提案する。
UGTモデルは, 一般的に使用されるマルチモーダルレコメンデーション損失と共同最適化した場合に, 特に有意な有効性が得られることを示す。
論文 参考訳(メタデータ) (2024-07-29T11:04:31Z) - Uni-MoE: Scaling Unified Multimodal LLMs with Mixture of Experts [54.529880848937104]
そこで我々は,MoEアーキテクチャをUni-MoEと呼ぶ一貫したMLLMを開発し,様々なモダリティを扱えるようにした。
具体的には、統一マルチモーダル表現のためのコネクタを持つモダリティ特化エンコーダを特徴とする。
マルチモーダルデータセットの包括的集合を用いた命令調整Uni-MoEの評価を行った。
論文 参考訳(メタデータ) (2024-05-18T12:16:01Z) - Model Composition for Multimodal Large Language Models [71.5729418523411]
本稿では,既存のMLLMのモデル構成による新しいパラダイムを提案する。
我々の基本的な実装であるNaiveMCは、モダリティエンコーダを再利用し、LLMパラメータをマージすることで、このパラダイムの有効性を実証する。
論文 参考訳(メタデータ) (2024-02-20T06:38:10Z) - MMAPS: End-to-End Multi-Grained Multi-Modal Attribute-Aware Product
Summarization [93.5217515566437]
マルチモーダル製品要約(MPS: Multi-modal Product Summarization)は、商品の特徴を強調して顧客の購入意欲を高めることを目的としている。
既存のMPS手法は有望な結果をもたらすが、それでもエンドツーエンドの製品要約は欠如している。
本稿では,eコマースにおける高品質な製品要約を生成するために,エンド・ツー・エンドのマルチモーダル属性対応製品要約手法(MMAPS)を提案する。
論文 参考訳(メタデータ) (2023-08-22T11:00:09Z) - MM-GEF: Multi-modal representation meet collaborative filtering [43.88159639990081]
本稿では,グラフアーリーフュージョンを用いたマルチモーダルレコメンデーション MM-GEF を提案する。
MM-GEFはマルチモーダル信号と協調信号の両方から得られる構造情報を注入することにより、洗練された項目表現を学習する。
論文 参考訳(メタデータ) (2023-08-14T15:47:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。