論文の概要: Optimizing Product Deduplication in E-Commerce with Multimodal Embeddings

• arxiv url: http://arxiv.org/abs/2509.15858v1
• Date: Fri, 19 Sep 2025 10:49:39 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-22 18:18:11.131968
• Title: Optimizing Product Deduplication in E-Commerce with Multimodal Embeddings
• Title（参考訳）: マルチモーダル埋め込みによる電子商取引における製品重複の最適化
• Authors: Aysenur Kulunk, Berk Taskin, M. Furkan Eseoglu, H. Bahadir Sahin,
• Abstract要約: 電子商取引分野向けに設計されたスケーラブルでマルチモーダルな製品重複を導入します。 提案手法では,BERTアーキテクチャを基盤としたドメイン固有テキストモデルとMaskedAutoEncodersを併用して画像表現を行う。 これらの特徴抽出機構を最適化されたベクトルデータベースであるMilvusと統合することにより,より効率的かつ高精度な類似性探索を実現することができる。
• 参考スコア（独自算出の注目度）: 0.13999481573773068
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: In large scale e-commerce marketplaces, duplicate product listings frequently cause consumer confusion and operational inefficiencies, degrading trust on the platform and increasing costs. Traditional keyword-based search methodologies falter in accurately identifying duplicates due to their reliance on exact textual matches, neglecting semantic similarities inherent in product titles. To address these challenges, we introduce a scalable, multimodal product deduplication designed specifically for the e-commerce domain. Our approach employs a domain-specific text model grounded in BERT architecture in conjunction with MaskedAutoEncoders for image representations. Both of these architectures are augmented with dimensionality reduction techniques to produce compact 128-dimensional embeddings without significant information loss. Complementing this, we also developed a novel decider model that leverages both text and image vectors. By integrating these feature extraction mechanisms with Milvus, an optimized vector database, our system can facilitate efficient and high-precision similarity searches across extensive product catalogs exceeding 200 million items with just 100GB of system RAM consumption. Empirical evaluations demonstrate that our matching system achieves a macro-average F1 score of 0.90, outperforming third-party solutions which attain an F1 score of 0.83. Our findings show the potential of combining domain-specific adaptations with state-of-the-art machine learning techniques to mitigate duplicate listings in large-scale e-commerce environments.
• Abstract（参考訳）: 大規模なeコマースマーケットプレースでは、重複商品リストはしばしば消費者の混乱と運用上の非効率を招き、プラットフォームへの信頼を低下させ、コストを増大させる。 伝統的なキーワードベースの検索手法は、製品のタイトルに固有の意味的類似性を無視し、正確なテキストマッチングに依存しているため、複製を正確に識別する。 これらの課題に対処するために、eコマースドメイン用に特別に設計されたスケーラブルでマルチモーダルな製品重複を導入します。 提案手法では,BERTアーキテクチャを基盤としたドメイン固有テキストモデルとMaskedAutoEncodersを併用して画像表現を行う。 これら2つのアーキテクチャは、情報損失のないコンパクトな128次元埋め込みを生成するために、次元削減技術で拡張されている。 また,テキストベクトルと画像ベクトルの両方を活用する新しい決定モデルを開発した。 これらの特徴抽出機構を最適化されたベクトルデータベースであるMilvusと統合することにより,100GBのシステムRAM使用量で2億項目を超える広範囲な製品カタログをまたいで,効率的かつ高精度に類似性検索を行うことができる。 実験により,我々のマッチングシステムでは,F1スコアが0.90であり,F1スコアが0.83である第三者ソリューションよりも優れた結果が得られた。 本研究は,大規模eコマース環境において,ドメイン固有の適応と最先端の機械学習技術を組み合わせることで,重複リストを緩和する可能性を示唆している。

関連論文リスト

• OneSearch: A Preliminary Exploration of the Unified End-to-End Generative Framework for E-commerce Search [43.94443394870866]
  OneSearchは、eコマース検索のためのエンドツーエンドの生成フレームワークである。 クアイシュ州の複数の検索シナリオにまたがって展開され、数百万のユーザにサービスを提供し、毎日数千万のPVを発生させている。
  論文  参考訳（メタデータ） (2025-09-03T11:50:04Z)
• UniECS: Unified Multimodal E-Commerce Search Framework with Gated Cross-modal Fusion [20.13803245640432]
  現在のeコマースマルチモーダル検索システムは2つの重要な制限に直面している。 彼らは、固定されたモダリティペアリングで特定のタスクを最適化し、統一された検索アプローチを評価するための包括的なベンチマークを欠いている。 画像,テキスト,およびそれらの組み合わせにわたるすべての検索シナリオを処理する統合マルチモーダルeコマース検索フレームワークであるUniECSを紹介する。
  論文  参考訳（メタデータ） (2025-08-19T14:06:13Z)
• PRISM: Distributed Inference for Foundation Models at Edge [73.54372283220444]
  PRISMは、エッジデバイス上での分散トランスフォーマー推論のための通信効率と計算アウェア戦略である。 ViT,BERT,GPT-2のPRISMを多種多様なデータセットで評価した。
  論文  参考訳（メタデータ） (2025-07-16T11:25:03Z)
• Learning Item Representations Directly from Multimodal Features for Effective Recommendation [51.49251689107541]
  マルチモーダルレコメンデータシステムは、主にベイズパーソナライズされたランク付け(BPR)最適化を利用してアイテム表現を学習する。 本稿では,マルチモーダルな特徴からアイテム表現を直接学習し,推薦性能を向上する新しいモデル(LIRDRec)を提案する。
  論文  参考訳（メタデータ） (2025-05-08T05:42:22Z)
• Semantic Ads Retrieval at Walmart eCommerce with Language Models Progressively Trained on Multiple Knowledge Domains [6.1008328784394]
  Walmart.comの広告検索システムを最適化するために,エンド・ツー・エンドのソリューションを提案する。 当社のアプローチは,製品カテゴリ情報を用いたBERTライクな分類モデルを事前学習することである。 ベースラインDSSMベースのモデルと比較して,検索関連度を最大16%向上させる。
  論文  参考訳（メタデータ） (2025-02-13T09:01:34Z)
• Entity-Graph Enhanced Cross-Modal Pretraining for Instance-level Product Retrieval [152.3504607706575]
  本研究の目的は, 細粒度製品カテゴリを対象とした, 弱制御型マルチモーダル・インスタンスレベルの製品検索である。 まず、Product1Mデータセットをコントリビュートし、2つの実際のインスタンスレベルの検索タスクを定義します。 我々は、マルチモーダルデータから重要な概念情報を組み込むことができるより効果的なクロスモーダルモデルを訓練するために活用する。
  論文  参考訳（メタデータ） (2022-06-17T15:40:45Z)
• VFed-SSD: Towards Practical Vertical Federated Advertising [53.08038962443853]
  本稿では,2つの制限を緩和する半教師付き分割蒸留フレームワーク VFed-SSD を提案する。 具体的には,垂直分割された未ラベルデータを利用する自己教師型タスクMatchedPair Detection (MPD) を開発する。 当社のフレームワークは,デプロイコストの最小化と大幅なパフォーマンス向上を図った,リアルタイム表示広告のための効率的なフェデレーション強化ソリューションを提供する。
  論文  参考訳（メタデータ） (2022-05-31T17:45:30Z)
• Product1M: Towards Weakly Supervised Instance-Level Product Retrieval via Cross-modal Pretraining [108.86502855439774]
  弱教師付きマルチモーダル・インスタンスレベルの製品検索を目的とした,より現実的な設定について検討する。 実世界のインスタンスレベルの検索において,最も大規模なマルチモーダル化粧品データセットであるProduct1Mをコントリビュートする。 ケースレベルの予測検索(CAPTURE)のためのクロスモーダル・コントラサシブ・プロダクト・トランスフォーマーという新しいモデルを提案する。
  論文  参考訳（メタデータ） (2021-07-30T12:11:24Z)
• Retrieve Fast, Rerank Smart: Cooperative and Joint Approaches for Improved Cross-Modal Retrieval [80.35589927511667]
  画像中のすべての単語やオブジェクトに係わるクロスアテンション機構を備えたTransformerベースのアーキテクチャを頼りに、クロスモーダル検索プロセスのテキストとビジュアルインプットへの最先端のアプローチ。 事前学習したテキスト画像のマルチモーダルモデルを効率的な検索モデルに変換する新しい微調整フレームワークを提案する。 我々は,モノリンガル,マルチリンガル,ゼロショットにおける一連の標準クロスモーダル検索ベンチマーク実験を行い,最先端クロスエンコーダに対する精度向上と大幅な効率向上を実証した。
  論文  参考訳（メタデータ） (2021-03-22T15:08:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。