論文の概要: MMAPS: End-to-End Multi-Grained Multi-Modal Attribute-Aware Product Summarization

• arxiv url: http://arxiv.org/abs/2308.11351v2
• Date: Fri, 8 Mar 2024 03:07:18 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-11 23:23:39.468086
• Title: MMAPS: End-to-End Multi-Grained Multi-Modal Attribute-Aware Product Summarization
• Title（参考訳）: MMAPS:マルチグリッド型マルチモーダル属性対応製品要約
• Authors: Tao Chen, Ze Lin, Hui Li, Jiayi Ji, Yiyi Zhou, Guanbin Li and Rongrong Ji
• Abstract要約: マルチモーダル製品要約(MPS: Multi-modal Product Summarization)は、商品の特徴を強調して顧客の購入意欲を高めることを目的としている。 既存のMPS手法は有望な結果をもたらすが、それでもエンドツーエンドの製品要約は欠如している。 本稿では,eコマースにおける高品質な製品要約を生成するために,エンド・ツー・エンドのマルチモーダル属性対応製品要約手法(MMAPS)を提案する。
• 参考スコア（独自算出の注目度）: 93.5217515566437
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Given the long textual product information and the product image, Multi-modal Product Summarization (MPS) aims to increase customers' desire to purchase by highlighting product characteristics with a short textual summary. Existing MPS methods can produce promising results. Nevertheless, they still 1) lack end-to-end product summarization, 2) lack multi-grained multi-modal modeling, and 3) lack multi-modal attribute modeling. To improve MPS, we propose an end-to-end multi-grained multi-modal attribute-aware product summarization method (MMAPS) for generating high-quality product summaries in e-commerce. MMAPS jointly models product attributes and generates product summaries. We design several multi-grained multi-modal tasks to better guide the multi-modal learning of MMAPS. Furthermore, we model product attributes based on both text and image modalities so that multi-modal product characteristics can be manifested in the generated summaries. Extensive experiments on a real large-scale Chinese e-commence dataset demonstrate that our model outperforms state-of-the-art product summarization methods w.r.t. several summarization metrics. Our code is publicly available at: https://github.com/KDEGroup/MMAPS.
• Abstract（参考訳）: 長いテキスト製品情報と製品イメージを踏まえ、MPS(Multi-modal Product Summarization)は、短いテキスト要約で製品特性を強調することで、顧客の購入意欲を高めることを目的としている。 既存のMPS法では有望な結果が得られる。 それでも彼らは 1)エンドツーエンドの製品要約が欠如している。 2)マルチモーダルモデリングの欠如,および 3)マルチモーダル属性モデリングの欠如。 MPSを改善するために,eコマースにおける高品質な製品要約を生成するために,マルチモーダルなマルチモーダル属性対応製品要約手法(MMAPS)を提案する。 MMAPSは製品属性を共同でモデル化し、製品要約を生成する。 我々は,MMAPSのマルチモーダル学習を指導するために,複数のマルチモーダルタスクを設計する。 さらに,テキストと画像の両方のモダリティに基づいて製品属性をモデル化し,生成した要約にマルチモーダルな製品特性を示す。 実大規模中国のe-commenceデータセットに対する大規模な実験により、我々のモデルは、いくつかの要約指標を用いて、最先端の製品要約手法より優れていることを示した。 私たちのコードは、https://github.com/KDEGroup/MMAPS.comで公開されています。

関連論文リスト

• U3M: Unbiased Multiscale Modal Fusion Model for Multimodal Semantic Segmentation [63.31007867379312]
  U3M: An Unbiased Multiscale Modal Fusion Model for Multimodal Semanticsを紹介する。 我々は,グローバルな特徴とローカルな特徴の効果的な抽出と統合を保証するために,複数のスケールで機能融合を採用している。 実験により,本手法は複数のデータセットにまたがって優れた性能を発揮することが示された。
  論文  参考訳（メタデータ） (2024-05-24T08:58:48Z)
• A Multimodal In-Context Tuning Approach for E-Commerce Product Description Generation [47.70824723223262]
  マーケティングキーワードを付加した画像から製品記述を生成するための新しい設定を提案する。 本稿では, ModICT という, シンプルで効果的なマルチモーダル・インコンテキスト・チューニング手法を提案する。 実験の結果、ModICTは従来の方法と比較して精度(ルージュ-Lでは最大3.3%)と多様性(D-5では最大9.4%)を著しく改善することが示された。
  論文  参考訳（メタデータ） (2024-02-21T07:38:29Z)
• MM-GEF: Multi-modal representation meet collaborative filtering [43.88159639990081]
  本稿では,グラフアーリーフュージョンを用いたマルチモーダルレコメンデーション MM-GEF を提案する。 MM-GEFはマルチモーダル信号と協調信号の両方から得られる構造情報を注入することにより、洗練された項目表現を学習する。
  論文  参考訳（メタデータ） (2023-08-14T15:47:36Z)
• Align and Attend: Multimodal Summarization with Dual Contrastive Losses [57.83012574678091]
  マルチモーダル要約の目標は、異なるモーダルから最も重要な情報を抽出し、出力要約を形成することである。 既存の手法では、異なるモダリティ間の時間的対応の活用に失敗し、異なるサンプル間の本質的な相関を無視する。 A2Summ(Align and Attend Multimodal Summarization)は、マルチモーダル入力を効果的に整列し、参加できる統一型マルチモーダルトランスフォーマーモデルである。
  論文  参考訳（メタデータ） (2023-03-13T17:01:42Z)
• Boosting Multi-Modal E-commerce Attribute Value Extraction via Unified Learning Scheme and Dynamic Range Minimization [14.223683006262151]
  本稿では,統合学習スキームとダイナミックレンジ最小化によるマルチモーダルeコマース属性値抽出手法を提案する。 一般的なマルチモーダル電子商取引ベンチマークの実験は、我々の手法が他の最先端技術よりも優れた性能を発揮することを示している。
  論文  参考訳（メタデータ） (2022-07-15T03:58:04Z)
• Product1M: Towards Weakly Supervised Instance-Level Product Retrieval via Cross-modal Pretraining [108.86502855439774]
  弱教師付きマルチモーダル・インスタンスレベルの製品検索を目的とした,より現実的な設定について検討する。 実世界のインスタンスレベルの検索において,最も大規模なマルチモーダル化粧品データセットであるProduct1Mをコントリビュートする。 ケースレベルの予測検索(CAPTURE)のためのクロスモーダル・コントラサシブ・プロダクト・トランスフォーマーという新しいモデルを提案する。
  論文  参考訳（メタデータ） (2021-07-30T12:11:24Z)
• Mining Latent Structures for Multimedia Recommendation [46.70109406399858]
  本稿では,マルチモーダル再圧縮のためのLATent sTructureマイニング手法を提案する。 各モダリティの項目構造を学び、複数のモダリティを集約して潜在アイテムグラフを得る。 学習した潜在グラフに基づいてグラフ畳み込みを行い、アイテム表現に高次項目親和性を明示的に注入する。
  論文  参考訳（メタデータ） (2021-04-19T03:50:24Z)
• Multimodal Joint Attribute Prediction and Value Extraction for E-commerce Product [40.46223408546036]
  商品属性値は、カスタマサービスロボット、製品レコメンデーション、製品検索など、多くのEコマースシナリオにおいて不可欠である。 現実の世界では、製品の属性値は通常不完全であり、時間とともに変化するため、実用的な応用を著しく妨げている。 本稿では,製品属性を共同で予測し,製品イメージの助けを借りてテキスト製品記述から価値を抽出するマルチモーダル手法を提案する。
  論文  参考訳（メタデータ） (2020-09-15T15:10:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。