論文の概要: ASR-enhanced Multimodal Representation Learning for Cross-Domain Product Retrieval

• arxiv url: http://arxiv.org/abs/2408.02978v1
• Date: Tue, 6 Aug 2024 06:24:10 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-07 14:49:26.965085
• Title: ASR-enhanced Multimodal Representation Learning for Cross-Domain Product Retrieval
• Title（参考訳）: クロスドメイン製品検索のためのASR強化マルチモーダル表現学習
• Authors: Ruixiang Zhao, Jian Jia, Yan Li, Xuehan Bai, Quan Chen, Han Li, Peng Jiang, Xirong Li,
• Abstract要約: 電子商取引はますますマルチメディア化され、画像やショートビデオ、ライブストリームのプロモーションなど、幅広い領域で商品が展示されている。 広義のシナリオでは、製品内変異が大きく、製品間類似度が高いため、視覚のみの表現は不十分である。 ASRによるマルチモーダル製品表現学習(AMPere)を提案する。
• 参考スコア（独自算出の注目度）: 28.13183873658186
• License: http://creativecommons.org/publicdomain/zero/1.0/
• Abstract: E-commerce is increasingly multimedia-enriched, with products exhibited in a broad-domain manner as images, short videos, or live stream promotions. A unified and vectorized cross-domain production representation is essential. Due to large intra-product variance and high inter-product similarity in the broad-domain scenario, a visual-only representation is inadequate. While Automatic Speech Recognition (ASR) text derived from the short or live-stream videos is readily accessible, how to de-noise the excessively noisy text for multimodal representation learning is mostly untouched. We propose ASR-enhanced Multimodal Product Representation Learning (AMPere). In order to extract product-specific information from the raw ASR text, AMPere uses an easy-to-implement LLM-based ASR text summarizer. The LLM-summarized text, together with visual data, is then fed into a multi-branch network to generate compact multimodal embeddings. Extensive experiments on a large-scale tri-domain dataset verify the effectiveness of AMPere in obtaining a unified multimodal product representation that clearly improves cross-domain product retrieval.
• Abstract（参考訳）: 電子商取引はますますマルチメディア化され、画像やショートビデオ、ライブストリームのプロモーションなど、幅広い領域で商品が展示されている。 統一的でベクトル化されたクロスドメイン生産表現は不可欠である。 広義のシナリオでは、製品内変異が大きく、製品間類似度が高いため、視覚のみの表現は不十分である。 ショートビデオやライブストリームビデオから派生した自動音声認識(ASR)テキストは容易にアクセス可能であるが、マルチモーダル表現学習のための過度にノイズの多いテキストの消音方法はほとんど触れていない。 ASRによるマルチモーダル製品表現学習(AMPere)を提案する。 生の ASR テキストから製品固有の情報を抽出するために,AMPere は LLM ベースの ASR テキスト要約器を使用する。 LLMで要約されたテキストは、視覚データとともにマルチブランチネットワークに入力され、コンパクトなマルチモーダル埋め込みを生成する。 大規模トリドメインデータセットの大規模な実験は、ドメイン間の商品検索を明確に改善する統一されたマルチモーダル製品表現を得る上で、AMPereの有効性を検証する。

関連論文リスト

• Beyond Text: Optimizing RAG with Multimodal Inputs for Industrial Applications [3.7636375810345744]
  大きな言語モデル(LLM)は、質問に答える際、印象的な能力を示してきたが、それらはドメイン固有の知識に欠け、幻覚を起こす傾向がある。 Retrieval Augmented Generation(RAG)は、これらの課題に対処するためのアプローチのひとつであり、マルチモーダルモデルは、テキストとイメージの両方を処理するための有望なAIアシスタントとして現れている。 本稿では,産業領域のRAGシステムにマルチモーダルモデルをどのように組み込むかを決定するための一連の実験について述べる。
  論文  参考訳（メタデータ） (2024-10-29T11:03:31Z)
• Draw-and-Understand: Leveraging Visual Prompts to Enable MLLMs to Comprehend What You Want [58.091825321168514]
  我々は、Draw-and-Understandプロジェクト、新しいモデル、マルチドメインデータセット、ビジュアルプロンプトのための挑戦的なベンチマークを紹介する。 具体的には、視覚エンコーダ、視覚プロンプトエンコーダ、LLMを接続する、エンド・ツー・エンドのマルチモーダル大規模言語モデル(MLLM)を提案する。 MLLMの視覚的プロンプト研究を進めるために,MDVP-DataとMDVP-Benchを紹介する。
  論文  参考訳（メタデータ） (2024-03-29T16:26:20Z)
• Towards More Unified In-context Visual Understanding [74.55332581979292]
  マルチモーダル出力を有効にした視覚理解のための新しいICLフレームワークを提案する。 まず、テキストと視覚的プロンプトの両方を量子化し、統一された表現空間に埋め込む。 次にデコーダのみのスパーストランスアーキテクチャを用いて生成モデリングを行う。
  論文  参考訳（メタデータ） (2023-12-05T06:02:21Z)
• MMAPS: End-to-End Multi-Grained Multi-Modal Attribute-Aware Product Summarization [93.5217515566437]
  マルチモーダル製品要約(MPS: Multi-modal Product Summarization)は、商品の特徴を強調して顧客の購入意欲を高めることを目的としている。 既存のMPS手法は有望な結果をもたらすが、それでもエンドツーエンドの製品要約は欠如している。 本稿では,eコマースにおける高品質な製品要約を生成するために,エンド・ツー・エンドのマルチモーダル属性対応製品要約手法(MMAPS)を提案する。
  論文  参考訳（メタデータ） (2023-08-22T11:00:09Z)
• Cross-view Semantic Alignment for Livestreaming Product Recognition [24.38606354376169]
  LPR4Mは34のカテゴリをカバーする大規模マルチモーダルデータセットである。 LPR4Mは様々なビデオとノイズモードのペアを含み、長い尾の分布を示す。 クロスビューパッチ間のセマンティックなミスアライメントをペナルティ化するために、新しいパッチ特徴再構成損失を提案する。
  論文  参考訳（メタデータ） (2023-08-09T12:23:41Z)
• RefSAM: Efficiently Adapting Segmenting Anything Model for Referring Video Object Segmentation [53.4319652364256]
  本稿では,ビデオオブジェクトのセグメンテーションを参照するためのSAMの可能性を探るRefSAMモデルを提案する。 提案手法は,Cross-RValModalを用いることで,モダリティ学習を向上させるためにオリジナルのSAMモデルに適応する。 我々は、言語と視覚の特徴を効果的に調整し、融合させるために、パラメータ効率のチューニング戦略を採用している。
  論文  参考訳（メタデータ） (2023-07-03T13:21:58Z)
• MHMS: Multimodal Hierarchical Multimedia Summarization [80.18786847090522]
  視覚領域と言語領域を相互作用させることにより,マルチモーダル階層型マルチメディア要約(MHMS)フレームワークを提案する。 本手法は,ビデオとテキストのセグメンテーションと要約モジュールをそれぞれ含んでいる。 ドメイン間のアライメントの目的を最適な輸送距離で定式化し、代表とテキストの要約を生成する。
  論文  参考訳（メタデータ） (2022-04-07T21:00:40Z)
• Product1M: Towards Weakly Supervised Instance-Level Product Retrieval via Cross-modal Pretraining [108.86502855439774]
  弱教師付きマルチモーダル・インスタンスレベルの製品検索を目的とした,より現実的な設定について検討する。 実世界のインスタンスレベルの検索において,最も大規模なマルチモーダル化粧品データセットであるProduct1Mをコントリビュートする。 ケースレベルの予測検索(CAPTURE)のためのクロスモーダル・コントラサシブ・プロダクト・トランスフォーマーという新しいモデルを提案する。
  論文  参考訳（メタデータ） (2021-07-30T12:11:24Z)
• See, Hear, Read: Leveraging Multimodality with Guided Attention for Abstractive Text Summarization [14.881597737762316]
  我々は,NDSS,ICML,NeurIPSなどの著名な学術カンファレンスのプレゼンテーションから収集した,様々な期間のビデオを用いた抽象テキスト要約のための最初の大規模データセットを紹介する。 次に,多モード変換器をベースとしたデコーダのみの言語モデルであるnameを提案し,テキスト要約タスクの様々な入力モードにおけるモーダル内およびモーダル間ダイナミクスを本質的にキャプチャする。
  論文  参考訳（メタデータ） (2021-05-20T08:56:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。