論文の概要: Grounded Product Understanding in Livestream Videos

• arxiv url: http://arxiv.org/abs/2609.20508v1
• Date: Thu, 17 Sep 2026 14:51:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-20 08:55:54.329258
• Title: Grounded Product Understanding in Livestream Videos
• Title（参考訳）: ライブストリームビデオにおける接地的製品理解
• Abstract要約: オンライン消費者に製品を提示するための重要なチャンネルとして、eコマースのライブストリームが登場した。 これは、製品中心のライブストリームクリッピングなど、ダウンストリームの製品理解アプリケーションに重大な課題をもたらします。 高品質なマルチモーメント時間アノテーションを備えた3,000のライブストリームインスタンスからなる大規模ベンチマークであるGPUBを紹介する。 製品整合および時間構造表現を共有マルチモーダル符号化から導出する統一製品理解モデルであるUniProをさらに発展させる。
• 参考スコア（独自算出の注目度）: 10.003992147691621
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: E-commerce livestreams have emerged as an important channel for presenting products to online consumers, containing multiple products whose information is scattered in different moments. This poses significant challenges for downstream product understanding applications, such as product-centric livestream clipping, where models need to identify the product and its relevant segments for information gathering. However, existing benchmarks for general product understanding typically evaluate product retrieval and temporal localization in isolation, leaving the critical correspondence between product identity and temporal evidence largely unassessed. To address this limitation, we introduce GPUB, a large-scale benchmark comprising 3,000 livestream instances with quality-controlled multi-moment temporal annotations and a catalog of over 31K fashion products. GPUB supports three evaluation tasks: the main task Grounded Product Understanding (GPrU) requires jointly identifying the target product and localizing its supporting moments from a livestream video and a candidate product set; Product Retrieval and Product Moment Localization serve as two complementary subtasks. Evaluation of existing multimodal models shows that GPrU remains highly challenging, with the best-performing baseline achieving only 10.13% Pair mAP@.3. To narrow the performance gap, we further develop UniPro, a unified product understanding model that derives product-aligned and temporally structured representations from shared multimodal encoding, improving Pair mAP@.3 to 21.53% while achieving 37.23% Joint R@1@.3 on GPrU.
• Abstract（参考訳）: オンライン消費者に製品を提示するための重要なチャンネルとして、eコマースのライブストリームが登場した。 これは、製品中心のライブストリームクリッピングのようなダウンストリーム製品理解アプリケーションにおいて、モデルが情報収集のために製品とその関連セグメントを特定する必要がある、重要な課題を提起する。 しかし、一般的な製品理解のための既存のベンチマークは、製品検索と時間的局所化を独立に評価し、製品同一性と時間的証拠の間の重要な対応をほとんど未評価のままにしておくのが一般的である。 この制限に対処するため,我々は,高品質なマルチモーメント時間アノテーションを備えた3,000のライブストリームインスタンスと,31K以上のファッション製品のカタログからなる大規模ベンチマークであるGPUBを紹介した。 GPUBは3つの評価タスクをサポートする: メインタスク 接地製品理解(GPrU)は、ターゲット製品を共同で識別し、そのサポートモーメントをライブストリームビデオと候補製品セットからローカライズする必要がある。 既存のマルチモーダルモデルの評価では、GPrUは非常に困難であり、最高性能のベースラインは10.13%のPair mAP@.3しか達成していない。 性能ギャップを狭めるために、製品整合および時間構造表現を共有マルチモーダル符号化から導出し、Pair mAP@.3を21.53%改善し、GPrUで37.23%のジョイントR@1@.3を達成する統一製品理解モデルUniProをさらに開発する。

関連論文リスト

• Kwai Keye-VL-2.0 Technical Report [53.82434681649277]
  Keye-VL-2.0は、長期ビデオ理解とエージェントインテリジェンスを促進するために設計されたマルチモーダル基盤モデルである。 DeepSeek Sparse Attention (DSA)をGQAベースのマルチモーダルアーキテクチャに適応したのは,これが初めてである。 コンテクスト-RLとビデオ-RLを併用したMOPD(Cross-Modal Multi-Teacher On-Policy Distillation)は破滅的忘れのアルゴリズム的ジレンマを克服する。
  論文  参考訳（メタデータ） (2026-06-09T09:58:08Z)
• MOON: Generative MLLM-based Multimodal Representation Learning for E-commerce Product Understanding [19.89836326556511]
  生成型多モーダル大規模言語モデルは,製品表現学習の改善に重要な可能性を秘めている。 製品表現学習のための第1世代MLLMモデルMOONを提案する。 本手法では,マルチモーダルおよびアスペクト特化商品のターゲットモデリングに,Mixture-of-Experts (MoE) モジュールを用いた。
  論文  参考訳（メタデータ） (2025-08-16T09:59:25Z)
• Spatiotemporal Graph Guided Multi-modal Network for Livestreaming Product Retrieval [32.478352606125306]
  そこで本研究では,営業担当者の音声コンテンツを活用したテキスト誘導型アテンション機構を提案する。 長距離時間グラフネットワークは、インスタンスレベルの相互作用とフレームレベルのマッチングの両方を達成するように設計されている。 提案するSGMNモデルの優れた性能を実証し,最先端の手法をかなり上回る性能を示した。
  論文  参考訳（メタデータ） (2024-07-23T07:36:54Z)
• MMAPS: End-to-End Multi-Grained Multi-Modal Attribute-Aware Product Summarization [93.5217515566437]
  マルチモーダル製品要約(MPS: Multi-modal Product Summarization)は、商品の特徴を強調して顧客の購入意欲を高めることを目的としている。 既存のMPS手法は有望な結果をもたらすが、それでもエンドツーエンドの製品要約は欠如している。 本稿では,eコマースにおける高品質な製品要約を生成するために,エンド・ツー・エンドのマルチモーダル属性対応製品要約手法(MMAPS)を提案する。
  論文  参考訳（メタデータ） (2023-08-22T11:00:09Z)
• Cross-Domain Product Representation Learning for Rich-Content E-Commerce [16.418118040661646]
  本稿では,ROPEと呼ばれる大規模cRoss-dOmain製品認識データセットを提案する。 ROPEは幅広い製品カテゴリーをカバーし、数百万のショートビデオとライブストリームに対応する180,000以上の製品を含んでいる。 プロダクトページ、ショートビデオ、ライブストリームを同時にカバーする最初のデータセットであり、異なるメディアドメイン間で統一された製品表現を確立する基盤を提供する。
  論文  参考訳（メタデータ） (2023-08-10T13:06:05Z)
• Multi-queue Momentum Contrast for Microvideo-Product Retrieval [57.527227171945796]
  マルチモーダルインスタンスとマルチモーダルインスタンス間の検索を探索する最初の試みであるマイクロビデオ製品検索タスクを定式化する。 双方向検索のためのMulti-Queue Momentum Contrast(MQMC)ネットワークという新しい手法を提案する。 マルチキューを用いた識別的選択戦略は、カテゴリによって異なる負の重要性を区別するために用いられる。
  論文  参考訳（メタデータ） (2022-12-22T03:47:14Z)
• Entity-Graph Enhanced Cross-Modal Pretraining for Instance-level Product Retrieval [152.3504607706575]
  本研究の目的は, 細粒度製品カテゴリを対象とした, 弱制御型マルチモーダル・インスタンスレベルの製品検索である。 まず、Product1Mデータセットをコントリビュートし、2つの実際のインスタンスレベルの検索タスクを定義します。 我々は、マルチモーダルデータから重要な概念情報を組み込むことができるより効果的なクロスモーダルモデルを訓練するために活用する。
  論文  参考訳（メタデータ） (2022-06-17T15:40:45Z)
• Product1M: Towards Weakly Supervised Instance-Level Product Retrieval via Cross-modal Pretraining [108.86502855439774]
  弱教師付きマルチモーダル・インスタンスレベルの製品検索を目的とした,より現実的な設定について検討する。 実世界のインスタンスレベルの検索において,最も大規模なマルチモーダル化粧品データセットであるProduct1Mをコントリビュートする。 ケースレベルの予測検索(CAPTURE)のためのクロスモーダル・コントラサシブ・プロダクト・トランスフォーマーという新しいモデルを提案する。
  論文  参考訳（メタデータ） (2021-07-30T12:11:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。