論文の概要: Visual Search Augmented Chain-of-Thought Reasoning for Attribute Value Extraction from Product Videos
- arxiv url: http://arxiv.org/abs/2609.06410v1
- Date: Sun, 06 Sep 2026 06:01:57 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-12 05:42:18.105733
- Title: Visual Search Augmented Chain-of-Thought Reasoning for Attribute Value Extraction from Product Videos
- Title（参考訳）: 製品ビデオからの属性値抽出のためのブラインド・オブ・ソート推論によるビジュアル検索
- Abstract要約: 本稿では,視覚属性値抽出のための視覚探索拡張連鎖推論(ViS-CoT)を提案する。
ViS-CoTは、電子商取引におけるビデオからテキストへのAVEのために、どんなオープンソースビデオVLMにも容易に適用できる。
- 参考スコア（独自算出の注目度）: 14.43540077402288
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Existing approaches to visual attribute value extraction (AVE) primarily rely on static product images, failing to capture temporal cues, multi-angle views and fine-grained visual details. Directly applying video vision-language models (VLMs) to product AVE results in limited performance due to the lack of domain knowledge, and fine-tuning them requires extensive high-quality data and substantial computational resources. Thus, we propose visual search augmented chain-of-thought reasoning (ViS-CoT), a training-free, plug-and-play pipeline that can be easily applied to any open-source video VLM for video-to-text AVE in e-Commerce. Specifically, ViS-CoT employs visual clustering to identify representative frames, followed by visual search to retrieve semantically similar product knowledge that can enrich attribute cues. Next, an interleaved CoT reasoning module iteratively refines reasoning through visually-aligned auxiliary texts derived from captioning and automatic speech recognition. Finally, the integrated information guides the model toward accurate and fine-grained attribute predictions. Extensive experiments across 14 product categories on the VideoAVE dataset show that ViS-CoT consistently enhances multiple state-of-the-art video VLMs, achieving an average improvement of 17.91 percentage points in micro-F1.
- Abstract（参考訳）: 既存の視覚属性値抽出(AVE)アプローチは、主に静的な製品イメージに依存しており、時間的手がかり、多角ビュー、きめ細かい視覚的詳細を捉えていない。
ビデオビジョン言語モデル(VLM)を製品AVEに直接適用すると、ドメイン知識が不足しているため、パフォーマンスが制限される。
そこで本稿では,電子商取引におけるビデオ・テキストAVEのための任意のオープンソースビデオVLMに容易に適用可能な,トレーニングフリーのプラグイン・アンド・プレイパイプラインであるViS-CoTを提案する。
具体的には、ViS-CoTは、視覚クラスタリングを使用して代表フレームを識別し、続いて視覚検索によって属性キューを豊かにする意味的に類似した製品知識を検索する。
次に、インターリーブされたCoT推論モジュールは、キャプションと自動音声認識から派生した視覚的に整列した補助テキストを通じて推論を反復的に洗練する。
最後に、統合された情報により、モデルが正確できめ細かい属性予測へと導かれる。
VideoAVEデータセット上の14の製品カテゴリにわたる大規模な実験により、ViS-CoTは一貫して複数の最先端ビデオVLMを拡張し、マイクロF1における平均17.91ポイントの改善を実現している。
関連論文リスト
- Text-Guided Visual Representation Learning for Robust Multimodal E-Commerce Recommendation [51.52908699287466]
Text-Guided Q-Formerはテキストガイドによる視覚表現学習フレームワークである。
メタデータと探索的なビジュアルストリームを分離し、軽量で信頼性に配慮したデュアルゲートベクトル変調モジュールを導入する。
フルプール検索による大規模な実世界のeコマースデータセットの実験では、TGQ-Formerは強いコネクタベースラインとエンドツーエンドMLLMを一貫して上回っている。
論文 参考訳（メタデータ） (2026-05-17T10:20:23Z) - Act2See: Emergent Active Visual Perception for Video Reasoning [70.52373240573856]
VLM(Vision-Language Models)は通常、ビデオの推論に静的な初期フレームに依存している。
本稿では,アクト・ツー・シー(Act2See)という,アクティブな視覚知覚を実現する新しいフレームワークを紹介する。
論文 参考訳（メタデータ） (2026-05-03T00:52:51Z) - VideoPerceiver: Enhancing Fine-Grained Temporal Perception in Video Multimodal Large Language Models [9.896951371033229]
VideoPerceiverはビデオ理解における微細な認識を高めるビデオマルチモーダル大言語モデル(VMLLM)である。
そこで我々は,キャプションからイベントアクションキーワードを抽出し,対応するキーフレームを識別し,隣接するフレームに置き換えることで,キー情報伝達ビデオを構築する。
VideoPerceiverは、詳細なアクション理解とまれなイベントキャプションベンチマークにおいて、最先端のVMLLMを大幅に上回っている。
論文 参考訳（メタデータ） (2025-11-24T06:57:26Z) - GMFVAD: Using Grained Multi-modal Feature to Improve Video Anomaly Detection [63.16754542429089]
我々は、ビデオ異常検出のためのグラインドマルチモーダル特徴(GMFVAD)を提案する。
主要なコンテンツを要約したビデオスニペットに基づいて、よりきめ細かいマルチモーダル機能を生成する。
実験により、GMFVADは主に4つのデータセットで最先端のパフォーマンスを達成することが示された。
論文 参考訳（メタデータ） (2025-10-23T06:52:53Z) - VideoAVE: A Multi-Attribute Video-to-Text Attribute Value Extraction Dataset and Benchmark Models [7.632869516436505]
VideoAVEは、14のドメインにまたがって172のユニークな属性をカバーする、初めて公開されたビデオからテキストまでのEコマースAVEデータセットである。
データ品質を確保するために,ポストホックCLIPベースのMixture of Experts Filtering System (CLIP-MoE)を提案する。
結果から,特にオープンな環境では,ビデオからテキストへのAVEは依然として困難な問題であることが明らかとなった。
論文 参考訳（メタデータ） (2025-08-15T20:58:47Z) - OpenVidVRD: Open-Vocabulary Video Visual Relation Detection via Prompt-Driven Semantic Space Alignment [5.215417164787923]
視覚言語モデル(VLM)は、オープン語彙の視覚的関係の検出に役立つが、多くの場合、様々な視覚領域とそれらの関係との関係を見落としている。
本稿では,オープン語彙のVidVRDフレームワークであるOpenVidVRDを提案する。
論文 参考訳（メタデータ） (2025-03-12T14:13:17Z) - Chain-of-Spot: Interactive Reasoning Improves Large Vision-Language Models [81.71651422951074]
CoS(Chain-of-Spot)法は,注目領域に着目して特徴抽出を強化する手法である。
この技術により、LVLMは元の画像解像度を変更することなく、より詳細な視覚情報にアクセスすることができる。
実験の結果,LVLMの視覚的内容の理解と推論能力は著しく改善した。
論文 参考訳（メタデータ） (2024-03-19T17:59:52Z) - VaQuitA: Enhancing Alignment in LLM-Assisted Video Understanding [63.075626670943116]
本稿では,映像情報とテキスト情報の相乗効果を向上するための最先端フレームワークであるVaQuitAを紹介する。
データレベルでは、フレームを均一にサンプリングする代わりに、CLIPスコアランキングでガイドされるサンプリング手法を実装している。
機能レベルでは、Visual-Query Transformerと一緒にトレーニング可能なVideo Perceiverを統合します。
論文 参考訳（メタデータ） (2023-12-04T19:48:02Z) - Visual Commonsense-aware Representation Network for Video Captioning [84.67432867555044]
ビデオキャプションのためのシンプルで効果的なVisual Commonsense-aware Representation Network (VCRN)を提案する。
提案手法は最先端の性能に到達し,提案手法の有効性を示す。
論文 参考訳（メタデータ） (2022-11-17T11:27:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。