論文の概要: Multimodal Abstractive Summarization of Instructional Videos with Vision-Language Models

• arxiv url: http://arxiv.org/abs/2605.11959v1
• Date: Tue, 12 May 2026 11:11:36 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-13 21:48:56.813159
• Title: Multimodal Abstractive Summarization of Instructional Videos with Vision-Language Models
• Title（参考訳）: 視覚言語モデルを用いたインストラクショナルビデオのマルチモーダル抽象要約
• Authors: Maham Nazir, Muhammad Aqeel, Richong Zhang, Francesco Setti,
• Abstract要約: マルチモーダルビデオ要約は、意味的に言語生成と整合する視覚的特徴を必要とする。 ClipSumは凍結したCLIP視覚言語機能と明示的な時間的モデリングを併用したフレームワークである。 YouCook2では、ClipSumは33.0% ROUGE-1、ResNet-152は30.5%、次元は4倍である。
• 参考スコア（独自算出の注目度）: 26.6045703399997
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Multimodal video summarization requires visual features that align semantically with language generation. Traditional approaches rely on CNN features trained for object classification, which represent visual concepts as discrete categories not aligned with natural language. We propose ClipSum, a framework that leverages frozen CLIP vision-language features with explicit temporal modeling and dimension-adaptive fusion for instructional video summarization. CLIP's contrastive pre-training on 400M image-text pairs yields visual features semantically aligned with the linguistic concepts that text decoders generate, bridging the vision-language gap at the representation level. On YouCook2, ClipSum achieves 33.0% ROUGE-1 versus 30.5% for ResNet-152 with 4x lower dimensionality (512 vs. 2048), demonstrating that semantic alignment matters more than feature capacity. Frozen CLIP (33.0%) surpasses fine-tuned CLIP (32.3%), showing that preserving pre-trained alignment is more valuable than task-specific adaptation. https://github.com/aqeeelmirza/clipsum
• Abstract（参考訳）: マルチモーダルビデオ要約は、意味的に言語生成と整合する視覚的特徴を必要とする。 伝統的なアプローチは、オブジェクト分類のために訓練されたCNN機能に依存しており、それは視覚概念を自然言語と一致しない個別のカテゴリとして表現している。 ClipSumは,凍結したCLIP視覚言語機能を利用するフレームワークで,時間的明示的モデリングとディメンション適応融合による指導ビデオ要約を提案する。 CLIPの4億のイメージ-テキスト対に対する対照的な事前学習は、テキストデコーダが生成する言語概念と意味的に整合した視覚的特徴をもたらし、表現レベルでの視覚-言語ギャップを埋める。 YouCook2では、ClipSumはResNet-152では33.0%のROUGE-1、ResNet-152では30.5%を4倍の次元(512対2048)で達成し、セマンティックアライメントが機能キャパシティよりも重要であることを示した。 凍結したCLIP (33.0%) は細調整されたCLIP (32.3%) を超え、事前訓練されたアライメントの保存はタスク固有の適応よりも価値があることを示している。 https://github.com/aqeeelmirza/clipsum

関連論文リスト

• Probing CLIP's Comprehension of 360-Degree Textual and Visual Semantics [34.9343777313078]
  対照的に、標準的なAI評価モデルであるコントラスト言語-画像事前学習モデルは、360度パノラマ画像-テキストペアの理解に関して、オープンな疑問に直面している。 本稿では、まず、emph360のテキスト意味論、明示的な形式識別子によって伝達される意味情報、およびemph360の視覚意味論、水平方向の円形シフトの下で不変な意味論という2つの概念を導入することで、このギャップに対処する。
  論文  参考訳（メタデータ） (2026-04-27T16:10:00Z)
• TULIP: Towards Unified Language-Image Pretraining [60.99500935831526]
  既存のCLIPライクなモデルの代替として,オープンソースでドロップイン可能なTを導入する。 提案手法は, 生成データの拡張, 画像画像の強化, テキストコントラスト学習, 画像/テキスト再構成正規化を利用して, きめ細かい視覚的特徴を学習する。 当社のアプローチでは、ベンチマーク全体で既存の最先端(SOTA)モデルを上回っています。
  論文  参考訳（メタデータ） (2025-03-19T17:58:57Z)
• SigLIP 2: Multilingual Vision-Language Encoders with Improved Semantic Understanding, Localization, and Dense Features [48.11426546401525]
  我々は、新しい多言語視覚言語エンコーダのファミリーであるSigLIP 2を紹介する。 従来の画像テキスト学習の目的を、独立に開発されたいくつかの技術で統一されたレシピに拡張する。 新しいトレーニングレシピは、ローカライゼーションと密集した予測タスクに大きな改善をもたらす。
  論文  参考訳（メタデータ） (2025-02-20T18:08:29Z)
• Collaborative Vision-Text Representation Optimizing for Open-Vocabulary Segmentation [82.95830628372845]
  本稿では,Open-Vocabulary encoder(OVS)分野における協調視覚テキスト最適化機構を提案する。 我々の知る限り、私たちはOVSフィールド内で協調的な視覚テキスト最適化メカニズムを最初に確立しました。 オープン語彙のセマンティックセグメンテーションでは、この手法は、+0.5, +2.3, +3.4, +0.4, +1.1 mIoU の従来の最先端アプローチよりも優れている。
  論文  参考訳（メタデータ） (2024-08-01T17:48:08Z)
• MV-CLIP: Multi-View CLIP for Zero-shot 3D Shape Recognition [49.52436478739151]
  大規模な事前訓練モデルでは、オープンワールドシナリオにおける視覚と言語タスクのパフォーマンスが著しく向上している。 近年の手法では、ゼロショット3次元形状認識を実現するために、言語画像事前学習を採用している。 本稿では、ビュー選択と階層的プロンプトによる信頼性の向上を目的とする。
  論文  参考訳（メタデータ） (2023-11-30T09:51:53Z)
• Towards Realistic Zero-Shot Classification via Self Structural Semantic Alignment [53.2701026843921]
  大規模事前訓練型視覚言語モデル(VLM)はゼロショット分類に有効であることが証明されている。 本稿では,アノテーションではなく,より広い語彙を前提とした,より難易度の高いゼロショット分類(Realistic Zero-Shot Classification)を提案する。 本稿では,ラベルのないデータから構造意味情報を抽出し,同時に自己学習を行う自己構造意味アライメント(S3A)フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-08-24T17:56:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。