論文の概要: ViSpeak: Visual Instruction Feedback in Streaming Videos

• arxiv url: http://arxiv.org/abs/2503.12769v1
• Date: Mon, 17 Mar 2025 03:05:31 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-18 12:30:44.858319
• Title: ViSpeak: Visual Instruction Feedback in Streaming Videos
• Title（参考訳）: ViSpeak: ビデオストリーミングにおけるビジュアルインストラクションフィードバック
• Authors: Shenghao Fu, Qize Yang, Yuan-Ming Li, Yi-Xing Peng, Kun-Yu Lin, Xihan Wei, Jian-Fang Hu, Xiaohua Xie, Wei-Shi Zheng,
• Abstract要約: 本稿では,視覚的インストラクションフィードバック(Visual Instruction Feedback)という新しいタスクを提案する。 我々は,様々なストリーミングビデオ理解ベンチマークにおいて,GPT-4oレベルの性能を持つSOTAストリーミングビデオ理解LMMであるViSpeakモデルを提案する。
• 参考スコア（独自算出の注目度）: 50.99067964073338
• License:
• Abstract: Recent advances in Large Multi-modal Models (LMMs) are primarily focused on offline video understanding. Instead, streaming video understanding poses great challenges to recent models due to its time-sensitive, omni-modal and interactive characteristics. In this work, we aim to extend the streaming video understanding from a new perspective and propose a novel task named Visual Instruction Feedback in which models should be aware of visual contents and learn to extract instructions from them. For example, when users wave their hands to agents, agents should recognize the gesture and start conversations with welcome information. Thus, following instructions in visual modality greatly enhances user-agent interactions. To facilitate research, we define seven key subtasks highly relevant to visual modality and collect the ViSpeak-Instruct dataset for training and the ViSpeak-Bench for evaluation. Further, we propose the ViSpeak model, which is a SOTA streaming video understanding LMM with GPT-4o-level performance on various streaming video understanding benchmarks. After finetuning on our ViSpeak-Instruct dataset, ViSpeak is equipped with basic visual instruction feedback ability, serving as a solid baseline for future research.
• Abstract（参考訳）: 大規模マルチモーダルモデル(LMM)の最近の進歩は、主にオフラインビデオ理解に焦点を当てている。 代わりに、ストリーミングビデオの理解は、その時間に敏感で、オムニ・モーダルでインタラクティブな特徴のために、最近のモデルにとって大きな課題となる。 本研究では,新たな視点からストリーミング映像理解を拡張し,視覚的内容を認識してそこから指示を抽出する新しいタスクであるVisual Instruction Feedbackを提案する。 例えば、ユーザーがエージェントに手を振るとき、エージェントはジェスチャーを認識し、歓迎された情報で会話を開始する必要がある。 このように、視覚的モダリティの指示に従うことで、ユーザとエージェントのインタラクションが大幅に向上する。 研究を容易にするために、視覚的モダリティに高い関連性を持つ7つのキーサブタスクを定義し、トレーニング用ViSpeak-Instructデータセットと評価用ViSpeak-Benchを収集する。 さらに,様々なストリーミングビデオ理解ベンチマークにおいて,GPT-4oレベルの性能を持つSOTAストリーミングビデオ理解LMMであるViSpeakモデルを提案する。 ViSpeak-Instructデータセットを微調整した後、ViSpeakは基本的な視覚的指示フィードバック機能を備え、将来の研究の確かなベースラインとして機能する。

関連論文リスト

• Do we Really Need Visual Instructions? Towards Visual Instruction-Free Fine-tuning for Large Vision-Language Models [127.38740043393527]
  LVLMのための視覚的命令なし微調整フレームワークであるViFTを提案する。 我々は、タスク解決能力と視覚知覚能力を個別に学習するために、トレーニング中にテキストのみの指示と画像キャプションデータのみを必要とする。 実験結果から,VFTはいくつかの視覚的推論と,それに続く視覚的指示に対して,最先端の性能を達成できることが示された。
  論文  参考訳（メタデータ） (2025-02-17T04:38:12Z)
• CLIP-VAD: Exploiting Vision-Language Models for Voice Activity Detection [2.110168344647122]
  音声活動検出(Voice Activity Detection, VAD)は、人が話しているかどうかを自動的に判断し、発話のタイミングを識別するプロセスである。 コントラスト言語-画像事前学習(CLIP)モデルを利用した新しい手法を提案する。 提案手法は,その単純さに拘わらず,広範囲なオーディオ視覚データセットの事前学習を必要とせず,複数のオーディオ視覚法より優れる。
  論文  参考訳（メタデータ） (2024-10-18T14:43:34Z)
• 3rd Place Solution for MeViS Track in CVPR 2024 PVUW workshop: Motion Expression guided Video Segmentation [13.622700558266658]
  本稿では,凍結事前学習型視覚言語モデル(VLM)をバックボーンとして用いることを提案する。 まず、フリーズした畳み込みCLIPバックボーンを使用して、機能に整合したビジョンとテキスト機能を生成し、ドメインギャップの問題を軽減する。 第二に、マルチモーダル情報の利用を高めるために、パイプラインによりクロスモーダルな特徴融合を追加します。
  論文  参考訳（メタデータ） (2024-06-07T11:15:03Z)
• InternVideo2: Scaling Foundation Models for Multimodal Video Understanding [51.129913789991924]
  InternVideo2は、ビデオファウンデーションモデル(FM)の新たなファミリーで、ビデオ認識、ビデオ音声タスク、ビデオ中心タスクの最先端の結果を達成する。 私たちのコアデザインは、マスク付きビデオモデリング、クロスコントラスト学習、予測トークンを統合し、最大6Bビデオサイズまでスケールアップするプログレッシブトレーニングアプローチです。
  論文  参考訳（メタデータ） (2024-03-22T17:57:42Z)
• Valley: Video Assistant with Large Language model Enhanced abilitY [41.79449203718827]
  大規模言語モデル強化型ビデオアシスタントであるValleyを紹介した。 映像理解と指示追従能力でバレーを強化するため,映像指導データセットを構築した。 タスク指向会話データの構築を容易にするためにChatGPTを用いる。
  論文  参考訳（メタデータ） (2023-06-12T16:11:10Z)
• End-to-End Multimodal Representation Learning for Video Dialog [5.661732643450332]
  本研究では,3D-CNNネットワークとトランスフォーマーベースネットワークを1つのビジュアルエンコーダに組み合わせた新しいフレームワークを提案する。 ビジュアルエンコーダは、テキストやオーディオなどの他の入力モダリティと共同で訓練される。 AVSDタスクの実験は、生成タスクと検索タスクの両方において、ベースラインよりも大幅に改善されている。
  論文  参考訳（メタデータ） (2022-10-26T06:50:07Z)
• Multimodal Open-Vocabulary Video Classification via Pre-Trained Vision and Language Models [67.31684040281465]
  textbfMOVは,textbfMultimodal textbfOpen-textbfVocabularyビデオ分類の簡易かつ効果的な方法である。 MOVでは、ビデオ、光フロー、オーディオスペクトログラムを符号化するために、トレーニング済みのVLMのビジョンエンコーダを最小限の修正で直接使用する。
  論文  参考訳（メタデータ） (2022-07-15T17:59:11Z)
• Look Before you Speak: Visually Contextualized Utterances [88.58909442073858]
  ビデオ中の発話を視覚的フレームと書き起こされた音声の両方を文脈として予測するタスクを作成する。 オンラインで多数の指導ビデオを活用することで、手動のアノテーションを必要とせずに、このタスクを大規模に解決するためのモデルを訓練する。 本モデルは,多数のダウンストリームビデオQAベンチマークにおいて,最先端の性能を実現する。
  論文  参考訳（メタデータ） (2020-12-10T14:47:02Z)
• Watch and Learn: Mapping Language and Noisy Real-world Videos with Self-supervision [54.73758942064708]
  我々は、明示的なアノテーションを使わずに、文章と騒々しいビデオスニペットのマッピングを学習することで、視覚と自然言語を理解するように機械に教える。 トレーニングと評価のために、多数のオンラインビデオとサブタイトルを含む新しいデータセットApartmenTourをコントリビュートする。
  論文  参考訳（メタデータ） (2020-11-19T03:43:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。