論文の概要: Temporal-Oriented Recipe for Transferring Large Vision-Language Model to Video Understanding

• arxiv url: http://arxiv.org/abs/2505.12605v1
• Date: Mon, 19 May 2025 01:40:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-20 14:57:11.338697
• Title: Temporal-Oriented Recipe for Transferring Large Vision-Language Model to Video Understanding
• Title（参考訳）: 映像理解のための大規模視線モデル移行のための時間指向レシピ
• Authors: Thong Nguyen, Zhiyuan Hu, Xu Lin, Cong-Duy Nguyen, See-Kiong Ng, Luu Anh Tuan,
• Abstract要約: 我々は,LVLMの時間的理解に影響を及ぼす重要な構成要素を解明するために,徹底的な実証的研究を行っている。 これらの知見に基づいて、時間指向のトレーニングスキームと大規模インタフェースを含む時間指向のレシピを提案する。
• 参考スコア（独自算出の注目度）: 26.932018092345192
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent years have witnessed outstanding advances of large vision-language models (LVLMs). In order to tackle video understanding, most of them depend upon their implicit temporal understanding capacity. As such, they have not deciphered important components that contribute to temporal understanding ability, which might limit the potential of these LVLMs for video understanding. In this work, we conduct a thorough empirical study to demystify crucial components that influence the temporal understanding of LVLMs. Our empirical study reveals that significant impacts are centered around the intermediate interface between the visual encoder and the large language model. Building on these insights, we propose a temporal-oriented recipe that encompasses temporal-oriented training schemes and an upscaled interface. Our final model developed using our recipe significantly enhances previous LVLMs on standard video understanding tasks.
• Abstract（参考訳）: 近年、大型視覚言語モデル(LVLM)の顕著な進歩が見られた。 ビデオ理解に取り組むために、多くは暗黙の時間的理解能力に依存している。 そのため、時間的理解能力に寄与する重要なコンポーネントを解読していないため、ビデオ理解のためのLVLMの可能性を制限する可能性がある。 本研究では,LVLMの時間的理解に影響を及ぼす重要な成分をデミスティフィケートするために,徹底的な実証的研究を行う。 実験により,視覚エンコーダと大言語モデルとの中間インタフェースを中心に,重要な影響が示された。 これらの知見に基づいて、時間指向のトレーニングスキームと大規模インタフェースを含む時間指向のレシピを提案する。 提案手法を用いて開発した最終モデルは,従来のビデオ理解タスクのLVLMを大幅に向上させる。

関連論文リスト

• Expanding the Boundaries of Vision Prior Knowledge in Multi-modal Large Language Models [53.13731845500678]
  本稿では、視覚エンコーダの事前知識がMLLMの性能に与える影響を定量化するために、新しい計量である$Rank_e$を導入する。 視覚エンコーダレベルで事前知識を明示的に組み込んだ2段階トレーニングフレームワークであるVisPREを提案する。 実験の結果,視覚エンコーダの事前知識の増大はMLLMの視覚理解能力を大幅に向上させることが示された。
  論文  参考訳（メタデータ） (2025-03-23T11:33:09Z)
• Do Language Models Understand Time? [2.290956583394892]
  大規模言語モデル(LLM)は、アクション認識、異常検出、要約を含む、ビデオベースのコンピュータビジョンアプリケーションに革命をもたらした。 本研究は,ビデオ処理におけるLLMの役割を,時間的推論能力に着目して批判的に考察する。 LLMの時間的理解を制限するため、バイアス、時間的アノテーションの欠如、ドメイン固有の制限など、既存のビデオデータセットによる課題を分析します。
  論文  参考訳（メタデータ） (2024-12-18T13:38:06Z)
• From Seconds to Hours: Reviewing MultiModal Large Language Models on Comprehensive Long Video Understanding [52.696422425058245]
  視覚的エンコーダを備えた多モード大言語モデル(LLM)は、視覚的理解タスクにおいて有望な性能を示した。 本稿では、静止画像と短い映像の理解と比較して、長いビデオ理解によって生じる実質的な違いと固有の課題に焦点を当てる。
  論文  参考訳（メタデータ） (2024-09-27T17:38:36Z)
• Investigating Video Reasoning Capability of Large Language Models with Tropes in Movies [69.28082193942991]
  本稿では、これまで見過ごされていた2つの重要なビデオ推論スキルを探索するためのテストベッドとして設計された、新しいデータセットであるTropes in Movies (TiM)を紹介する。 映画ストーリーテリングのトポロジを利用して、TiMは最先端のLCMベースのアプローチの推論能力を評価する。 これらの欠陥に対処するために、FEVoRI(Face-Enhanced Viper of Role Interactions)とConQueR(Context Query Reduction)を提案する。
  論文  参考訳（メタデータ） (2024-06-16T12:58:31Z)
• RelationVLM: Making Large Vision-Language Models Understand Visual Relations [66.70252936043688]
  本稿では,複数の画像にまたがっても動画内でも,様々なレベルの関係を解釈できる大規模視覚言語モデルであるRelationVLMを提案する。 具体的には,多段階的な関係認識学習手法とそれに対応するデータ構成戦略を考案し,意味的関係を理解する能力を備えた関係VLMを提案する。
  論文  参考訳（メタデータ） (2024-03-19T15:01:19Z)
• Efficient Temporal Extrapolation of Multimodal Large Language Models with Temporal Grounding Bridge [47.750073410717604]
  時間的接地機能を備えたMLLMをブートストラップする新しいフレームワークである時間的接地橋(TGB)について紹介する。 7つのビデオベンチマークでTGBを検証し,従来のMLLMと比較して大幅な性能向上を示した。 4フレームのシーケンスをトレーニングした本モデルでは,性能を犠牲にすることなく,最大16のシーケンスを効果的に処理する。
  論文  参考訳（メタデータ） (2024-02-25T10:27:46Z)
• VITATECS: A Diagnostic Dataset for Temporal Concept Understanding of Video-Language Models [27.280311932711847]
  VITATECS, 診断用VIdeo-Text dAtasetについて述べる。 まず、異なる時間的側面を理解するためのVidLMの能力を診断するために、自然言語における時間的概念のきめ細かい分類法を導入する。 特定の時間的側面においてのみ、オリジナルと異なる反実的な映像記述を生成する。
  論文  参考訳（メタデータ） (2023-11-29T07:15:34Z)
• PALM: Predicting Actions through Language Models [74.10147822693791]
  本稿では,長期的行動予測の課題に取り組むアプローチであるPALMを紹介する。 本手法は,従来の行動系列を追跡する行動認識モデルと,関連する環境の詳細を記述するための視覚言語モデルを含む。 実験の結果,PALMは長期的な行動予測作業において最先端の手法を超越していることがわかった。
  論文  参考訳（メタデータ） (2023-11-29T02:17:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。