論文の概要: MUSEG: Reinforcing Video Temporal Understanding via Timestamp-Aware Multi-Segment Grounding

• arxiv url: http://arxiv.org/abs/2505.20715v1
• Date: Tue, 27 May 2025 04:50:07 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-28 17:05:58.410188
• Title: MUSEG: Reinforcing Video Temporal Understanding via Timestamp-Aware Multi-Segment Grounding
• Title（参考訳）: MUSEG: タイムスタンプを意識したマルチセグメントグラウンドによるビデオ時間理解の強化
• Authors: Fuwen Luo, Shengfeng Lou, Chi Chen, Ziyue Wang, Chenliang Li, Weizhou Shen, Jiyue Guo, Peng Li, Ming Yan, Ji Zhang, Fei Huang, Yang Liu,
• Abstract要約: ビデオの時間的理解は、マルチモーダルな大言語モデル(MLLM)において、ビデオ内のイベントを推論するために不可欠である。 タイムスタンプを意識したマルチセグメントグラウンドの導入により時間的理解を高める新しいRLに基づくMUSEGを提案する。 効果的な学習を容易にするため,段階的な報酬付きRL学習レシピを設計し,時間的根拠に基づく推論に向けてモデルを段階的に導く。
• 参考スコア（独自算出の注目度）: 55.32878803528196
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Video temporal understanding is crucial for multimodal large language models (MLLMs) to reason over events in videos. Despite recent advances in general video understanding, current MLLMs still struggle with fine-grained temporal reasoning. While reinforcement learning (RL) has been explored to address this issue recently, existing RL approaches remain limited in effectiveness. In this work, we propose MUSEG, a novel RL-based method that enhances temporal understanding by introducing timestamp-aware multi-segment grounding. MUSEG enables MLLMs to align queries with multiple relevant video segments, promoting more comprehensive temporal reasoning. To facilitate effective learning, we design a customized RL training recipe with phased rewards that progressively guides the model toward temporally grounded reasoning. Extensive experiments on temporal grounding and time-sensitive video QA tasks demonstrate that MUSEG significantly outperforms existing methods and generalizes well across diverse temporal understanding scenarios. View our project at https://github.com/THUNLP-MT/MUSEG.
• Abstract（参考訳）: ビデオの時間的理解は、マルチモーダルな大言語モデル(MLLM)において、ビデオ内のイベントを推論するために不可欠である。 近年の一般的なビデオ理解の進歩にもかかわらず、現在のMLLMは微妙な時間的推論に苦戦している。 近年,この問題を解決するために強化学習(RL)が研究されているが,既存のRLアプローチは有効性に制限されている。 本研究では,時間スタンプを意識したマルチセグメントグラウンド化を導入することで,時間的理解を高める新しいRLベースの手法であるMUSEGを提案する。 MUSEGは、MLLMがクエリを複数の関連ビデオセグメントと整列させることを可能にし、より包括的な時間的推論を促進する。 効果的な学習を容易にするため,段階的な報酬付きRL学習レシピを設計し,時間的根拠に基づく推論に向けてモデルを段階的に導く。 時間的接地と時間感応性ビデオQAタスクに関する大規模な実験は、MUSEGが既存の手法を著しく上回り、多様な時間的理解シナリオにまたがってうまく一般化することを示した。 私たちのプロジェクトはhttps://github.com/THUNLP-MT/MUSEGでご覧ください。

関連論文リスト

• ViaRL: Adaptive Temporal Grounding via Visual Iterated Amplification Reinforcement Learning [68.76048244253582]
  ビデオ理解におけるフレーム選択の最適化にルールベース強化学習(RL)を利用する最初のフレームワークであるViaRLを紹介する。 ViaRLは、下流モデルの応答精度を報奨信号として利用し、試行錯誤によってフレームセレクタを訓練する。 ViaRLは、多様なビデオ理解タスクに対して、時間的基盤性能と堅牢な一般化を一貫して提供します。
  論文  参考訳（メタデータ） (2025-05-21T12:29:40Z)
• Position: Empowering Time Series Reasoning with Multimodal LLMs [49.73647759532127]
  マルチモーダル言語モデル (MLLM) は時系列解析においてより強力で柔軟な推論を可能にすると論じる。 我々は、MLLMにおける信頼、解釈可能性、堅牢な推論を優先する戦略を開発することで、この可能性を活用するよう研究者や実践者に呼びかける。
  論文  参考訳（メタデータ） (2025-02-03T16:10:48Z)
• Perceive, Query & Reason: Enhancing Video QA with Question-Guided Temporal Queries [50.47265863322891]
  Video Question Answering (ビデオQA)は、ビデオ全体を理解するためにモデルを必要とする、難しいビデオ理解タスクである。 近年のMLLM(Multimodal Large Language Models)の進歩は,ビデオQAに特有なコモンセンス推論機能を活用して変化している。 本稿では,フレーム単位の視覚知覚とLCMの推論能力の間に疑問を導いた時間的ブリッジを生成する,新しい時間的モデリング手法であるT-Formerを提案する。
  論文  参考訳（メタデータ） (2024-12-26T17:53:14Z)
• Do Language Models Understand Time? [2.290956583394892]
  大規模言語モデル(LLM)は、アクション認識、異常検出、要約を含む、ビデオベースのコンピュータビジョンアプリケーションに革命をもたらした。 本研究は,ビデオ処理におけるLLMの役割を,時間的推論能力に着目して批判的に考察する。 LLMの時間的理解を制限するため、バイアス、時間的アノテーションの欠如、ドメイン固有の制限など、既存のビデオデータセットによる課題を分析します。
  論文  参考訳（メタデータ） (2024-12-18T13:38:06Z)
• Grounded-VideoLLM: Sharpening Fine-grained Temporal Grounding in Video Large Language Models [53.235170710385006]
  我々は,特定の映像モーメントをきめ細かな方法で知覚・推論できる新しいビデオLLMであるGrounded-VideoLLMを紹介した。 我々は,(1)フレーム間の関係を符号化する追加の時間的ストリームと(2)特定の時間的知識に富んだ離散的な時間的トークンを組み込むことで,モデルを洗練する。 実験では, 時間文の接地, ビデオキャプションの密接化, ビデオQAの接地といった, きめ細かい接地作業に優れていた。
  論文  参考訳（メタデータ） (2024-10-04T10:04:37Z)
• Temporal Insight Enhancement: Mitigating Temporal Hallucination in Multimodal Large Language Models [20.33971942003996]
  本研究では,MLLMにおける事象レベルの幻覚に対処する革新的な手法を提案する。 オンデマンドイベントクエリをアイコンアクションに分解するユニークなメカニズムを提案する。 イベント発生の特定のタイムスタンプを予測するために、CLIPやBLIP2といったモデルを採用しています。
  論文  参考訳（メタデータ） (2024-01-18T10:18:48Z)
• Towards Robust Temporal Reasoning of Large Language Models via a Multi-Hop QA Dataset and Pseudo-Instruction Tuning [73.51314109184197]
  大規模言語モデル(LLM)には時間的知識の概念を理解することが不可欠である。 本稿では,複数質問応答と複数ホップの時間的推論に焦点をあてた複雑な時間的質問応答データセットであるComplex-TRを提案する。
  論文  参考訳（メタデータ） (2023-11-16T11:49:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。