論文の概要: Meaningful Moments: A Corpus of VLM-Derived Temporal Importance Labels for Video Action Recognition

• arxiv url: http://arxiv.org/abs/2610.16009v2
• Date: Wed, 14 Oct 2026 19:06:07 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-16 19:13:15.882152
• Title: Meaningful Moments: A Corpus of VLM-Derived Temporal Importance Labels for Video Action Recognition
• Title（参考訳）: 意味あるモーメント:ビデオ行動認識のためのVLMを用いた時間的重要ラベルコーパス
• Abstract要約: この研究は、視覚言語モデルが大規模に意味のある瞬間を識別できるかどうか、そしてそれらのラベルが行動認識を改善するかどうかを問う。 我々は,50万近いクラスラベル付きビデオに対して,約458万のセグメンテーション重要度スコアのコーパスであるMeaningful Moments (MM)を紹介した。 Diving-48では、重要主導の高速転送はフルビデオ認識を保ち、反転制御はおよそ30パーセントの差で崩壊する。
• 参考スコア（独自算出の注目度）: 2.5484740244438524
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Not every moment in a video is equally useful for recognizing an action. A few decisive moments often carry the evidence: the instant an object moves, the peak of a dive, or one object placed on another. Existing video datasets rarely provide large-scale, action-conditioned labels for which short segments carry that evidence. This work asks whether vision-language models can identify meaningful moments at scale and whether those labels improve action recognition. We introduce Meaningful Moments (MM), a corpus of about 4.58 million VLM-generated per-segment importance scores for nearly 500,000 class-labeled videos spanning Something-Something v2 (SSv2), Kinetics-400 (K400), and Diving-48 across 622 action classes. We freeze the action classifier and vary only temporal sampling. An alpha-parameterized comparison of importance-led selection against an importance-inverted control separates gains from the VLM signal from gains caused by variable-density sampling alone. Across all three datasets, VLM-derived importance is informative: at the hard-cut endpoint, keeping VLM-important segments outperforms keeping VLM-designated filler. Usefulness depends on class structure. On Diving-48, importance-led fast-forwarding preserves full-video recognition while the inverted control collapses by roughly 30 percentage points. On K400, hard-cut selection beats uniform sampling by 1.45 percentage points, rising to 2.05 under threshold selection. On SSv2, the labels carry signal but do not recover full-video performance. Direct scoring matches greedy removal within its noise floor at roughly 25 times fewer oracle calls, and a four-VLM cross-oracle study shows consistent downstream trends. We release the importance labels and evaluation protocol under CC-BY-4.0; SSv2 class strings remain under CC-BY-NC-4.0.
• Abstract（参考訳）: ビデオのすべての瞬間が、アクションを認識するのに等しく役に立つわけではない。 決定的な瞬間には、物体が動く瞬間、ダイビングのピーク、または別の物体の上に置かれる瞬間など、しばしば証拠が持たれる。 既存のビデオデータセットは、その証拠を短いセグメントで保持する大規模でアクション条件付きラベルを滅多に提供しない。 この研究は、視覚言語モデルが大規模に意味のある瞬間を識別できるかどうか、そしてそれらのラベルが行動認識を改善するかどうかを問う。 我々は,Something v2 (SSv2) と Kinetics-400 (K400) と Diving-48 (Diving-48) にまたがる50,000近いクラスラベル付きビデオに対して,約458万のVLM生成重要度スコアのコーパスであるMeaningful Moments (MM) を紹介した。 動作分類器を凍結し、時間的サンプリングのみを変化させる。 重要反転制御に対する重要誘導選択のアルファパラメータ化比較は、可変密度サンプリングのみによる利得からVLM信号からの利得を分離する。 ハードカットのエンドポイントでは、VLMの重要なセグメントは、VLM指定のフィラーよりも優れています。 有用性はクラス構造に依存します。 Diving-48では、重要主導の高速転送がフルビデオ認識を保ち、逆制御はおよそ30パーセントの差で崩壊する。 K400では、一様サンプリングを1.45ポイント上回り、閾値選択で2.05まで上昇する。 SSv2では、ラベルは信号を運ぶが、フルビデオのパフォーマンスを回復しない。 直接スコアリングは、約25倍のオラクルコールでノイズフロア内でのグリーディ除去と一致し、4VLMのクロスオーラル研究は、一貫した下流の傾向を示している。 CC-BY-4.0 では,SSv2 クラス文字列は CC-BY-NC-4.0 のままである。

関連論文リスト

• Moment-Video: Diagnosing Temporal Fidelity of Video MLLMs on Momentary Visual Events [52.031070006859544]
  ビデオマルチモーダル大言語モデル(MLLM)は、一般的なビデオ理解と長大なビデオ理解を急速に進歩させてきたが、短い回答クリティカルな視覚的証拠を保存できる能力はいまだに未発見のままである。 本稿では,映像MLLMの時間的忠実度を時間的視覚的事象理解によって診断するためのベンチマークであるMoment-Videoを紹介する。
  論文  参考訳（メタデータ） (2026-06-01T17:32:20Z)
• The 1st Winner for 5th PVUW MeViS-Text Challenge: Strong MLLMs Meet SAM3 for Referring Video Object Segmentation [65.24213788883016]
  本報告では,第5回PVUW MeViS-Text Challengeの優勝ソリューションについて述べる。 私たちは、強力なマルチモーダルな大規模言語モデルとSAM3を組み合わせた、完全にトレーニング不要なパイプラインを構築しています。 我々の手法はPVUW 2026 MeViS-Textテストセットで第1位であり、最終スコアは0.909064、J&Fスコアは0.7897026である。
  論文  参考訳（メタデータ） (2026-04-01T02:42:30Z)
• Keeping the Evidence Chain: Semantic Evidence Allocation for Training-Free Token Pruning in Video Temporal Grounding [16.537148896706036]
  Video Temporal Grounding (VTG)は、クエリ関連モーメントの時間的境界を、長い、トリミングされていないビデオでローカライズする。 本稿では,セマンティックな役割を持つコンパクトだがコヒーレントなトークンサブセットを構成する,トレーニング不要なプルーニングフレームワークSemVIDを提案する。
  論文  参考訳（メタデータ） (2026-03-05T20:25:32Z)
• The Devil is in Temporal Token: High Quality Video Reasoning Segmentation [68.33080352141653]
  ビデオ推論の方法は、ビデオ内のオブジェクトを表現するために単一の特別なトークンに大きく依存する。 エンドツーエンドの動画推論セグメンテーション手法であるVRS-HQを提案する。 提案手法の強い時間的推論とセグメンテーション能力について検討した。
  論文  参考訳（メタデータ） (2025-01-15T03:17:24Z)
• Efficient Video Action Detection with Token Dropout and Context Refinement [67.10895416008911]
  効率的なビデオアクション検出(ViT)のためのエンドツーエンドフレームワークを提案する。 ビデオクリップでは、他のフレームからのアクターの動きに関連するトークンを保存しながら、その視点でトークンを維持する。 第二に、残ったトークンを利用してシーンコンテキストを洗練し、アクターのアイデンティティをよりよく認識する。
  論文  参考訳（メタデータ） (2023-04-17T17:21:21Z)
• Video Action Recognition with Attentive Semantic Units [23.384091957466588]
  アクションラベルの後ろに隠れているセマンティックユニット()を利用して、より正確なアクション認識を行います。 視覚言語モデル(VLM)の視覚枝にマルチリージョンモジュール(MRA)を導入する。 完全教師付き学習では,Kinetics-400では87.8%の精度でトップ1の精度を達成した。
  論文  参考訳（メタデータ） (2023-03-17T03:44:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。