論文の概要: Training-Free Temporal Abstraction for General Video Understanding
- arxiv url: http://arxiv.org/abs/2608.27929v1
- Date: Fri, 28 Aug 2026 05:10:54 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-31 17:16:04.210418
- Title: Training-Free Temporal Abstraction for General Video Understanding
- Title（参考訳）: 一般映像理解のための訓練自由時間抽象化
- Abstract要約: 映像を意味的に意味のある時間的チャンクに分割する訓練不要なSTITCHを提案する。
我々は,汎用イベント境界検出,言語に基づくモーメント検索,長ビデオVLM推論のためのフレーム選択についてSTITCHを評価する。
- 参考スコア（独自算出の注目度）: 12.051446549851844
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Videos are expensive to analyze frame by frame, yet many video understanding tasks depend on knowing where relevant moments occur. A system may need to find when an action changes, locate the segment described by a sentence, or choose a few frames for a vision-language model. Existing methods often solve these problems separately, using task-specific training data or specialized architectures. We study whether a pretrained video-text model can provide enough temporal structure to support several of these tasks at once. We present STITCH, a training-free method that divides a video into semantically meaningful temporal chunks. STITCH embeds short video windows with a frozen video-text backbone and detects changes in the resulting embedding sequence. These chunks are computed once per video and reused across tasks. We evaluate STITCH on generic event boundary detection, language-based moment retrieval, and frame selection for long-video VLM reasoning. Across all three settings, STITCH remains competitive with more specialized methods while requiring no task-specific training, with especially clear gains when only a small number of frames or tokens can be processed. These results suggest that reusable temporal abstraction is a promising direction for general video understanding, allowing dense video streams to be converted once into semantic units that can be localized, retrieved, sampled, or reasoned over by downstream systems.
- Abstract（参考訳）: ビデオはフレームごとに分析するのに費用がかかるが、多くのビデオ理解タスクは、関連する瞬間がどこにあるかを知ることに依存する。
システムは、アクションがいつ変化するかを検出し、文によって記述されたセグメントを特定したり、視覚言語モデルのためにいくつかのフレームを選択する必要がある。
既存の手法は、タスク固有のトレーニングデータや特殊なアーキテクチャを使って、これらの問題を個別に解決することが多い。
事前訓練されたビデオテキストモデルが,これらのタスクを同時にサポートするのに十分な時間的構造を提供できるかどうかを検討する。
映像を意味的に意味のある時間的チャンクに分割する訓練不要なSTITCHを提案する。
STITCHは短いビデオウィンドウを凍結したビデオテキストのバックボーンに埋め込み、その結果の埋め込みシーケンスの変化を検出する。
これらのチャンクはビデオ毎に1回計算され、タスク間で再利用される。
我々は,汎用イベント境界検出,言語に基づくモーメント検索,長ビデオVLM推論のためのフレーム選択についてSTITCHを評価する。
3つの設定全体にわたって、STITCHはタスク固有のトレーニングを必要とせず、特に少数のフレームやトークンしか処理できない場合、より特殊な方法と競合する。
これらの結果は、再利用可能な時間的抽象化が一般的なビデオ理解に有望な方向であることを示し、高密度なビデオストリームを1度だけセマンティック単位に変換して、ダウンストリームシステムによって局所化、検索、サンプル化、あるいは推論することができることを示唆している。
関連論文リスト
- Improving Spatial-Temporal Reasoning in Video-Language Models with Structured Video Prompting [0.0]
ビデオ言語モデル(VLM)は、時間とともにイベントを追跡し、特定の空間領域で答えをグラウンド化する必要があるタスクに対して脆弱なままである。
本稿では,軽量な空間構造と時間構造で入力映像を増強する学習不要な推論時間手法である構造化ビデオプロンプトを導入する。
2つの相補的なビデオベンチマークと2つのオープンなビデオ言語モデルでこのアプローチを評価する。
論文 参考訳（メタデータ） (2026-08-23T20:16:09Z) - Multimodal Long Video Modeling Based on Temporal Dynamic Context [13.979661295432964]
時間的動的コンテキスト(TDC)と呼ばれるフレーム間の時間的関係を利用した動的長ビデオ符号化手法を提案する。
ビデオはフレーム間の類似性に基づいて意味的に一貫したシーンに分割し、各フレームを視覚音響エンコーダを使用してトークンにエンコードする。
極端に長いビデオを扱うために,複数のビデオセグメントから回答を段階的に抽出する学習自由連鎖戦略を提案する。
論文 参考訳（メタデータ） (2025-04-14T17:34:06Z) - Parameter-free Video Segmentation for Vision and Language Understanding [55.20132267309382]
最小記述長の原理に基づいて,映像を連続的なチャンクに分割するアルゴリズムを提案する。
アルゴリズムは完全にパラメータフリーで、設定された閾値や指定するチャンクの数やサイズを必要としない特徴ベクトルが与えられる。
論文 参考訳（メタデータ） (2025-03-03T05:54:37Z) - Disentangling spatio-temporal knowledge for weakly supervised object detection and segmentation in surgical video [10.287675722826028]
本稿では,セミデカップリング型時間的知識蒸留を用いて,高品質なクラスアクティベーションマップ(CAM)の予測を行うために,VDST-Net(Video Spatio-Temporal Disment Networks)を導入している。
提案するフレームワークは,一般的な参照データセットや,オブジェクトが平均60%未満の注釈付きフレームに存在する,より困難な手術用ビデオデータセット上で有効であることを示す。
論文 参考訳（メタデータ） (2024-07-22T16:52:32Z) - OmniVid: A Generative Framework for Universal Video Understanding [133.73878582161387]
我々は、言語をラベルとして使用し、時間とボックストークンを付加することで、ビデオ理解タスクの出力空間を統合することを目指している。
これにより、分類、キャプション、ローカライゼーションなど、さまざまなタイプのビデオタスクに対処できる。
このようなシンプルで素直なアイデアは極めて効果的であり、最先端ないし競争的な結果を得ることができることを実証する。
論文 参考訳（メタデータ） (2024-03-26T17:59:24Z) - Spatio-temporal Prompting Network for Robust Video Feature Extraction [74.54597668310707]
フレームテンポラリ(Frametemporal)は、ビデオ理解の分野における大きな課題の1つだ。
最近のアプローチでは、トランスフォーマーベースの統合モジュールを活用して、時間的品質情報を得る。
N-Temporal Prompting Network (NNSTP) という,クリーンで統一されたフレームワークを提案する。
ネットワークバックボーン内の入力特徴を調整することで,映像特徴の抽出を効率的に行うことができる。
論文 参考訳（メタデータ） (2024-02-04T17:52:04Z) - RTQ: Rethinking Video-language Understanding Based on Image-text Model [55.278942477715084]
ビデオ言語理解は、非常に複雑なセマンティックな詳細を含んでいるため、ユニークな課題を提示する。
本稿では,これらの課題を同時に解決するRTQという新しいフレームワークを提案する。
本モデルは,ビデオ言語による事前学習がなくても,優れた性能を示す。
論文 参考訳（メタデータ） (2023-12-01T04:51:01Z) - Temporal Perceiving Video-Language Pre-training [112.1790287726804]
本研究は、時間的・意味的な微粒なアライメントを可能にする、新しいテキスト-ビデオのローカライゼーション・プレテキストタスクを導入する。
具体的には、テキスト-ビデオのローカライゼーションは、テキスト記述が与えられたビデオの開始と終了の境界を予測するモーメント検索から成っている。
提案手法は,細粒度フレーム表現と単語表現を結合し,単一モードにおける異なるインスタンスの表現を暗黙的に区別する。
論文 参考訳（メタデータ） (2023-01-18T12:15:47Z) - Revealing Single Frame Bias for Video-and-Language Learning [115.01000652123882]
単一フレームのトレーニングモデルでは,トレーニングに複数のフレームを使用する既存手法よりも優れたパフォーマンスが得られることを示す。
この結果は、人気のあるビデオおよび言語データセットに強い「静的な外観バイアス」が存在することを明らかにする。
本稿では、時間的モデリングを促進するために、既存のきめ細かい行動認識データセットに基づく2つの新しい検索タスクを提案する。
論文 参考訳（メタデータ） (2022-06-07T16:28:30Z) - A Hierarchical Multi-Modal Encoder for Moment Localization in Video
Corpus [31.387948069111893]
テキストクエリにセマンティックにマッチする長いビデオにおいて、短いセグメントを識別する方法を示す。
この問題に対処するために、粗いクリップレベルと微調整フレームレベルの両方でビデオをエンコードするHierArchical Multi-Modal EncodeR (HAMMER)を提案する。
我々は、ActivityNet CaptionsとTVRデータセット上のビデオコーパスにおけるモーメントローカライゼーションのモデルを評価するために、広範囲にわたる実験を行った。
論文 参考訳（メタデータ） (2020-11-18T02:42:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。