論文の概要: Hierarchical Step Decomposition for Training-free Online Video Step Grounding
- arxiv url: http://arxiv.org/abs/2610.40153v1
- Date: Thu, 29 Oct 2026 14:35:33 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-02 08:10:31.100207
- Title: Hierarchical Step Decomposition for Training-free Online Video Step Grounding
- Title（参考訳）: トレーニング不要なオンラインビデオステップグラウンドのための階層的なステップ分解
- Abstract要約: オンラインビデオステップグラウンディング(VSG)のためのトレーニングフリーフレームワークである階層的ステップ分解(HSD)を提案する。
HSDは、ストリーミングビデオからセマンティックコヒーレントな時間セグメントを構築することと、粗い手続きステップ記述と視覚的観察の間のセマンティックギャップを埋めることである。
HT-Step、Ego4D Goal-Step、CrossTaskの実験は、HSDが最先端の手法を大幅に上回っていることを示している。
- 参考スコア（独自算出の注目度）: 47.051495937523164
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Given a set of procedural steps, Video Step Grounding (VSG) aims to identify which steps occur in a video and localize when they are performed. Existing methods are either offline, requiring access to the full video before making predictions, or online, but relying on fixed-length video segments producing noisy, over-segmented outputs. In this work, we propose Hierarchical Step Decomposition (HSD), a training-free framework for online VSG that leverages the semantic understanding capabilities of Large Multimodal Models. HSD addresses two central challenges in online grounding: constructing semantically coherent temporal segments from a streaming video, and bridging the semantic gap between coarse procedural step descriptions and visual observations. To construct elementary temporal units, HSD incrementally groups incoming segments into semantically consistent events, using an anchor caption that is continuously validated against the visual stream. Based on these events, we perform zero-shot procedural step classification and selectively refine uncertain predictions by decomposing candidate steps into finegrained substeps that capture more nuanced visual evidence. By operating on semantically coherent events rather than every fixed-length segment, HSD reduces redundant computation and produces more stable predictions. Experiments on HT-Step, Ego4D Goal-Step, and CrossTask show that HSD substantially outperforms state-of-the-art methods, overall achieving better step recognition, more accurate temporal localization, and faster inference.
- Abstract（参考訳）: 手続き的なステップのセットを与えられたビデオステップグラウンド(VSG)は、ビデオ内で発生したステップを特定し、実行時にローカライズすることを目的としている。
既存の方法はオフラインで、予測する前にフルビデオにアクセスするか、あるいはオンラインで行う必要があるが、ノイズの多い過剰なアウトプットを生成する固定長ビデオセグメントに依存している。
本研究では,大規模マルチモーダルモデルのセマンティック理解機能を活用するオンラインVSGのトレーニングフリーフレームワークである階層的ステップ分解(HSD)を提案する。
HSDは、ストリーミングビデオからセマンティックコヒーレントな時間セグメントを構築することと、粗い手続きステップ記述と視覚的観察の間のセマンティックギャップを埋めることである。
基本的な時間単位を構築するために、HSDは視覚ストリームに対して連続的に検証されるアンカーキャプションを使用して、入力セグメントを意味的に一貫したイベントに段階的にグループ化する。
これらの事象に基づいて、我々はゼロショットプロシージャステップ分類を行い、よりニュアンスな視覚的証拠を捉えたきめ細かなサブステップに候補ステップを分解することで、不確実な予測を選択的に洗練する。
すべての固定長セグメントではなく意味的に一貫性のあるイベントを操作することで、HSDは冗長な計算を減らし、より安定した予測を生成する。
HT-Step、Ego4D Goal-Step、CrossTaskの実験では、HSDは最先端の手法を大幅に上回り、全体的なステップ認識、より正確な時間的局所化、より高速な推論を実現している。
関連論文リスト
- VidParse: Online Parsing of Egocentric Procedures Like a Pro [44.77721538280088]
本稿では,アクティビティ理解をグラフ制約付き推論問題として扱うオンラインフレームワークであるVidParseを紹介する。
厳密な視覚セグメントを厳密な手続き的制約に固定することにより、長距離状態遷移を保ち、複雑な多段階解析の精度を最大10倍に向上させる。
論文 参考訳（メタデータ） (2026-08-27T18:00:02Z) - Bootstrapping Video Semantic Segmentation Model via Distillation-assisted Test-Time Adaptation [58.40817037271021]
DiTTA(Distillation-assisted Test-Time Adaptation)は、ISSモデルをアノテーション付きビデオなしで時間的に認識されたVSSモデルに変換する新しいフレームワークである。
完全教師付きVSS法と比較して,DITTAの有効性を示す。
論文 参考訳（メタデータ） (2026-04-13T03:47:08Z) - Follow the Saliency: Supervised Saliency for Retrieval-augmented Dense Video Captioning [7.051314153203061]
既存のDense Video Captioning(DVC)の検索強化アプローチは、真のイベント境界に沿った正確な時間分割を達成できないことが多い。
提案フレームワークであるbfSTaRCは、ハイライト検出モジュールを通じてフレームレベルのサリエンシを監視することによって、この制限を克服する。
我々はYouCook2とViTTベンチマークで総合的な評価を行い、STaRCはほとんどのメトリクスで最先端のパフォーマンスを達成する。
論文 参考訳（メタデータ） (2026-03-12T02:37:21Z) - SwiftVideo: A Unified Framework for Few-Step Video Generation through Trajectory-Distribution Alignment [76.60024640625478]
拡散ベースまたはフローベースモデルは、ビデオ合成において大きな進歩を遂げているが、複数の反復サンプリングステップが必要である。
本稿では, トラジェクトリ保存と分散マッチングの利点を組み合わせた, 統一かつ安定な蒸留フレームワークを提案する。
提案手法は高品質なビデオ生成を維持しつつ,推論ステップの数を著しく削減する。
論文 参考訳（メタデータ） (2025-08-08T07:26:34Z) - O-TALC: Steps Towards Combating Oversegmentation within Online Action Segmentation [0.48748194765816943]
本稿では、バックボーン動作認識モデルのトレーニングと推論を改善する2つの方法を提案する。
まず、トレーニング中の高密度サンプリングを導入し、トレーニングと推論クリップマッチングを容易にし、セグメント境界予測を改善する。
第2に,オンライン推論における過小評価を明示的に低減するオンライン一時認識ラベルクリーニング(O-TALC)戦略を導入する。
論文 参考訳（メタデータ） (2024-04-10T10:36:15Z) - Transform-Equivariant Consistency Learning for Temporal Sentence
Grounding [66.10949751429781]
ビデオ毎により差別的な表現を学習するために,新しい同変一貫性規則学習フレームワークを導入する。
私たちのモチベーションは、クエリ誘導アクティビティの時間的境界を一貫して予測することにある。
特に,ビデオの完全性と滑らか性を高めるために,自己教師付き一貫性損失モジュールを考案した。
論文 参考訳（メタデータ） (2023-05-06T19:29:28Z) - Hierarchical Attention Network for Action Segmentation [45.19890687786009]
イベントの時間的セグメンテーションは、ビデオにおける人間の行動の自動認識のための重要なタスクであり、前駆体である。
我々は、時間とともに行動間の関係をよりよく学習できる、エンドツーエンドの教師あり学習手法を提案する。
我々は,MERLショッピング,50サラダ,ジョージア技術エゴセントリックデータセットなど,公開ベンチマークデータセットの課題を評価する。
論文 参考訳（メタデータ） (2020-05-07T02:39:18Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。