論文の概要: Wavelet-based Frame Selection by Detecting Semantic Boundary for Long Video Understanding

• arxiv url: http://arxiv.org/abs/2603.00512v1
• Date: Sat, 28 Feb 2026 07:18:07 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-03 19:50:56.23545
• Title: Wavelet-based Frame Selection by Detecting Semantic Boundary for Long Video Understanding
• Title（参考訳）: 長いビデオ理解のための意味境界検出によるウェーブレットに基づくフレーム選択
• Authors: Wang Chen, Yuhui Zeng, Yongdong Luo, Tianyu Xie, Luojun Lin, Jiayi Ji, Yan Zhang, Xiawu Zheng,
• Abstract要約: 現在のメソッドは、通常、与えられたクエリに高い関連性を持つフレームを選択する。 トレーニング不要なフレームワークであるセマンティック境界(WFS-SB)の検出によるウェーブレットベースのフレーム選択を提案する。 WFS-SBはLVLMの性能を大幅に向上させ、ビデオMMEでは5.5%、MLVUでは9.5%、LongVideoBenchでは6.2%の精度向上を実現した。
• 参考スコア（独自算出の注目度）: 43.587729230845525
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Frame selection is crucial due to high frame redundancy and limited context windows when applying Large Vision-Language Models (LVLMs) to long videos. Current methods typically select frames with high relevance to a given query, resulting in a disjointed set of frames that disregard the narrative structure of video. In this paper, we introduce Wavelet-based Frame Selection by Detecting Semantic Boundary (WFS-SB), a training-free framework that presents a new perspective: effective video understanding hinges not only on high relevance but, more importantly, on capturing semantic shifts - pivotal moments of narrative change that are essential to comprehending the holistic storyline of video. However, direct detection of abrupt changes in the query-frame similarity signal is often unreliable due to high-frequency noise arising from model uncertainty and transient visual variations. To address this, we leverage the wavelet transform, which provides an ideal solution through its multi-resolution analysis in both time and frequency domains. By applying this transform, we decompose the noisy signal into multiple scales and extract a clean semantic change signal from the coarsest scale. We identify the local extrema of this signal as semantic boundaries, which segment the video into coherent clips. Building on this, WFS-SB comprises a two-stage strategy: first, adaptively allocating a frame budget to each clip based on a composite importance score; and second, within each clip, employing the Maximal Marginal Relevance approach to select a diverse yet relevant set of frames. Extensive experiments show that WFS-SB significantly boosts LVLM performance, e.g., improving accuracy by 5.5% on VideoMME, 9.5% on MLVU, and 6.2% on LongVideoBench, consistently outperforming state-of-the-art methods.
• Abstract（参考訳）: フレーム選択は、長いビデオにLVLM(Large Vision-Language Models)を適用する際に、フレームの冗長性が高く、コンテキストウィンドウが限られているため、重要である。 現在の手法では、通常、与えられたクエリに高い関連性を持つフレームを選択し、その結果、ビデオの物語構造を無視する不合流なフレームのセットが生成される。 本稿では,セマンティック境界の検出によるウェーブレットに基づくフレーム選択(WFS-SB)について紹介する。これは,映像の全体的ストーリーラインを理解する上で不可欠な,セマンティック・シフト(セマンティック・シフト)をキャプチャする,効果的なビデオ理解のヒンジである。 しかし、モデルの不確実性や過渡的な視覚変化に起因する高周波ノイズにより、クエリフレームの類似性信号の急激な変化を直接検出することは、しばしば不可能である。 これを解決するために、ウェーブレット変換を利用して、時間領域と周波数領域の両方で多分解能解析を行う。 この変換を適用することにより、雑音信号を複数のスケールに分解し、粗いスケールからクリーンな意味変化信号を抽出する。 我々は,この信号の局所的極端を意味境界とし,映像をコヒーレントなクリップに分割する。 WFS-SBは、まず、合成重要度スコアに基づいてフレーム予算を各クリップに適応的に割り当てる。 大規模な実験により、WFS-SBはLVLMの性能を著しく向上させ、例えば、ビデオMMEでは5.5%、MLVUでは9.5%、LongVideoBenchでは6.2%向上し、一貫して最先端の手法より優れていた。

関連論文リスト

• Event-Anchored Frame Selection for Effective Long-Video Understanding [67.56884568828508]
  Event-Anchored Frame Selection (EFS)は階層的なイベント認識パイプラインである。 トレーニング不要のプラグイン・アンド・プレイモジュールとして、EFSは既製のLVLMにシームレスに統合できる。
  論文  参考訳（メタデータ） (2026-03-01T08:25:37Z)
• K-frames: Scene-Driven Any-k Keyframe Selection for long video understanding [38.06179287702453]
  Kフレームは、時間的連続性を保存するシーン駆動の選択のための新しいパラダイムである。 個々のフレームを選択する代わりに、Kフレームは意味的に一貫性のあるクエリ関連クリップを予測する。 Kフレームは、様々なスケールで選択するための効果的な、解釈可能な、プラグアンドプレイソリューションを提供する。
  論文  参考訳（メタデータ） (2025-10-14T06:23:22Z)
• From Captions to Keyframes: KeyScore for Multimodal Frame Scoring and Video-Language Understanding [1.3856027745141806]
  KeyScoreは、キャプションと意味的類似性、時間的代表性、文脈的ドロップインパクトを組み合わせたキャプション対応のフレームスコアリング手法である。 提案手法は効率と性能を両立させ,拡張性とキャプションによる映像理解を可能にする。
  論文  参考訳（メタデータ） (2025-10-07T23:02:27Z)
• From Frames to Clips: Efficient Key Clip Selection for Long-Form Video Understanding [43.82717677801915]
  ビデオ大言語モデル(VLM)は様々な視覚言語タスクにおいて顕著な成果を上げている。 生のビデオフレームから生成される膨大な数の視覚トークンが、モデルのコンテキストウィンドウを消費する。 分離されたキーフレームからキークリップへの選択を、短い時間的コヒーレントなセグメントに拡張することで、ビデオの理解が向上することを示す。
  論文  参考訳（メタデータ） (2025-10-02T17:43:01Z)
• LOVE-R1: Advancing Long Video Understanding with an Adaptive Zoom-in Mechanism via Multi-Step Reasoning [73.90466023069125]
  ビデオクリップに適応的にズームイン可能なモデルであるLOVE-R1を提案する。 モデルはまず、密度の高いサンプルフレームが提供されるが、小さな解像度で提供される。 空間的詳細が必要な場合、大きなフレーム解像度で興味のあるクリップを拡大することができる。
  論文  参考訳（メタデータ） (2025-09-29T13:43:55Z)
• FrameMind: Frame-Interleaved Video Reasoning via Reinforcement Learning [65.42201665046505]
  現在のビデオ理解モデルは、各質問の特定の推論条件にかかわらず、固定されたフレームサンプリング戦略に依存し、所定の視覚入力を処理する。 この静的アプローチは、視覚的エビデンスを適応的に収集する能力を制限し、広範囲の時間的カバレッジやきめ細かい空間的詳細を必要とするタスクにおいて、最適以下のパフォーマンスをもたらす。 Frame-Interleaved Chain-of-Thought (FiCOT)を通して、モデルが推論中に視覚情報を動的に要求することを可能にする強化学習で訓練されたエンドツーエンドフレームワークであるFrameMindを紹介する。 従来のアプローチとは異なり、FrameMindは複数のターンで動作し、モデルがテキスト推論とアクティブな視覚知覚を交互に切り替え、ツールを使って抽出する。
  論文  参考訳（メタデータ） (2025-09-28T17:59:43Z)
• Less is More: Token-Efficient Video-QA via Adaptive Frame-Pruning and Semantic Graph Integration [24.337139909108117]
  過剰なフレームが文脈の希釈によってパラドックス的に性能を低下させる「レスはそれ以上」現象である。 視覚エコー」は「視覚エコー」という時間的冗長性を有する AFP"は、ResNet-50とCLIPの機能空間に適応的な階層的クラスタリングアルゴリズムを用いて、これらのエコーを単一の代表に識別し、マージする。 我々の完全なアプローチは、必要なフレームを86.9%まで、合計入力トークンを83.2%まで劇的に削減することを示しています。
  論文  参考訳（メタデータ） (2025-08-05T11:31:55Z)
• Enhancing Long Video Generation Consistency without Tuning [92.1714656167712]
  単一のプロンプトまたは複数のプロンプトで生成されたビデオの一貫性とコヒーレンスを高めるための課題に対処する。 本稿では,時間周波数に基づく時間的注意再重み付けアルゴリズム(TiARA)を提案する。 複数のプロンプトによって生成されたビデオに対しては、プロンプトのアライメントがプロンプトの品質に影響を及ぼすといった重要な要因をさらに明らかにする。 提案するPromptBlendは,プロンプトを系統的に整列させるプロンプトパイプラインである。
  論文  参考訳（メタデータ） (2024-12-23T03:56:27Z)
• No-frills Temporal Video Grounding: Multi-Scale Neighboring Attention and Zoom-in Boundary Detection [52.03562682785128]
  時間的ビデオグラウンドティングは、未編集のビデオから言語クエリの時間間隔を取得することを目的としている。 テレビGにおける重要な課題は、低SNR(Semantic Noise Ratio)による低SNRの性能低下である。 本稿では,2つのコアモジュールからなる非フリーズTVGモデルを提案する。
  論文  参考訳（メタデータ） (2023-07-20T04:12:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。