論文の概要: Sufficient Frame Subsets for Video Understanding

• arxiv url: http://arxiv.org/abs/2610.25084v1
• Date: Sun, 18 Oct 2026 07:47:25 GMT
• ステータス: 情報取得中
• システム内更新日: 2026-10-20 22:19:47.202492
• Title: Sufficient Frame Subsets for Video Understanding
• Title（参考訳）: 映像理解のための十分フレームサブセット
• Abstract要約: 本稿では,すべてのフレームがマスキングされたフレームのコンパクトな集合であるSufficient Frame Subsetを紹介し,各サブセットがモデル予測を独立に保持する。 この結果から,提案アルゴリズムはモデル決定を説明するために,非常にコンパクトで効果的なフレームサブセットを同定することを示した。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: Understanding when during a video a model makes its critical observations is essential for interpreting video-understanding systems. However, existing attribution methods often spread evidence diffusely across near-duplicate frames. We introduce Sufficient Frame Subsets: compact sets of frames in which all other frames are masked, yet each subset independently preserves the model's prediction. We evaluate our method on two complementary benchmarks, UCF101 and Something-Something v2, using both CNN- and transformer-based architectures. Our results show that the proposed algorithm identifies highly compact and effective frame subsets for explaining model decisions. We also find that models capable of relying on a greater number of sufficient frame subsets tend to perform better, possibly because they are more robust, consistent with prior research. Finally, the extracted frame subsets help us analyze model failure cases, reveal which aspects of a video the model has learned to emphasize, and identify opportunities for improving future training procedures.
• Abstract（参考訳）: ビデオ中のモデルが重要な観察を行うときの理解は、ビデオ理解システムを理解する上で不可欠である。 しかし、既存の帰属法は、しばしばほぼ重複したフレームに拡散的に証拠を広げる。 本稿では,すべてのフレームがマスキングされたフレームのコンパクトな集合であるSufficient Frame Subsetを紹介し,各サブセットがモデル予測を独立に保持する。 提案手法は,CNNアーキテクチャとトランスフォーマーアーキテクチャの両方を用いて,UCF101とSomething v2の2つの相補的ベンチマークで評価する。 この結果から,提案アルゴリズムはモデル決定を説明するために,非常にコンパクトで効果的なフレームサブセットを同定することを示した。 また、十分なフレームサブセットを多く依存できるモデルは、おそらくより堅牢で、先行研究と整合性があるため、より優れた性能を示す傾向にあることも見出した。 最後に、抽出したフレームサブセットは、モデル障害事例を分析し、モデルが強調するために学んだビデオのどの側面を明らかにし、将来のトレーニング手順を改善する機会を特定するのに役立つ。

関連論文リスト

• Query-Conditioned Evidential Keyframe Sampling for MLLM-Based Long-Form Video Understanding [21.306038832082553]
  MLLM(Multimodal Large Language Models)は,ビデオ質問応答において高い性能を示した。 ロングフォームビデオへのそれらの応用は、コンテキスト長と計算コストの制限によって制限される。 本稿では,情報理論に基づくエビデンス駆動サンプリングフレームワークを提案する。
  論文  参考訳（メタデータ） (2026-04-01T15:02:50Z)
• FrameMind: Frame-Interleaved Video Reasoning via Reinforcement Learning [65.42201665046505]
  現在のビデオ理解モデルは、各質問の特定の推論条件にかかわらず、固定されたフレームサンプリング戦略に依存し、所定の視覚入力を処理する。 この静的アプローチは、視覚的エビデンスを適応的に収集する能力を制限し、広範囲の時間的カバレッジやきめ細かい空間的詳細を必要とするタスクにおいて、最適以下のパフォーマンスをもたらす。 Frame-Interleaved Chain-of-Thought (FiCOT)を通して、モデルが推論中に視覚情報を動的に要求することを可能にする強化学習で訓練されたエンドツーエンドフレームワークであるFrameMindを紹介する。 従来のアプローチとは異なり、FrameMindは複数のターンで動作し、モデルがテキスト推論とアクティブな視覚知覚を交互に切り替え、ツールを使って抽出する。
  論文  参考訳（メタデータ） (2025-09-28T17:59:43Z)
• Search-Map-Search: A Frame Selection Paradigm for Action Recognition [21.395733318164393]
  フレーム選択は、最も情報的で代表的なフレームを抽出して、モデルがビデオコンテンツをよりよく理解できるようにする。 既存のフレーム選択方法は、フレーム単位の重要度予測に基づいて、個別にフレームをサンプリングするか、あるいは、強化学習エージェントを用いて、代表フレームを逐次検索する。 本稿では,検索と教師付き学習の利点を組み合わせた検索-マップ-検索学習パラダイムを提案する。
  論文  参考訳（メタデータ） (2023-04-20T13:49:53Z)
• Revealing Single Frame Bias for Video-and-Language Learning [115.01000652123882]
  単一フレームのトレーニングモデルでは,トレーニングに複数のフレームを使用する既存手法よりも優れたパフォーマンスが得られることを示す。 この結果は、人気のあるビデオおよび言語データセットに強い「静的な外観バイアス」が存在することを明らかにする。 本稿では、時間的モデリングを促進するために、既存のきめ細かい行動認識データセットに基づく2つの新しい検索タスクを提案する。
  論文  参考訳（メタデータ） (2022-06-07T16:28:30Z)
• MHSCNet: A Multimodal Hierarchical Shot-aware Convolutional Network for Video Summarization [61.69587867308656]
  本稿では,MHSCNetと呼ばれるマルチモーダル階層型ショット・アウェア・畳み込みネットワークを提案する。 学習したショット認識表現に基づいて、MHSCNetは、ビデオのローカルおよびグローバルビューにおけるフレームレベルの重要度スコアを予測することができる。
  論文  参考訳（メタデータ） (2022-04-18T14:53:33Z)
• Leveraging Local Temporal Information for Multimodal Scene Classification [9.548744259567837]
  映像シーン分類モデルは、映像の空間的(ピクセル的に)および時間的(フレーム的に)特性を効果的に捉えなければならない。 トークン列が与えられた個々のトークンに対して文脈化された表現を得るように設計された自己注意型トランスフォーマーモデルは、多くのコンピュータビジョンタスクで人気が高まっている。 本稿では,ビデオフレーム間の局所的・大域的時間的関係を利用して,各フレームの文脈的表現をより良くする自己注意ブロックを提案する。
  論文  参考訳（メタデータ） (2021-10-26T19:58:32Z)
• Play Fair: Frame Attributions in Video Models [32.18321127973352]
  本稿では,行動認識モデルを説明する属性法を提案する。 モデルのクラススコアを、各フレームからのコントリビューションの合計に分解します。 本稿では, フレームの支持・抽出に関する詳細な分析と, フレームの位置, クラス予測, シーケンス長との関係について述べる。
  論文  参考訳（メタデータ） (2020-11-24T20:45:29Z)
• Efficient Semantic Video Segmentation with Per-frame Inference [117.97423110566963]
  本研究では,フレームごとの効率的なセマンティックビデオセグメンテーションを推論プロセス中に処理する。 そこで我々は,コンパクトモデルと大規模モデルのパフォーマンスギャップを狭めるために,新しい知識蒸留法を設計した。
  論文  参考訳（メタデータ） (2020-02-26T12:24:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。