論文の概要: Moving Forward with Video Saliency: A New Dataset and Benchmark where Motion Matters

• arxiv url: http://arxiv.org/abs/2610.03276v1
• Date: Fri, 02 Oct 2026 13:17:52 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-06 00:14:30.391368
• Title: Moving Forward with Video Saliency: A New Dataset and Benchmark where Motion Matters
• Title（参考訳）: ビデオの静かさで前進する - 動きが重要となる新しいデータセットとベンチマーク
• Abstract要約: ビデオのサリエンシ予測は、時間次元の付加により、静的な画像のサリエンシよりもモデル化が本質的に困難である。 それまでの研究では、LEDOV上の説明可能な視線情報のかなりの部分を、静的なベースラインが回復していることが示されていた。 よりダイナミズムの高いビデオ・サリエンシ・ベンチマークであるSalTemptoを紹介した。
• 参考スコア（独自算出の注目度）: 19.718886195320767
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Video saliency prediction is inherently harder to model than static image saliency due to the additional temporal dimension. Video saliency benchmarks rest on the premise that predicting gaze on video requires utilizing temporal activity distributed across frames. Prior work has challenged this, showing that static baselines recover a significant fraction of the explainable gaze information on LEDOV, a popular video saliency dataset, and that video saliency models fail in the same places as this static baseline. We verify that this diagnosis still stands: under a more capable gold standard than the original analysis, and an updated panel of recent architectures, the strongest temporal architecture in the panel still does not substantially improve over a fine-tuned static baseline. However, it remains unclear whether the marginal gain reflects limitations of current temporal architectures or a lack of temporal patterns in the benchmark itself. We introduce SalTempto, a video saliency benchmark with greater dynamism: 224 clips of highly dynamic content, sourced from the HACS-Segments dataset so that each clip contains an event together with its lead-up and aftermath, with gaze recordings from up to 16 subjects and a training split for adapting pretrained models. On SalTempto, the static baseline recovers only about 13\% of the headroom above the centerbias, against more than half on LEDOV. A fine-tuned temporal architecture shows a substantial gain in performance over the static baseline, indicating that it does capture meaningfully more temporal information, which LEDOV fails to measure. Yet, even this SoTA model still leaves nearly half of SalTempto's headroom unexplained, indicating room for improvement in video saliency modelling. Examination of SalTempto also lets us describe human tendencies that models miss. SalTempto link: https://huggingface.co/datasets/bethgelab/video_saliency.
• Abstract（参考訳）: ビデオのサリエンシ予測は、時間次元の付加により、静的な画像のサリエンシよりもモデル化が本質的に困難である。 ビデオサリエンシベンチマークは、ビデオの視線を予測するには、フレームに分散した時間的活動を活用する必要があるという前提に基づいている。 それまでの作業では、静的ベースラインがLEDOV上の説明可能な視線情報のかなりの部分を回復し、ビデオサリエンシモデルが静的ベースラインと同じ場所で失敗することを示していた。 従来の分析よりも有能な金の標準の下では、最近のアーキテクチャのパネルが更新され、パネルの最強の時間的アーキテクチャはいまだに微調整された静的ベースラインよりも大幅に改善されていない。 しかし、この限界ゲインが現在の時間的アーキテクチャの限界や、ベンチマーク自体の時間的パターンの欠如を反映しているかどうかは不明だ。 HACS-Segmentsデータセットから得られた224の高ダイナミックなコンテンツクリップは、各クリップがリードアップとアフターマスと共にイベントを格納し、最大16人の被験者の視線記録と、事前訓練されたモデルに適応するためのトレーニングスプリットを備える。 SalTemptoでは、スタティックベースラインは中心部より上の頭部の約13%しか回復せず、LEDOVでは半分以上である。 微調整された時間的アーキテクチャは、静的ベースラインよりも大幅にパフォーマンスが向上し、LEDOVが測定できない時間的情報を有意義に捉えていることを示している。 しかし、このSoTAモデルでさえ、SalTemptoのヘッドルームの半分近くは説明がつかず、ビデオ・サリエンシ・モデリングの改善の余地があることを示している。 SalTemptoの検証では、モデルが見逃す人間の傾向も説明できます。 SalTemptoのリンク:https://huggingface.co/datasets/bethgelab/video_saliency。

関連論文リスト

• ViTAL-X: Video-Text Alignment with Cross-Modal Temporal Edits [50.455758151353926]
  ビデオテキストモデルは、しばしば時間的な盲目、順序、方向、動きのダイナミクスといった基本的な手がかりを知覚できないことを示す。 我々は,正確な時間的監督を注入する自己監督型フレームワークであるクロスモーダル時間的編集(XTE)を提案する。 私たちはこれを、凍結した画像テキストのバックボーンに時間的認識を持たせる軽量モデルViTAL-Xでインスタンス化する。
  論文  参考訳（メタデータ） (2026-09-01T00:13:44Z)
• Harnessing Synthetic Preference Data for Enhancing Temporal Understanding of Video-LLMs [54.502280390499756]
  我々はTimeWarpを提案し、モデルからの応答を微調整し、与えられた入力ビデオにフォーカスするよう促すために、ターゲットとなる合成時間データセットを作成する。 提案手法を既存モデルに適用すると,時間的理解ベンチマークの性能が大幅に向上することが実証された。
  論文  参考訳（メタデータ） (2025-10-04T21:48:40Z)
• Time Blindness: Why Video-Language Models Can't See What Humans Can? [48.653937503646375]
  我々は、ノイズのようなフレームの時間的シーケンスにのみ情報を格納するベンチマークである$bfSpookyBenchを紹介した。 人間は98%以上の精度でこれらのシーケンスの形状、テキスト、パターンを認識できるが、最先端の視覚言語モデルは0%の精度を達成する。 この性能ギャップは、フレームレベルの空間的特徴に対する過度な信頼と、時間的手がかりから意味を抽出できないという、限界を浮き彫りにする。
  論文  参考訳（メタデータ） (2025-05-30T17:59:12Z)
• TimeRefine: Temporal Grounding with Time Refining Video LLM [75.99665302872901]
  ビデオの時間的接地は、テキストのプロンプトが与えられたビデオの中で、関連する時間的境界をローカライズすることを目的としている。 我々は時間的接地タスクを時間的精錬タスクとして再構成する。 我々は、予測セグメントが基底真理からさらに逸脱した場合、モデルをよりペナルティ化する補助予測ヘッドを組み込む。
  論文  参考訳（メタデータ） (2024-12-12T18:59:11Z)
• TemporalBench: Benchmarking Fine-grained Temporal Understanding for Multimodal Video Models [75.42002690128486]
  TemporalBenchは、ビデオの微細な時間的理解を評価するための新しいベンチマークだ。 ビデオクリップの時間的ダイナミクスを詳述した2Kの高品質な人間のアノテーションから派生した10KのビデオQ&Aペアで構成されている。 GPT-4oのような最先端のモデルは、TemporalBench上で38.5%の質問応答精度しか達成していない。
  論文  参考訳（メタデータ） (2024-10-14T17:59:58Z)
• Does SpatioTemporal information benefit Two video summarization benchmarks? [2.8558008379151882]
  我々は、ビデオ要約のタスクに類似したスプリアス関係が影響を及ぼすかどうかを問う。 まず、時間的に不変なモデルでベースラインを推定し、そのようなモデルがベンチマークデータセット上でどれだけうまくランクされているかを確認する。 次に、ビデオの時間的順序を乱して、既存の最先端モデルに与える影響を調査します。
  論文  参考訳（メタデータ） (2024-10-04T11:20:04Z)
• Long-horizon video prediction using a dynamic latent hierarchy [1.2891210250935146]
  遅延状態の階層としてビデオを表現する潜在モデルである動的遅延(DLH)を紹介する。 DLHはその階層をまたいで表現を歪めることを学ぶ。 ビデオ予測において,DLHが最先端のベンチマークより優れていることを示す。
  論文  参考訳（メタデータ） (2022-12-29T17:19:28Z)
• Video Demoireing with Relation-Based Temporal Consistency [68.20281109859998]
  カラー歪みのように見えるモアレパターンは、デジタルカメラでスクリーンを撮影する際に、画像と映像の画質を著しく劣化させる。 我々は、このような望ましくないモアレパターンをビデオで除去する方法を研究している。
  論文  参考訳（メタデータ） (2022-04-06T17:45:38Z)
• Controllable Augmentations for Video Representation Learning [34.79719112810065]
  本稿では,ローカルクリップとグローバルビデオを併用して,詳細な地域レベルの対応から学習し,時間的関係を最小化する枠組みを提案する。 我々のフレームワークは、アクション認識とビデオ検索の3つのビデオベンチマークよりも優れており、より正確な時間的ダイナミクスを捉えることができる。
  論文  参考訳（メタデータ） (2022-03-30T19:34:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。