論文の概要: SalFoM: Dynamic Saliency Prediction with Video Foundation Models
- arxiv url: http://arxiv.org/abs/2404.03097v1
- Date: Wed, 3 Apr 2024 22:38:54 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-05 16:22:48.161646
- Title: SalFoM: Dynamic Saliency Prediction with Video Foundation Models
- Title（参考訳）: SalFoM: ビデオファウンデーションモデルによる動的サリエンシ予測
- Authors: Morteza Moradi, Mohammad Moradi, Francesco Rundo, Concetto Spampinato, Ali Borji, Simone Palazzo,
- Abstract要約: ビデオサリエンシ予測(VSP)は人間の視覚システムと比較して有望な性能を示した。
本稿では,新しいエンコーダデコーダビデオトランスアーキテクチャであるSalFoMを紹介する。
本モデルはUnMasked Teacher(UMT)抽出器を使用し,異種デコーダを意識した時間変換器を提案する。
- 参考スコア（独自算出の注目度）: 37.25208752620703
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recent advancements in video saliency prediction (VSP) have shown promising performance compared to the human visual system, whose emulation is the primary goal of VSP. However, current state-of-the-art models employ spatio-temporal transformers trained on limited amounts of data, hindering generalizability adaptation to downstream tasks. The benefits of vision foundation models present a potential solution to improve the VSP process. However, adapting image foundation models to the video domain presents significant challenges in modeling scene dynamics and capturing temporal information. To address these challenges, and as the first initiative to design a VSP model based on video foundation models, we introduce SalFoM, a novel encoder-decoder video transformer architecture. Our model employs UnMasked Teacher (UMT) as feature extractor and presents a heterogeneous decoder which features a locality-aware spatio-temporal transformer and integrates local and global spatio-temporal information from various perspectives to produce the final saliency map. Our qualitative and quantitative experiments on the challenging VSP benchmark datasets of DHF1K, Hollywood-2 and UCF-Sports demonstrate the superiority of our proposed model in comparison with the state-of-the-art methods.
- Abstract（参考訳）: 近年のVSPの進歩は人間の視覚システムと比較して有望な性能を示しており,そのエミュレーションがVSPの第一の目標となっている。
しかし、現在の最先端モデルは、限られた量のデータに基づいて訓練された時空間変換器を採用しており、下流タスクへの一般化を妨げている。
ビジョンファウンデーションモデルの利点は、VSPプロセスを改善する潜在的な解決策を提供する。
しかし,映像基礎モデルをビデオ領域に適応させることは,シーンのダイナミクスをモデル化し,時間的情報を取得する上で大きな課題となる。
これらの課題に対処し、ビデオファンデーションモデルに基づくVSPモデルを設計する最初の取り組みとして、新しいエンコーダデコーダビデオトランスフォーマアーキテクチャであるSalFoMを紹介する。
本モデルでは,UnMasked Teacher (UMT) を特徴抽出器として使用し,局所性を考慮した時空間変換器を特徴とする異種デコーダを提示し,各視点からの時空間情報と大域時空間情報を統合して最終的な時空間マップを作成する。
DHF1K, Hollywood-2, UCF-Sports の挑戦的 VSP ベンチマークデータセットに関する定性的および定量的実験により,提案モデルが最先端の手法と比較して優れていることを示す。
関連論文リスト
- ReVLA: Reverting Visual Domain Limitation of Robotic Foundation Models [55.07988373824348]
既存の3つのロボット基礎モデルの視覚的一般化能力について検討する。
本研究は,既存のモデルがドメイン外シナリオに対する堅牢性を示していないことを示す。
モデルマージに基づく段階的なバックボーンリバーサルアプローチを提案する。
論文 参考訳（メタデータ） (2024-09-23T17:47:59Z) - Modular Blind Video Quality Assessment [33.657933680973194]
Blind Video Quality Assessment (BVQA) は、幅広いビデオベースのプラットフォームやサービスにおけるエンドユーザーの視聴体験を評価し改善する上で重要な役割を担っている。
本稿では,モジュール性向上のためのモジュール型BVQAモデルとトレーニング方法を提案する。
論文 参考訳（メタデータ） (2024-02-29T15:44:00Z) - E2HQV: High-Quality Video Generation from Event Camera via
Theory-Inspired Model-Aided Deep Learning [53.63364311738552]
バイオインスパイアされたイベントカメラやダイナミックビジョンセンサーは、高時間分解能と高ダイナミックレンジでピクセルごとの明るさ変化(イベントストリームと呼ばれる)を捉えることができる。
イベントストリームを入力として取り出し、直感的な視覚化のために高品質なビデオフレームを生成する、イベント間ビデオ(E2V)ソリューションを求めている。
イベントから高品質なビデオフレームを生成するために設計された新しいE2VパラダイムであるtextbfE2HQVを提案する。
論文 参考訳（メタデータ） (2024-01-16T05:10:50Z) - Visual Analytics for Generative Transformer Models [28.251218916955125]
本稿では,変換器を用いた生成ネットワークの解析を支援するための新しい視覚分析フレームワークを提案する。
我々のフレームワークは、トランスフォーマーベースのエンコーダデコーダモデルの解析をサポートするための最初のフレームワークの1つである。
論文 参考訳（メタデータ） (2023-11-21T08:15:01Z) - Conditional Generative Modeling for Images, 3D Animations, and Video [4.422441608136163]
コンピュータビジョンのための生成モデリングの分野における革新を推進しようとする論文。
研究は、ノイズと視覚データの変換を提供するアーキテクチャと、生成タスクや3Dコンテンツ操作にエンコーダ・デコーダアーキテクチャを適用することに焦点を当てている。
論文 参考訳（メタデータ） (2023-10-19T21:10:39Z) - S-HR-VQVAE: Sequential Hierarchical Residual Learning Vector Quantized Variational Autoencoder for Video Prediction [16.14728977379756]
量子化可変ベクトルオートコーダ(SHR-VQE)の逐次階層的残差学習能力を提案する。
SHR-VQEは、時間的データの学習、高いぼやけた予測の処理、物理特性の暗黙的なモデリングなど、ビデオ予測の課題に対処できることを示す。
論文 参考訳（メタデータ） (2023-07-13T11:58:27Z) - Video Probabilistic Diffusion Models in Projected Latent Space [75.4253202574722]
我々は、PVDM(Latent Video diffusion model)と呼ばれる新しいビデオ生成モデルを提案する。
PVDMは低次元の潜伏空間で映像配信を学習し、限られた資源で高解像度映像を効率的に訓練することができる。
論文 参考訳（メタデータ） (2023-02-15T14:22:34Z) - Advancing Plain Vision Transformer Towards Remote Sensing Foundation
Model [97.9548609175831]
約1億のパラメータを持つプレーンビジョントランスフォーマーを利用して、リモートセンシングタスク用にカスタマイズされた大規模なビジョンモデルを提案する。
具体的には、RS画像における大きな画像サイズと様々な向きのオブジェクトを扱うために、回転する様々なウィンドウアテンションを提案する。
検出タスクの実験は、DOTA-V1.0データセット上で81.16%のmAPを達成したすべての最先端モデルよりも、我々のモデルの方が優れていることを示す。
論文 参考訳（メタデータ） (2022-08-08T09:08:40Z) - Insights from Generative Modeling for Neural Video Compression [31.59496634465347]
本稿では,深部自己回帰・潜時可変モデリングのレンズを用いたニューラルビデオ符号化アルゴリズムを提案する。
本稿では,高解像度映像に対して最先端の映像圧縮性能を実現するアーキテクチャを提案する。
さらに、生成的モデリングの観点から、ニューラルビデオ符号化の分野を前進させることができることを示す。
論文 参考訳（メタデータ） (2021-07-28T02:19:39Z) - STAR: Sparse Transformer-based Action Recognition [61.490243467748314]
本研究は,空間的次元と時間的次元に細かな注意を払っている新しいスケルトンに基づく人間行動認識モデルを提案する。
実験により、トレーニング可能なパラメータをはるかに少なくし、トレーニングや推論の高速化を図りながら、モデルが同等のパフォーマンスを達成できることが示されている。
論文 参考訳（メタデータ） (2021-07-15T02:53:11Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。