論文の概要: TempSAL -- Uncovering Temporal Information for Deep Saliency Prediction
- arxiv url: http://arxiv.org/abs/2301.02315v2
- Date: Tue, 10 Sep 2024 10:57:14 GMT
- ステータス: 処理完了
- システム内更新日: 2024-09-12 00:08:16.363604
- Title: TempSAL -- Uncovering Temporal Information for Deep Saliency Prediction
- Title（参考訳）: TempSAL -- 潜伏予測のための時間情報
- Authors: Bahar Aydemir, Ludo Hoffstetter, Tong Zhang, Mathieu Salzmann, Sabine Süsstrunk,
- Abstract要約: 本稿では,逐次時間間隔でサリエンシマップを出力する新たなサリエンシ予測モデルを提案する。
提案手法は,学習した時間マップを組み合わせることで,サリエンシ予測を局所的に調整する。
私たちのコードはGitHubで公開されます。
- 参考スコア（独自算出の注目度）: 64.63645677568384
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: Deep saliency prediction algorithms complement the object recognition features, they typically rely on additional information, such as scene context, semantic relationships, gaze direction, and object dissimilarity. However, none of these models consider the temporal nature of gaze shifts during image observation. We introduce a novel saliency prediction model that learns to output saliency maps in sequential time intervals by exploiting human temporal attention patterns. Our approach locally modulates the saliency predictions by combining the learned temporal maps. Our experiments show that our method outperforms the state-of-the-art models, including a multi-duration saliency model, on the SALICON benchmark. Our code will be publicly available on GitHub.
- Abstract（参考訳）: ディープサリエンシ予測アルゴリズムはオブジェクト認識の特徴を補完するが、通常はシーンコンテキスト、セマンティックな関係、視線方向、オブジェクトの異種性などの追加情報に依存する。
しかし、これらのモデルはいずれも、画像観察中に視線シフトの時間的性質を考慮していない。
本研究では,人間の時間的注意パターンを利用して,逐次的時間間隔でサリエンシマップを出力する新たなサリエンシ予測モデルを提案する。
提案手法は,学習した時間マップを組み合わせることで,サリエンシ予測を局所的に調整する。
実験の結果,本手法はSALICONベンチマークにおいて,マルチデューレーション・サリエンシ・モデルを含む最先端モデルよりも優れていることがわかった。
私たちのコードはGitHubで公開されます。
関連論文リスト
- TPP-Gaze: Modelling Gaze Dynamics in Space and Time with Neural Temporal Point Processes [63.95928298690001]
ニューラル・テンポラル・ポイント・プロセス(TPP)に基づく新規かつ原則化されたスキャンパスダイナミクスのアプローチであるTPP-Gazeを提案する。
提案手法は,最先端手法と比較して総合的に優れた性能を示す。
論文 参考訳（メタデータ） (2024-10-30T19:22:38Z) - Precipitation nowcasting with generative diffusion models [0.0]
降水処理における拡散モデルの有効性について検討した。
本研究は, 確立されたU-Netモデルの性能と比較したものである。
論文 参考訳（メタデータ） (2023-08-13T09:51:16Z) - OpenSTL: A Comprehensive Benchmark of Spatio-Temporal Predictive
Learning [67.07363529640784]
提案するOpenSTLは,一般的なアプローチを再帰的モデルと再帰的モデルに分類する。
我々は, 合成移動物体軌道, 人間の動き, 運転シーン, 交通流, 天気予報など, さまざまな領域にわたるデータセットの標準評価を行う。
リカレントフリーモデルは、リカレントモデルよりも効率と性能のバランスが良いことがわかった。
論文 参考訳（メタデータ） (2023-06-20T03:02:14Z) - Mixed moving average field guided learning for spatio-temporal data [0.0]
我々は,新しいベイズ時間埋め込みと理論誘導型機械学習アプローチを定義し,アンサンブル予測を行う。
リプシッツ予測器を用いて、バッチ学習環境における固定時間および任意の時間PACを決定する。
次に、線形予測器とOrnstein-Uhlenbeckプロセスからシミュレーションしたデータセットを用いて学習手法の性能を検証した。
論文 参考訳（メタデータ） (2023-01-02T16:11:05Z) - PRISM: Probabilistic Real-Time Inference in Spatial World Models [52.878769723544615]
PRISMはエージェントの動きと視覚知覚の確率的生成モデルにおけるリアルタイムフィルタリングの手法である。
提案手法は10Hzでリアルタイムに動作し,小型・中型屋内環境における最先端SLAMと同等に精度が高い。
論文 参考訳（メタデータ） (2022-12-06T13:59:06Z) - Temporal Relevance Analysis for Video Action Models [70.39411261685963]
まず,CNNに基づく行動モデルにより捉えたフレーム間の時間的関係を定量化する手法を提案する。
次に、時間的モデリングがどのように影響を受けるかをよりよく理解するために、包括的な実験と詳細な分析を行います。
論文 参考訳（メタデータ） (2022-04-25T19:06:48Z) - RecSal : Deep Recursive Supervision for Visual Saliency Prediction [2.223733768286313]
正当性予測データセットを使用して、最終的な正当性マップだけでなく、各刺激についてより多くの情報を作成することができる。
提案手法は,パラメータが50～80%少ない従来の最先端手法よりも優れていることを示す。
論文 参考訳（メタデータ） (2020-08-31T17:08:34Z) - Predicting Temporal Sets with Deep Neural Networks [50.53727580527024]
本稿では,時間集合予測のためのディープニューラルネットワークに基づく統合解を提案する。
ユニークな視点は、セットレベルの共起グラフを構築することで要素関係を学ぶことである。
我々は,要素や集合の時間依存性を適応的に学習するアテンションベースのモジュールを設計する。
論文 参考訳（メタデータ） (2020-06-20T03:29:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。