論文の概要: Scanpath Prediction in Panoramic Videos via Expected Code Length
Minimization
- arxiv url: http://arxiv.org/abs/2305.02536v2
- Date: Fri, 5 May 2023 03:24:51 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-08 10:32:19.078625
- Title: Scanpath Prediction in Panoramic Videos via Expected Code Length
Minimization
- Title（参考訳）: コード長最小化によるパノラマ映像の走査パス予測
- Authors: Mu Li, Kanglong Fan, Kede Ma
- Abstract要約: 損失データ圧縮の原理に基づくスキャンパス予測のための新しい基準を提案する。
この基準は、トレーニングセットにおける量子化されたスキャンパスのコード長を最小化することを示唆している。
また、現実的な人間のようなスキャンパスを生成するために、PID(Paldical-Integrated-Integrated-Divative)コントローラベースのサンプリングも導入する。
- 参考スコア（独自算出の注目度）: 27.06179638588126
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Predicting human scanpaths when exploring panoramic videos is a challenging
task due to the spherical geometry and the multimodality of the input, and the
inherent uncertainty and diversity of the output. Most previous methods fail to
give a complete treatment of these characteristics, and thus are prone to
errors. In this paper, we present a simple new criterion for scanpath
prediction based on principles from lossy data compression. This criterion
suggests minimizing the expected code length of quantized scanpaths in a
training set, which corresponds to fitting a discrete conditional probability
model via maximum likelihood. Specifically, the probability model is
conditioned on two modalities: a viewport sequence as the deformation-reduced
visual input and a set of relative historical scanpaths projected onto
respective viewports as the aligned path input. The probability model is
parameterized by a product of discretized Gaussian mixture models to capture
the uncertainty and the diversity of scanpaths from different users. Most
importantly, the training of the probability model does not rely on the
specification of "ground-truth" scanpaths for imitation learning. We also
introduce a proportional-integral-derivative (PID) controller-based sampler to
generate realistic human-like scanpaths from the learned probability model.
Experimental results demonstrate that our method consistently produces better
quantitative scanpath results in terms of prediction accuracy (by comparing to
the assumed "ground-truths") and perceptual realism (through machine
discrimination) over a wide range of prediction horizons. We additionally
verify the perceptual realism improvement via a formal psychophysical
experiment and the generalization improvement on several unseen panoramic video
datasets.
- Abstract（参考訳）: パノラマビデオの探索における人間の走査パスの予測は、球面形状と入力の多モード性、出力の固有の不確かさと多様性のために難しい課題である。
これまでのほとんどの手法ではこれらの特性を完全に扱えないため、エラーを起こしやすい。
本稿では,損失データ圧縮の原理に基づくスカンパス予測のための簡易な新しい基準を提案する。
この基準は、トレーニングセットにおける量子化されたスキャンパスの期待コード長を最小化することを提案している。
特に、確率モデルは、変形還元された視覚入力としてのビューポートシーケンスと、各ビューポートにアライメントパス入力として投影された相対的歴史走査パスのセットの2つのモードで条件付けされる。
確率モデルは離散ガウス混合モデルの積によってパラメータ化され、異なるユーザからのスカンパスの不確実性と多様性を捉える。
最も重要なことは、確率モデルのトレーニングは、模倣学習のための「地下真実」スキャンパスの仕様に頼らないことである。
また、学習確率モデルから現実的な人間様スキャンパスを生成するために、比例積分微分(PID)コントローラベースのサンプリングも導入する。
実験結果から,提案手法は予測精度(推定した「地下構造」と比較)と知覚現実性(機械識別)を幅広い予測地平線上で一貫した定量的なスキャパス結果が得られることが示された。
さらに,形式的心理物理学実験による知覚的リアリズムの改善と,未認識のパノラマ映像データセットの一般化による改善を検証した。
関連論文リスト
- EyeFormer: Predicting Personalized Scanpaths with Transformer-Guided Reinforcement Learning [31.583764158565916]
視覚的ユーザインタフェースにおけるスキャンパスを予測する機械学習モデルであるEyeFormerを提案する。
我々のモデルは、いくつかのユーザ・スキャンパス・サンプルが与えられたとき、パーソナライズされた予測を生成するユニークな能力を持っている。
固定位置や持続時間を含む全スキャンパス情報を個人や様々な刺激タイプで予測することができる。
論文 参考訳（メタデータ） (2024-04-15T22:26:27Z) - Generalized Differentiable RANSAC [95.95627475224231]
$nabla$-RANSACは、ランダム化された堅牢な推定パイプライン全体を学ぶことができる、微分可能なRANSACである。
$nabla$-RANSACは、精度という点では最先端のシステムよりも優れているが、精度は低い。
論文 参考訳（メタデータ） (2022-12-26T15:13:13Z) - A Probabilistic Time-Evolving Approach to Scanpath Prediction [8.669748138523758]
ベイズ深層学習に基づくスキャンパス予測のための確率論的時間進化手法を提案する。
我々のモデルは、現在の最先端のアプローチよりも優れており、ほぼ人間のベースラインに匹敵する結果をもたらす。
論文 参考訳（メタデータ） (2022-04-20T11:50:29Z) - Masked prediction tasks: a parameter identifiability view [49.533046139235466]
マスク付きトークンの予測に広く用いられている自己教師型学習手法に着目する。
いくつかの予測タスクは識別可能性をもたらすが、他のタスクはそうではない。
論文 参考訳（メタデータ） (2022-02-18T17:09:32Z) - NUQ: Nonparametric Uncertainty Quantification for Deterministic Neural
Networks [151.03112356092575]
本研究では,Nadaraya-Watson の条件付きラベル分布の非パラメトリック推定に基づく分類器の予測の不確かさの測定方法を示す。
種々の実世界の画像データセットにおける不確実性推定タスクにおいて,本手法の強い性能を示す。
論文 参考訳（メタデータ） (2022-02-07T12:30:45Z) - Dense Out-of-Distribution Detection by Robust Learning on Synthetic
Negative Data [1.7474352892977458]
道路走行シーンとリモートセンシング画像における分布外異常の検出方法を示す。
我々は,カバレッジ指向学習の目的と異なる解像度でサンプルを生成する能力により,共同で訓練された正規化フローを活用する。
結果として得られたモデルは、道路走行シーンとリモートセンシング画像におけるアウト・オブ・ディストリビューション検出のためのベンチマークに、新たな技術状況を設定した。
論文 参考訳（メタデータ） (2021-12-23T20:35:10Z) - PDC-Net+: Enhanced Probabilistic Dense Correspondence Network [161.76275845530964]
高度確率密度対応ネットワーク(PDC-Net+)は、精度の高い高密度対応を推定できる。
我々は、堅牢で一般化可能な不確実性予測に適したアーキテクチャと強化されたトレーニング戦略を開発する。
提案手法は,複数の挑戦的幾何マッチングと光学的フローデータセットに対して,最先端の結果を得る。
論文 参考訳（メタデータ） (2021-09-28T17:56:41Z) - Efficient remedies for outlier detection with variational autoencoders [8.80692072928023]
深層生成モデルによって計算される類似度は、ラベルなしデータによる外れ値検出の候補メトリックである。
理論的に定位された補正は、VAE推定値による鍵バイアスを容易に改善することを示す。
また,VAEのアンサンブル上で計算される確率の分散により,ロバストな外乱検出が可能となることを示す。
論文 参考訳（メタデータ） (2021-08-19T16:00:58Z) - Scalable Marginal Likelihood Estimation for Model Selection in Deep
Learning [78.83598532168256]
階層型モデル選択は、推定困難のため、ディープラーニングではほとんど使われない。
本研究は,検証データが利用できない場合,限界的可能性によって一般化が向上し,有用であることを示す。
論文 参考訳（メタデータ） (2021-04-11T09:50:24Z) - State-of-the-Art in Human Scanpath Prediction [22.030889583780514]
過去のスキャンパス履歴から,スキャンパスにおける各固定の精度をモデルとして評価した。
これにより、モデル評価は、下層スキャンパス生成と考えられる生物学的プロセスと密接に整合する。
MIT1003, MIT300, CAT2000, CAT200のデータセット上でのスキャンパス予測の多くの既存モデルを評価する。
論文 参考訳（メタデータ） (2021-02-24T12:01:28Z) - Uncertainty Inspired RGB-D Saliency Detection [70.50583438784571]
本稿では,データラベリングプロセスから学習することで,RGB-D値検出の不確実性を利用した最初のフレームワークを提案する。
そこで本研究では,確率的RGB-Dサリエンシ検出を実現するために,サリエンシデータラベリングプロセスにインスパイアされた生成アーキテクチャを提案する。
6つの挑戦的RGB-Dベンチマークデータセットの結果から,サリエンシマップの分布を学習する際のアプローチの優れた性能が示された。
論文 参考訳（メタデータ） (2020-09-07T13:01:45Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。