論文の概要: Patch-level Gaze Distribution Prediction for Gaze Following

• arxiv url: http://arxiv.org/abs/2211.11062v1
• Date: Sun, 20 Nov 2022 19:25:15 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-22 20:33:32.577693
• Title: Patch-level Gaze Distribution Prediction for Gaze Following
• Title（参考訳）: 注視追従時のパッチレベルの注視分布予測
• Authors: Qiaomu Miao, Minh Hoai, Dimitris Samaras
• Abstract要約: トレーニング後の視線に対するパッチ分布予測(PDP)手法を提案する。 本モデルでは,アノテーションの差が大きい画像上でのより優れたヒートマップ分布を予測することにより,MSE損失の正則化を図っている。 実験により,ターゲット予測とイン/アウト予測サブタスクのギャップを埋めるモデルが得られた。
• 参考スコア（独自算出の注目度）: 49.93340533068501
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Gaze following aims to predict where a person is looking in a scene, by predicting the target location, or indicating that the target is located outside the image. Recent works detect the gaze target by training a heatmap regression task with a pixel-wise mean-square error (MSE) loss, while formulating the in/out prediction task as a binary classification task. This training formulation puts a strict, pixel-level constraint in higher resolution on the single annotation available in training, and does not consider annotation variance and the correlation between the two subtasks. To address these issues, we introduce the patch distribution prediction (PDP) method. We replace the in/out prediction branch in previous models with the PDP branch, by predicting a patch-level gaze distribution that also considers the outside cases. Experiments show that our model regularizes the MSE loss by predicting better heatmap distributions on images with larger annotation variances, meanwhile bridging the gap between the target prediction and in/out prediction subtasks, showing a significant improvement in performance on both subtasks on public gaze following datasets.
• Abstract（参考訳）: Gazeは、ターゲットの位置を予測したり、ターゲットが画像の外側にあることを示すことによって、人がどこにいるかを予測することを目的としている。 最近の研究は、入出力予測タスクを二分分類タスクとして定式化しながら、画素単位の平均二乗誤差(MSE)損失で熱マップ回帰タスクをトレーニングすることで、視線目標を検出する。 このトレーニングの定式化は、トレーニングで利用可能な単一のアノテーションに対して、厳密なピクセルレベルの制約をより高い解像度で課し、アノテーションの分散と2つのサブタスク間の相関を考慮しない。 これらの問題に対処するため,パッチ分布予測法(PDP)を導入する。 従来のモデルのin/out予測ブランチをpdpブランチに置き換え,外部ケースも考慮したパッチレベルの視線分布を予測した。 実験により,提案モデルがmseの損失を正規化し,より大きなアノテーション分散を持つ画像上でのヒートマップ分布を予測し,一方,目標予測とin/out予測サブタスクとのギャップを橋渡しし,データセットをフォローするパブリックアイズにおける両方のサブタスクの性能が著しく向上することを示した。

関連論文リスト

• Diffusion-Refined VQA Annotations for Semi-Supervised Gaze Following [74.30960564603917]
  訓練用視線モデルには、人間のアノテータによって注釈付けされた視線目標座標を持つ多数の画像が必要である。 タスクに2つの新しい前処理を導入することで、視線追跡のための最初の半教師付き手法を提案する。 提案手法は,GazeFollow画像データセットに基づく単純な擬似アノテーション生成ベースラインよりも優れている。
  論文  参考訳（メタデータ） (2024-06-04T20:43:26Z)
• Exploiting Diffusion Prior for Generalizable Dense Prediction [85.4563592053464]
  近年のテキスト・トゥ・イメージ(T2I)拡散モデルでは、既成の高密度予測器では予測できないことがある。 我々は,事前学習したT2Iモデルを用いたパイプラインDMPを,高密度予測タスクの先駆けとして導入する。 限られたドメインのトレーニングデータにもかかわらず、この手法は任意の画像に対して忠実に推定し、既存の最先端のアルゴリズムを超越する。
  論文  参考訳（メタデータ） (2023-11-30T18:59:44Z)
• Prediction under Latent Subgroup Shifts with High-Dimensional Observations [30.433078066683848]
  遅延シフト適応を用いたグラフィカルモデルにおける新しい予測手法を提案する。 RPMの新規な形態は、ソース環境における因果潜伏構造を特定し、ターゲットの予測に適切に適応する。
  論文  参考訳（メタデータ） (2023-06-23T12:26:24Z)
• Self-Supervised Pre-training of Vision Transformers for Dense Prediction Tasks [2.160196691362033]
  本稿では,高密度予測タスクのための視覚変換器の自己教師付き事前学習を提案する。 我々の戦略は、大域的な画像表現のみに基づく対照的な事前学習とは対照的に、密集した予測タスクに適したより良い局所的特徴を生み出す。
  論文  参考訳（メタデータ） (2022-05-30T15:25:37Z)
• Joint Forecasting of Panoptic Segmentations with Difference Attention [72.03470153917189]
  シーン内の全てのオブジェクトを共同で予測する新しいパノプティックセグメンテーション予測モデルについて検討する。 提案したモデルをCityscapesとAIODriveデータセット上で評価する。
  論文  参考訳（メタデータ） (2022-04-14T17:59:32Z)
• Self-Supervision and Spatial-Sequential Attention Based Loss for Multi-Person Pose Estimation [6.92027612631023]
  ボトムアップに基づくポーズ推定手法は、補助的な予測を伴うヒートマップを用いて関節位置を推定し、同時に属する。 より明確な監督の欠如は、1つのモデルにおける機能利用の低さと予測間の矛盾をもたらす。 本稿では,自己教師型ヒートマップを用いて予測矛盾や空間的注意を低減し,ネットワークの特徴抽出を向上する新たな損失組織手法を提案する。
  論文  参考訳（メタデータ） (2021-10-20T19:13:17Z)
• CovarianceNet: Conditional Generative Model for Correct Covariance Prediction in Human Motion Prediction [71.31516599226606]
  本稿では,将来の軌道の予測分布に関連する不確かさを正確に予測する手法を提案する。 我々のアプローチであるCovariaceNetは、ガウス潜在変数を持つ条件付き生成モデルに基づいている。
  論文  参考訳（メタデータ） (2021-09-07T09:38:24Z)
• Predicting with Confidence on Unseen Distributions [90.68414180153897]
  ドメイン適応と予測不確実性文学を結びつけて、挑戦的な未知分布のモデル精度を予測する。 分類器の予測における信頼度(DoC)の差は,様々な変化に対して,分類器の性能変化を推定することに成功した。 具体的には, 合成分布と自然分布の区別について検討し, その単純さにもかかわらず, DoCは分布差の定量化に優れることを示した。
  論文  参考訳（メタデータ） (2021-07-07T15:50:18Z)
• Calibrated Adversarial Refinement for Stochastic Semantic Segmentation [5.849736173068868]
  本稿では,各予測に関連付けられた確率が,その根拠となる真偽の正しさを反映する,セマンティックマップ上の校正された予測分布を学習するための戦略を提案する。 マルチグレーダのLIDCデータセットと、注入曖昧さのあるCityscapesデータセットに対して、最先端の成果を達成し、アプローチの汎用性と堅牢性を実証する。 本研究は,おもちゃの回帰データセットを用いて実験することにより,校正された予測分布の学習を必要とする他のタスクにコア設計を適用することができることを示す。
  論文  参考訳（メタデータ） (2020-06-23T16:39:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。