論文の概要: Object-aware Gaze Target Detection

• arxiv url: http://arxiv.org/abs/2307.09662v2
• Date: Wed, 27 Sep 2023 13:08:51 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-28 18:59:49.694097
• Title: Object-aware Gaze Target Detection
• Title（参考訳）: 物体認識型ゲズターゲット検出
• Authors: Francesco Tonini and Nicola Dall'Asen and Cigdem Beyan and Elisa Ricci
• Abstract要約: 本稿では,シーン内の物体を自動的に検出し,頭部と視線・視線・視線を関連づけるトランスフォーマーアーキテクチャを提案する。 本手法は、視線目標検出のための全測定値の最先端結果と、視線対象物の分類と局所化のための平均精度を11-13%改善する。
• 参考スコア（独自算出の注目度）: 14.587595325977583
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Gaze target detection aims to predict the image location where the person is looking and the probability that a gaze is out of the scene. Several works have tackled this task by regressing a gaze heatmap centered on the gaze location, however, they overlooked decoding the relationship between the people and the gazed objects. This paper proposes a Transformer-based architecture that automatically detects objects (including heads) in the scene to build associations between every head and the gazed-head/object, resulting in a comprehensive, explainable gaze analysis composed of: gaze target area, gaze pixel point, the class and the image location of the gazed-object. Upon evaluation of the in-the-wild benchmarks, our method achieves state-of-the-art results on all metrics (up to 2.91% gain in AUC, 50% reduction in gaze distance, and 9% gain in out-of-frame average precision) for gaze target detection and 11-13% improvement in average precision for the classification and the localization of the gazed-objects. The code of the proposed method is publicly available.
• Abstract（参考訳）: 視線目標検出は、人物が見ている画像の位置と、視線が現場外にある確率を予測することを目的としている。 いくつかの研究は、視線位置を中心とする視線熱マップを回帰することでこの課題に取り組んできたが、人と視線のある物体の関係を復号化することを見落としていた。 本稿では,視線対象領域,視線画素点,クラス,および視線対象の画像位置の包括的かつ説明可能な視線解析を実現するために,シーン内の物体(頭部を含む)を自動的に検出し,各頭部と視線/物体の関連関係を構築するトランスフォーマーアーキテクチャを提案する。 本手法は,対象物の平均精度を11-13%向上し,全測定値(AUCで2.91%,視線距離で50%,フレーム外平均精度で9%,視線目標検出で1.9%,視線対象物の局所化における平均精度を11-13%向上した。 提案手法のコードは公開されている。

関連論文リスト

• Boosting Gaze Object Prediction via Pixel-level Supervision from Vision Foundation Model [19.800353299691277]
  本稿では,人間の視線行動によって捉えた被写体に対応する画素レベルのマスクを推定する,より困難な視線オブジェクトセグメンテーション(GOS)タスクを提案する。 そこで本研究では,実環境におけるモデルの推論効率と柔軟性を確保するために,シーン特徴から頭部特徴を自動的に取得することを提案する。
  論文  参考訳（メタデータ） (2024-08-02T06:32:45Z)
• Semi-Synthetic Dataset Augmentation for Application-Specific Gaze Estimation [0.3683202928838613]
  顔の3次元メッシュを生成し、仮想カメラからのトレーニング画像をアプリケーションに関連する特定の位置と方向でレンダリングする方法を示す。 これにより、視線推定角誤差の平均47%が減少する。
  論文  参考訳（メタデータ） (2023-10-27T20:27:22Z)
• LatentGaze: Cross-Domain Gaze Estimation through Gaze-Aware Analytic Latent Code Manipulation [0.0]
  本稿では,データ駆動型手法を応用した視線認識型解析操作手法を提案する。 GANベースのエンコーダジェネレータプロセスを利用することで、入力画像がターゲット領域からソース領域イメージにシフトし、視線推定器が十分に認識できる。
  論文  参考訳（メタデータ） (2022-09-21T08:05:53Z)
• Active Gaze Control for Foveal Scene Exploration [124.11737060344052]
  本研究では,葉型カメラを用いた人間とロボットが現場を探索する方法をエミュレートする手法を提案する。 提案手法は,同数の視線シフトに対してF1スコアを2～3ポイント増加させる。
  論文  参考訳（メタデータ） (2022-08-24T14:59:28Z)
• End-to-End Human-Gaze-Target Detection with Transformers [57.00864538284686]
  本稿では,Human-Gaze-Target(HGT)検出のための効果的かつ効率的な手法を提案する。 提案手法は,Human-Gaze-Target Detection TRansformer (HGTTR) と名付けられ,HGT検出パイプラインを簡素化する。 提案手法の有効性とロバスト性は,GazeFollowing と VideoAttentionTarget の2つの標準ベンチマークデータセットで検証した。
  論文  参考訳（メタデータ） (2022-03-20T02:37:06Z)
• Object Manipulation via Visual Target Localization [64.05939029132394]
  オブジェクトを操作するための訓練エージェントは、多くの課題を提起します。 本研究では,対象物体を探索する環境を探索し,位置が特定されると3次元座標を計算し,対象物が見えない場合でも3次元位置を推定する手法を提案する。 評価の結果,同じ感覚スイートにアクセス可能なモデルに比べて,成功率が3倍に向上したことが示された。
  論文  参考訳（メタデータ） (2022-03-15T17:59:01Z)
• Slender Object Detection: Diagnoses and Improvements [74.40792217534]
  本稿では,超高アスペクト比,すなわちtextbfslender オブジェクトの特定タイプの検出について検討する。 古典的物体検出法では、細い物体に対してのみ評価される場合、COCO上の18.9%のmAPの劇的な低下が観察される。
  論文  参考訳（メタデータ） (2020-11-17T09:39:42Z)
• Self-supervised Segmentation via Background Inpainting [96.10971980098196]
  移動可能なカメラで撮影された単一の画像で、自己教師付き検出とセグメンテーションのアプローチを導入する。 我々は、提案に基づくセグメンテーションネットワークのトレーニングに利用する自己教師付き損失関数を利用する。 本手法は,標準ベンチマークから視覚的に切り離された画像の人間の検出とセグメント化に応用し,既存の自己監督手法より優れていることを示す。
  論文  参考訳（メタデータ） (2020-11-11T08:34:40Z)
• A Self-Training Approach for Point-Supervised Object Detection and Counting in Crowds [54.73161039445703]
  本稿では,ポイントレベルのアノテーションのみを用いて訓練された典型的なオブジェクト検出を可能にする,新たな自己学習手法を提案する。 トレーニング中、利用可能なポイントアノテーションを使用して、オブジェクトの中心点の推定を監督する。 実験の結果,本手法は検出タスクとカウントタスクの両方において,最先端のポイント管理手法よりも有意に優れていた。
  論文  参考訳（メタデータ） (2020-07-25T02:14:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。