論文の概要: Weakly Supervised Attended Object Detection Using Gaze Data as
Annotations
- arxiv url: http://arxiv.org/abs/2204.07090v1
- Date: Thu, 14 Apr 2022 16:31:24 GMT
- ステータス: 処理完了
- システム内更新日: 2022-04-15 13:39:36.599408
- Title: Weakly Supervised Attended Object Detection Using Gaze Data as
Annotations
- Title(参考訳): 注視データをアノテーションとして用いた弱教師付き物体検出
- Authors: Michele Mazzamuto, Francesco Ragusa, Antonino Furnari, Giovanni
Signorello, Giovanni Maria Farinella
- Abstract要約: 本研究では,自我中心の視点から,観光地における対象物の検出と認識の課題について考察する。
本稿では、視線データにのみ依存するタスクの弱教師付きバージョンと、出席対象のクラスを示すフレームレベルラベルを提案する。
その結果, 検討された手法は, 弱教師付き方式で満足な性能を達成できることが示唆された。
- 参考スコア(独自算出の注目度): 19.556639418489446
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We consider the problem of detecting and recognizing the objects observed by
visitors (i.e., attended objects) in cultural sites from egocentric vision. A
standard approach to the problem involves detecting all objects and selecting
the one which best overlaps with the gaze of the visitor, measured through a
gaze tracker. Since labeling large amounts of data to train a standard object
detector is expensive in terms of costs and time, we propose a weakly
supervised version of the task which leans only on gaze data and a frame-level
label indicating the class of the attended object. To study the problem, we
present a new dataset composed of egocentric videos and gaze coordinates of
subjects visiting a museum. We hence compare three different baselines for
weakly supervised attended object detection on the collected data. Results show
that the considered approaches achieve satisfactory performance in a weakly
supervised manner, which allows for significant time savings with respect to a
fully supervised detector based on Faster R-CNN. To encourage research on the
topic, we publicly release the code and the dataset at the following url:
https://iplab.dmi.unict.it/WS_OBJ_DET/
- Abstract(参考訳): 本研究は,文化施設の来訪者(来場者,来場者)が観察する物体の検出と認識に関する課題を,自発的視点から検討する。
問題に対する標準的なアプローチは、すべてのオブジェクトを検出し、視線トラッカーによって測定された訪問者の視線と最も重なるものを選択することである。
標準物体検出器を訓練するために大量のデータをラベル付けすることはコストと時間の観点から高価であるので,視線データのみに依存するタスクの弱い教師付きバージョンと,参加者のクラスを示すフレームレベルラベルを提案する。
そこで本研究では,エゴセントリック映像と博物館訪問者の視線座標からなる新しいデータセットを提案する。
そこで我々は,収集したデータから弱教師付き対象検出を行うために,3つの異なるベースラインを比較した。
提案手法は, より高速なR-CNNに基づく完全教師付き検出器に対して, かなりの時間を節約できるような, 弱い教師付き方式で良好な性能を達成できることが示唆された。
このトピックについての研究を促進するため、コードとデータセットを以下のurlで公開しています。
関連論文リスト
- SeMoLi: What Moves Together Belongs Together [51.72754014130369]
動作手がかりに基づく半教師付き物体検出に挑戦する。
近年,移動物体の擬似ラベルインスタンスに対して,動きに基づくクラスタリング手法が適用可能であることが示唆された。
我々は、このアプローチを再考し、オブジェクト検出とモーションインスパイアされた擬似ラベルの両方が、データ駆動方式で取り組めることを示唆する。
論文 参考訳(メタデータ) (2024-02-29T18:54:53Z) - Towards Unsupervised Object Detection From LiDAR Point Clouds [46.57452180314863]
OYSTER (Object Discovery via Spatio-Temporal Refinement) は、オブジェクトをゼロショットで検出できる。
距離対衝突に基づく新しい計画中心の知覚尺度を提案する。
論文 参考訳(メタデータ) (2023-11-03T16:12:01Z) - Object-Centric Multiple Object Tracking [124.30650395969126]
本稿では,多目的追跡パイプラインのためのビデオオブジェクト中心モデルを提案する。
オブジェクト中心のスロットを検出出力に適応するインデックスマージモジュールと、オブジェクトメモリモジュールで構成される。
オブジェクト中心学習に特化して、オブジェクトのローカライゼーションと機能バインディングのためのスパース検出ラベルしか必要としない。
論文 参考訳(メタデータ) (2023-09-01T03:34:12Z) - A Survey of Self-Supervised and Few-Shot Object Detection [19.647681501581225]
自己教師付き手法は、オブジェクト検出などの下流タスクにうまく転送されるラベルのないデータから表現を学習することを目的としている。
ほとんどショットされていないオブジェクト検出は、ほとんどデータを持たない新しい(見えない)オブジェクトクラスのモデルをトレーニングすることです。
本調査では, 少数ショット・自己監督型物体検出における最新のアプローチを概観し, 特徴付けする。
論文 参考訳(メタデータ) (2021-10-27T18:55:47Z) - Learning to Track Object Position through Occlusion [32.458623495840904]
オクルージョンは、物体検出器やトラッカーが直面する最も重要な課題の1つである。
本稿では,領域ベースビデオオブジェクト検出装置の成功に基づくトラッキング・バイ・検出手法を提案する。
提案手法は,インターネットから収集した家具組立ビデオのデータセットにおいて,優れた結果が得られる。
論文 参考訳(メタデータ) (2021-06-20T22:29:46Z) - Unsupervised Domain Adaption of Object Detectors: A Survey [87.08473838767235]
近年のディープラーニングの進歩は、様々なコンピュータビジョンアプリケーションのための正確で効率的なモデルの開発につながっている。
高度に正確なモデルを学ぶには、大量の注釈付きイメージを持つデータセットの可用性に依存する。
このため、ラベルスカースデータセットに視覚的に異なる画像がある場合、モデルの性能は大幅に低下する。
論文 参考訳(メタデータ) (2021-05-27T23:34:06Z) - Self-supervised object detection from audio-visual correspondence [101.46794879729453]
我々は、監視なしで物体検出器を学習する問題に取り組む。
画像レベルのクラスラベルは想定せず、代わりにオーディオビジュアルデータから監視信号を抽出します。
本研究では,航空機やネコなどの機器以外のジェネリック物体の検出を学習できることを示した。
論文 参考訳(メタデータ) (2021-04-13T17:59:03Z) - Learning to Track with Object Permanence [61.36492084090744]
共同物体の検出と追跡のためのエンドツーエンドのトレーニング可能なアプローチを紹介します。
私たちのモデルは、合成データと実データで共同トレーニングされ、KITTIおよびMOT17データセットの最先端を上回ります。
論文 参考訳(メタデータ) (2021-03-26T04:43:04Z) - Weakly-Supervised Salient Object Detection via Scribble Annotations [54.40518383782725]
本稿では,スクリブルラベルからサリエンシを学習するための弱教師付きサリエント物体検出モデルを提案する。
そこで本研究では,予測されたサリエンシマップの構造アライメントを測定するために,新しい尺度であるサリエンシ構造尺度を提案する。
我々の手法は、既存の弱教師付き/非教師付き手法よりも優れているだけでなく、いくつかの完全教師付き最先端モデルと同等である。
論文 参考訳(メタデータ) (2020-03-17T12:59:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。