論文の概要: Gaze-LLE: Gaze Target Estimation via Large-Scale Learned Encoders

• arxiv url: http://arxiv.org/abs/2412.09586v1
• Date: Thu, 12 Dec 2024 18:55:30 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-13 13:32:12.233012
• Title: Gaze-LLE: Gaze Target Estimation via Large-Scale Learned Encoders
• Title（参考訳）: Gaze-LLE:大規模学習エンコーダによる注視目標推定
• Authors: Fiona Ryan, Ajay Bati, Sangmin Lee, Daniel Bolya, Judy Hoffman, James M. Rehg,
• Abstract要約: 本研究では,視覚目標推定の問題に対処する。 凍結したDINOv2エンコーダの特徴を活用して視線目標推定を効率化する新しいトランスフォーマフレームワークであるGaze-LLEを提案する。
• 参考スコア（独自算出の注目度）: 33.26237143983192
• License:
• Abstract: We address the problem of gaze target estimation, which aims to predict where a person is looking in a scene. Predicting a person's gaze target requires reasoning both about the person's appearance and the contents of the scene. Prior works have developed increasingly complex, hand-crafted pipelines for gaze target estimation that carefully fuse features from separate scene encoders, head encoders, and auxiliary models for signals like depth and pose. Motivated by the success of general-purpose feature extractors on a variety of visual tasks, we propose Gaze-LLE, a novel transformer framework that streamlines gaze target estimation by leveraging features from a frozen DINOv2 encoder. We extract a single feature representation for the scene, and apply a person-specific positional prompt to decode gaze with a lightweight module. We demonstrate state-of-the-art performance across several gaze benchmarks and provide extensive analysis to validate our design choices. Our code is available at: http://github.com/fkryan/gazelle .
• Abstract（参考訳）: 本研究では,視覚目標推定の問題に対処する。 人の視線目標を予測するには、その人の外見とシーンの内容の両方を推論する必要がある。 従来の作業では、異なるシーンエンコーダ、ヘッドエンコーダ、奥行きやポーズなどの信号の補助モデルから機能を慎重に融合する、目視対象推定のための手作りのパイプラインがますます複雑化してきた。 様々な視覚的タスクにおける汎用特徴抽出器の成功に触発され,凍結したDINOv2エンコーダの機能を活用して視線目標推定を効率化する新しいトランスフォーマフレームワークGaze-LLEを提案する。 シーンの1つの特徴表現を抽出し、人固有の位置プロンプトを適用して、軽量モジュールで視線をデコードする。 いくつかのベンチマークで最先端のパフォーマンスを実証し、設計選択を検証するために広範囲な分析を行う。 私たちのコードは、http://github.com/fkryan/gazelle で利用可能です。

関連論文リスト

• Stanceformer: Target-Aware Transformer for Stance Detection [59.69858080492586]
  スタンス検出は、テキストで表現されたスタンスを特定の主題やターゲットに向けて識別する。 以前の作業は、ターゲットを効果的に優先順位付けする能力に欠ける既存のトランスフォーマーモデルに依存していた。 本稿では,学習と推論の両方において,目標に対する注意を高めるターゲット対応トランスフォーマーモデルであるStanceformerを紹介する。
  論文  参考訳（メタデータ） (2024-10-09T17:24:28Z)
• OAT: Object-Level Attention Transformer for Gaze Scanpath Prediction [0.2796197251957245]
  本稿では,OAT(Object-level Attention Transformer)を紹介する。 OATは人間のスキャンパスを予測し、散らかった邪魔者のシーンで対象物を検索する。 我々は、Amazonの書籍カバーデータセットと、収集したビジュアル検索のための新しいデータセットに基づいて、OATを評価した。
  論文  参考訳（メタデータ） (2024-07-18T09:33:17Z)
• DeTra: A Unified Model for Object Detection and Trajectory Forecasting [68.85128937305697]
  提案手法は,2つのタスクの結合を軌道修正問題として定式化する。 この統合タスクに対処するために、オブジェクトの存在, ポーズ, マルチモーダルな将来の振る舞いを推測する精細化変換器を設計する。 実験では、我々のモデルはArgoverse 2 Sensor and Openデータセットの最先端性よりも優れています。
  論文  参考訳（メタデータ） (2024-06-06T18:12:04Z)
• Object-aware Gaze Target Detection [14.587595325977583]
  本稿では,シーン内の物体を自動的に検出し,頭部と視線・視線・視線を関連づけるトランスフォーマーアーキテクチャを提案する。 本手法は、視線目標検出のための全測定値の最先端結果と、視線対象物の分類と局所化のための平均精度を11-13%改善する。
  論文  参考訳（メタデータ） (2023-07-18T22:04:41Z)
• LatentGaze: Cross-Domain Gaze Estimation through Gaze-Aware Analytic Latent Code Manipulation [0.0]
  本稿では,データ駆動型手法を応用した視線認識型解析操作手法を提案する。 GANベースのエンコーダジェネレータプロセスを利用することで、入力画像がターゲット領域からソース領域イメージにシフトし、視線推定器が十分に認識できる。
  論文  参考訳（メタデータ） (2022-09-21T08:05:53Z)
• Active Gaze Control for Foveal Scene Exploration [124.11737060344052]
  本研究では,葉型カメラを用いた人間とロボットが現場を探索する方法をエミュレートする手法を提案する。 提案手法は,同数の視線シフトに対してF1スコアを2～3ポイント増加させる。
  論文  参考訳（メタデータ） (2022-08-24T14:59:28Z)
• GaTector: A Unified Framework for Gaze Object Prediction [11.456242421204298]
  我々は、視線オブジェクト予測問題に統一的に取り組むために、GaTectorという新しいフレームワークを構築した。 入力とタスクの特異性をよりよく考慮するために、GaTectorは共有バックボーンの前に2つの入力固有のブロックを導入し、共有バックボーン後に3つのタスク固有のブロックを導入している。 最後に、重なり合う領域を共有できない場合でも、ボックス間の差を明らかにすることのできる、新しいwUoCメトリックを提案する。
  論文  参考訳（メタデータ） (2021-12-07T07:50:03Z)
• GOO: A Dataset for Gaze Object Prediction in Retail Environments [11.280648029091537]
  我々は、視線オブジェクト予測と呼ばれる新しいタスクを提示する。 ゴールは、人の視線付きオブジェクトのバウンディングボックスを予測することである。 このタスクで視線ネットワークをトレーニングし、評価するために、Gaze On Objectsデータセットを提示する。
  論文  参考訳（メタデータ） (2021-05-22T18:55:35Z)
• Weakly-Supervised Physically Unconstrained Gaze Estimation [80.66438763587904]
  我々は、人間のインタラクションのビデオから弱教師付き視線推定を行うという未発見の問題に対処する。 本稿では,タスクに特化して設計された新しい損失関数とともに,トレーニングアルゴリズムを提案する。 a)半教師付き視線推定の精度と(b)最先端の物理的に制約のないGaze360視線推定ベンチマーク上でのクロスドメイン一般化の精度を大幅に改善した。
  論文  参考訳（メタデータ） (2021-05-20T14:58:52Z)
• Towards End-to-end Video-based Eye-Tracking [50.0630362419371]
  画像のみから視線を推定することは、観察不可能な人固有の要因のために難しい課題である。 本稿では,これらの意味的関係と時間的関係を明確に学習することを目的とした,新しいデータセットとアタッチメント手法を提案する。 視覚刺激からの情報と視線画像の融合が,文献に記録された人物と同じような性能を達成することにつながることを実証した。
  論文  参考訳（メタデータ） (2020-07-26T12:39:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。