論文の概要: ViTGaze: Gaze Following with Interaction Features in Vision Transformers

• arxiv url: http://arxiv.org/abs/2403.12778v2
• Date: Thu, 14 Nov 2024 11:21:09 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-15 15:22:11.888722
• Title: ViTGaze: Gaze Following with Interaction Features in Vision Transformers
• Title（参考訳）: ViTGaze: ビジョントランスフォーマーのインタラクション機能を備えたゲームフォロー
• Authors: Yuehao Song, Xinggang Wang, Jingfeng Yao, Wenyu Liu, Jinglin Zhang, Xiangmin Xu,
• Abstract要約: 本稿では, ViTGaze という新しい単一モダリティ・ギャラクシー・フレームワークを紹介する。 従来の手法とは対照的に、主に強力なエンコーダに基づく新しい視線追跡フレームワークを作成する。 本手法は,すべての単一モダリティ手法において,最先端(SOTA)性能を実現する。
• 参考スコア（独自算出の注目度）: 42.08842391756614
• License:
• Abstract: Gaze following aims to interpret human-scene interactions by predicting the person's focal point of gaze. Prevailing approaches often adopt a two-stage framework, whereby multi-modality information is extracted in the initial stage for gaze target prediction. Consequently, the efficacy of these methods highly depends on the precision of the preceding modality extraction. Others use a single-modality approach with complex decoders, increasing network computational load. Inspired by the remarkable success of pre-trained plain vision transformers (ViTs), we introduce a novel single-modality gaze following framework called ViTGaze. In contrast to previous methods, it creates a novel gaze following framework based mainly on powerful encoders (relative decoder parameters less than 1%). Our principal insight is that the inter-token interactions within self-attention can be transferred to interactions between humans and scenes. Leveraging this presumption, we formulate a framework consisting of a 4D interaction encoder and a 2D spatial guidance module to extract human-scene interaction information from self-attention maps. Furthermore, our investigation reveals that ViT with self-supervised pre-training has an enhanced ability to extract correlation information. Many experiments have been conducted to demonstrate the performance of the proposed method. Our method achieves state-of-the-art (SOTA) performance among all single-modality methods (3.4% improvement in the area under curve (AUC) score, 5.1% improvement in the average precision (AP)) and very comparable performance against multi-modality methods with 59% number of parameters less.
• Abstract（参考訳）: Gaze followingは、人の視線の焦点を予測することによって、人間とシーンの相互作用を解釈することを目的としている。 一般的なアプローチでは、2段階のフレームワークが採用され、初期段階では複数のモダリティ情報が抽出され、視線目標の予測が行われる。 その結果, これらの手法の有効性は, 先行するモダリティ抽出の精度に大きく依存することがわかった。 複雑なデコーダを持つ単一モダリティアプローチを使用するものもあり、ネットワークの計算負荷が増加する。 プレトレーニングプレーンビジョントランス (ViTs) の成功に触発されて, ViTGaze と呼ばれる新しい単一モダリティの視線を導入した。 従来の手法とは対照的に、主に強力なエンコーダ(相対デコーダパラメータが1%未満)をベースとした新しい視線追跡フレームワークを作成する。 我々の主要な洞察は、自己意識内の相互作用は人間とシーンの相互作用に移行できるということです。 この推定を利用して、4次元の相互作用エンコーダと2次元の空間誘導モジュールからなる枠組みを定式化し、自己注意マップから人間とシーンの相互作用情報を抽出する。 さらに,本研究により,自己教師付き事前学習によるVTは相関情報を抽出する能力が向上していることが明らかとなった。 提案手法の性能を実証するために,多くの実験が実施されている。 提案手法は,曲線下面積(AUC)の3.4%の改善,平均精度(AP)の5.1%の改善,およびパラメータ数が59%少ないマルチモーダル手法と比較して非常に高い性能を示す。

関連論文リスト

• Learning Manipulation by Predicting Interaction [85.57297574510507]
  本稿では,インタラクションを予測して操作を学習する一般的な事前学習パイプラインを提案する。 実験の結果,MPIは従来のロボットプラットフォームと比較して10%から64%向上していることがわかった。
  論文  参考訳（メタデータ） (2024-06-01T13:28:31Z)
• ViT-CoMer: Vision Transformer with Convolutional Multi-scale Feature Interaction for Dense Predictions [4.554319452683839]
  Vision Transformer (ViT) はコンピュータビジョンにおいて大きな成功を収めているが、密集した予測タスクではうまく機能しない。 コンボリューショナル・マルチスケール機能を有するVTバックボーンであるViT-CoMerについて述べる。 階層的特徴をまたいだマルチスケールの融合を行う,シンプルで効率的なCNN-Transformer双方向核融合モジュールを提案する。
  論文  参考訳（メタデータ） (2024-03-12T07:59:41Z)
• S^2Former-OR: Single-Stage Bi-Modal Transformer for Scene Graph Generation in OR [50.435592120607815]
  外科手術のシーングラフ生成(SGG)は、手術室(OR)におけるホモロジー認知知能の増強に不可欠である これまでの研究は主に多段階学習に依存しており、生成したセマンティックシーングラフはポーズ推定とオブジェクト検出を伴う中間プロセスに依存している。 本研究では,S2Former-OR(S2Former-OR)と呼ばれるORにおけるSGGのための新しいシングルステージバイモーダルトランスフォーマフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-02-22T11:40:49Z)
• Disentangled Interaction Representation for One-Stage Human-Object Interaction Detection [70.96299509159981]
  ヒューマン・オブジェクト・インタラクション(HOI)検出は、人間中心の画像理解のコアタスクである。 最近のワンステージ手法では、対話予測に有用な画像ワイドキューの収集にトランスフォーマーデコーダを採用している。 従来の2段階の手法は、非絡み合いで説明可能な方法で相互作用特徴を構成する能力から大きな恩恵を受ける。
  論文  参考訳（メタデータ） (2023-12-04T08:02:59Z)
• Towards a Unified Transformer-based Framework for Scene Graph Generation and Human-object Interaction Detection [116.21529970404653]
  本稿では,Transformerアーキテクチャに基づく一段階統一モデルであるSG2HOI+を紹介する。 本手法では,SGGとHOI検出のタスクをシームレスに統一する2つの対話型階層変換器を用いる。 提案手法は最先端のHOI法と比較して競争性能が向上する。
  論文  参考訳（メタデータ） (2023-11-03T07:25:57Z)
• Exploiting Modality-Specific Features For Multi-Modal Manipulation Detection And Grounding [54.49214267905562]
  マルチモーダルな操作検出とグラウンド処理のためのトランスフォーマーベースのフレームワークを構築する。 本フレームワークは,マルチモーダルアライメントの能力を維持しながら,モダリティ特有の特徴を同時に探求する。 本稿では,グローバルな文脈的キューを各モーダル内に適応的に集約する暗黙的操作クエリ(IMQ)を提案する。
  論文  参考訳（メタデータ） (2023-09-22T06:55:41Z)
• Multi-modal Facial Affective Analysis based on Masked Autoencoder [7.17338843593134]
  CVPR 2023: ABAW5 competition: Affective Behavior Analysis in-the-wild について紹介する。 まず,大規模顔画像データセット上で事前学習したMasked Autoencoder(MAE)モデルの視覚情報を利用する。 ABAW5では,平均F1スコアが55.49%,EXPRトラックが41.21%であった。
  論文  参考訳（メタデータ） (2023-03-20T03:58:03Z)
• Multimodal Vision Transformers with Forced Attention for Behavior Analysis [0.0]
  本稿では,強制注意(FAt)変換を導入し,入力エンコーディングや追加入力の利用に改良されたバックボーンを付加した。 FAt変換器は、パーソナリティ認識とボディランゲージ認識の2つの下流タスクに適用される。 Udiva v0.5, First Impressions v2, MPII Group Interaction データセットの最先端結果を得た。
  論文  参考訳（メタデータ） (2022-12-07T21:56:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。