論文の概要: The Story in Your Eyes: An Individual-difference-aware Model for Cross-person Gaze Estimation

• arxiv url: http://arxiv.org/abs/2106.14183v1
• Date: Sun, 27 Jun 2021 10:14:10 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-30 03:55:54.635862
• Title: The Story in Your Eyes: An Individual-difference-aware Model for Cross-person Gaze Estimation
• Title（参考訳）: 視線における物語 : 対人視線推定のための個人差認識モデル
• Authors: Jun Bao, Buyu Liu, Jun Yu
• Abstract要約: 本研究では,人物別差分を明示的にモデル化することで,人物間視線予測タスクを目/顔画像で精査する手法を提案する。 具体的には、まず既存の手法を用いて、InitNetと呼ばれる早期の視線予測結果が得られると仮定する。 我々は,EVE,XGaze,MPIIGazeの3つの公開データセットに対して提案手法の有効性を検証し,提案手法がSOTA法よりも優れていることを示す。
• 参考スコア（独自算出の注目度）: 24.833385815585405
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We propose a novel method on refining cross-person gaze prediction task with eye/face images only by explicitly modelling the person-specific differences. Specifically, we first assume that we can obtain some initial gaze prediction results with existing method, which we refer to as InitNet, and then introduce three modules, the Validity Module (VM), Self-Calibration (SC) and Person-specific Transform (PT)) Module. By predicting the reliability of current eye/face images, our VM is able to identify invalid samples, e.g. eye blinking images, and reduce their effects in our modelling process. Our SC and PT module then learn to compensate for the differences on valid samples only. The former models the translation offsets by bridging the gap between initial predictions and dataset-wise distribution. And the later learns more general person-specific transformation by incorporating the information from existing initial predictions of the same person. We validate our ideas on three publicly available datasets, EVE, XGaze and MPIIGaze and demonstrate that our proposed method outperforms the SOTA methods significantly on all of them, e.g. respectively 21.7%, 36.0% and 32.9% relative performance improvements. We won the GAZE 2021 Competition on the EVE dataset. Our code can be found here https://github.com/bjj9/EVE_SCPT.
• Abstract（参考訳）: 本研究では,人物別差分を明示的にモデル化することで,人物間視線予測タスクを目/顔画像で精査する手法を提案する。 具体的には、InitNetと呼ばれる既存の手法で最初の視線予測結果を得ることができ、次に3つのモジュール(Validity Module (VM), Self-Calibration (SC), Person-specific Transform (PT))を導入する。 現在の目/顔画像の信頼性を予測することで、VMは無効なサンプルを識別することができる。 視線を点滅させ モデリングプロセスにおける効果を減少させます 当社のscおよびptモジュールは、有効なサンプルのみの差異を補償することを学びます。 前者は、初期予測とデータセットの分散の間のギャップを埋めることによって、翻訳オフセットをモデル化する。 そして、後者は、同一人物の初期予測から情報を取り入れることで、より一般的な個人固有の変換を学習する。 我々は、EVE、XGaze、MPIIGazeの3つの公開データセット上で、私たちのアイデアを検証し、提案手法がSOTA法よりも優れていることを示す。 それぞれ21.7%、36.0%、32.9%の性能改善。 EVEデータセットのGAZE 2021コンペティションで優勝しました。 コードはhttps://github.com/bjj9/eve_scpt。

関連論文リスト

• Stanceformer: Target-Aware Transformer for Stance Detection [59.69858080492586]
  スタンス検出は、テキストで表現されたスタンスを特定の主題やターゲットに向けて識別する。 以前の作業は、ターゲットを効果的に優先順位付けする能力に欠ける既存のトランスフォーマーモデルに依存していた。 本稿では,学習と推論の両方において,目標に対する注意を高めるターゲット対応トランスフォーマーモデルであるStanceformerを紹介する。
  論文  参考訳（メタデータ） (2024-10-09T17:24:28Z)
• Merging Multiple Datasets for Improved Appearance-Based Gaze Estimation [10.682719521609743]
  2段階のTransformer-based Gaze-Feature Fusion (TTGF) 法では、トランスフォーマーを使用して、両眼と顔の情報を別々にマージし、両眼にマージする。 提案手法は,各データセットにGaze Adaption Moduleを適用して,単一の共有推定器から推定した推定値を補正することにより,アノテーションの不一致を処理する。
  論文  参考訳（メタデータ） (2024-09-02T02:51:40Z)
• Federated Variational Inference: Towards Improved Personalization and Generalization [2.37589914835055]
  我々は、ステートレスなクロスデバイス・フェデレーション学習環境におけるパーソナライズと一般化について研究する。 まず階層的生成モデルを提案し,ベイズ推論を用いて定式化する。 次に、変分推論を用いてこの過程を近似し、モデルを効率的に訓練する。 我々は,FEMNISTとCIFAR-100画像分類のモデルを評価し,FedVIが両タスクの最先端性に勝っていることを示す。
  論文  参考訳（メタデータ） (2023-05-23T04:28:07Z)
• Heterogenous Ensemble of Models for Molecular Property Prediction [55.91865861896012]
  分子の異なるモーダル性を考える手法を提案する。 これらのモデルをHuberRegressorでアンサンブルします。 これにより、OGB Large-Scale Challenge (2022)の2textsuperscriptndエディションの勝利のソリューションが得られる。
  論文  参考訳（メタデータ） (2022-11-20T17:25:26Z)
• Transformers meet Stochastic Block Models: Attention with Data-Adaptive Sparsity and Cost [53.746169882193456]
  最近の研究は、自己注意の二次的コストを克服するために、様々なスパークアテンションモジュールを提案している。 本稿では,それぞれの注意を混合メンバーシップブロックモデルで表現することで,両方の問題を解決するモデルを提案する。 我々のモデルは、以前の効率的な変種とオリジナルのトランスフォーマーより優れており、十分に注目されています。
  論文  参考訳（メタデータ） (2022-10-27T15:30:52Z)
• L2CS-Net: Fine-Grained Gaze Estimation in Unconstrained Environments [2.5234156040689237]
  制約のない環境での視線予測のための頑健なCNNモデルを提案する。 我々は、ネットワーク学習を改善し、一般化を高めるために、各角度に2つの同一の損失を用いる。 提案モデルでは,MPIIGazeデータセットとGaze360データセットを用いて3.92degと10.41degの最先端精度を実現する。
  論文  参考訳（メタデータ） (2022-03-07T12:35:39Z)
• Leveraging Unlabeled Data to Predict Out-of-Distribution Performance [63.740181251997306]
  実世界の機械学習デプロイメントは、ソース(トレーニング)とターゲット(テスト)ディストリビューションのミスマッチによって特徴づけられる。 本研究では,ラベル付きソースデータとラベルなしターゲットデータのみを用いて,対象領域の精度を予測する手法を検討する。 本稿では,モデルの信頼度をしきい値として学習し,精度をラベルなし例のごく一部として予測する実践的手法である平均閾値保持信頼度(ATC)を提案する。
  論文  参考訳（メタデータ） (2022-01-11T23:01:12Z)
• Self-Supervised Pre-Training for Transformer-Based Person Re-Identification [54.55281692768765]
  トランスフォーマーに基づく教師付き事前訓練は、人物再識別(ReID)において大きなパフォーマンスを達成する ImageNetとReIDデータセットのドメインギャップのため、通常、パフォーマンスを高めるために、より大きなトレーニング済みデータセットが必要です。 この研究は、データとモデル構造の観点から、事前トレーニングデータセットとReIDデータセットのギャップを軽減することを目的としている。
  論文  参考訳（メタデータ） (2021-11-23T18:59:08Z)
• Knowledge Generation -- Variational Bayes on Knowledge Graphs [0.685316573653194]
  この論文は、現実世界の知識グラフの表現に関するVari Auto-Encoder (VAE) の概念実証である。 生成グラフへのアプローチの成功に触発されて,本モデルである変分オートエンコーダ(rgvae)の能力を評価する。 RGVAEはリンク予測に基づいて評価される。 2つのFB15K-237およびWN18RRデータセットの平均相互ランク(MRR)スコアを比較します。 2次実験における潜伏空間について検討する:まず、2つの三重項の潜伏表現の間の線型、そして各三重項の探索
  論文  参考訳（メタデータ） (2021-01-21T21:23:17Z)
• 360-Degree Gaze Estimation in the Wild Using Multiple Zoom Scales [26.36068336169795]
  焦点を絞った表情から視線を推定する能力を模倣するモデルを開発した。 このモデルは、クリアアイパッチを抽出する必要がない。 モデルを拡張して、360度視線推定の課題に対処する。
  論文  参考訳（メタデータ） (2020-09-15T08:45:12Z)
• Evaluating Prediction-Time Batch Normalization for Robustness under Covariate Shift [81.74795324629712]
  我々は予測時間バッチ正規化と呼び、共変量シフト時のモデル精度とキャリブレーションを大幅に改善する。 予測時間バッチ正規化は、既存の最先端アプローチに相補的な利点をもたらし、ロバスト性を向上させることを示します。 この手法は、事前トレーニングと併用して使用すると、さまざまな結果が得られるが、より自然なタイプのデータセットシフトでは、パフォーマンスが良くないようだ。
  論文  参考訳（メタデータ） (2020-06-19T05:08:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。