論文の概要: Denoising Distillation Makes Event-Frame Transformers as Accurate Gaze Trackers
- arxiv url: http://arxiv.org/abs/2404.00548v1
- Date: Sun, 31 Mar 2024 03:30:37 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-04 03:00:38.452383
- Title: Denoising Distillation Makes Event-Frame Transformers as Accurate Gaze Trackers
- Title(参考訳): デノイング蒸留によりイベントフレームトランスフォーマーを高精度なガゼトラッカーとして実現する
- Authors: Jiading Li, Zhiyu Zhu, Jinhui Hou, Junhui Hou, Jinjian Wu,
- Abstract要約: 本稿では,イベントデータとフレームデータの両方を用いた受動的視線推定の問題に取り組む。
本質的に異なる生理構造を考えると、与えられた状態に基づいて正確に推定することは困難である。
我々は、現在の状態からいくつかの事前登録されたアンカー状態への状態遷移の定量化として、視線推定を再構成する。
- 参考スコア(独自算出の注目度): 61.44701715285463
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: This paper tackles the problem of passive gaze estimation using both event and frame data. Considering inherently different physiological structures, it's intractable to accurately estimate purely based on a given state. Thus, we reformulate the gaze estimation as the quantification of state transitions from the current state to several prior registered anchor states. Technically, we propose a two-stage learning-based gaze estimation framework to divide the whole gaze estimation process into a coarse-to-fine process of anchor state selection and final gaze location. Moreover, to improve generalization ability, we align a group of local experts with a student network, where a novel denoising distillation algorithm is introduced to utilize denoising diffusion technique to iteratively remove inherent noise of event data. Extensive experiments demonstrate the effectiveness of the proposed method, which greatly surpasses state-of-the-art methods by a large extent of 15$\%$. The code will be publicly available at https://github.com/jdjdli/Denoise_distill_EF_gazetracker.
- Abstract(参考訳): 本稿では,イベントデータとフレームデータの両方を用いた受動的視線推定の問題に取り組む。
本質的に異なる生理構造を考えると、与えられた状態に基づいて正確に推定することは困難である。
したがって、現在の状態からいくつかの事前登録されたアンカー状態への状態遷移の定量化として、視線推定を再構成する。
技術的には、2段階の学習に基づく視線推定フレームワークを提案し、全視線推定プロセスをアンカー状態選択と最終視線位置の粗大なプロセスに分割する。
さらに, 一般化能力を向上させるために, 現地の専門家グループを学生ネットワークに整合させ, そこでは, イベントデータ固有のノイズを反復的に除去するために, 新たにデノナイジング蒸留アルゴリズムを導入する。
提案手法の有効性を実証し, 最先端の手法を15$\%の精度で大幅に上回った。
コードはhttps://github.com/jdjdli/Denoise_distill_EF_gazetrackerで公開されている。
関連論文リスト
- Multistep Inverse Is Not All You Need [87.62730694973696]
実世界の制御環境では、観測空間は不要に高次元であり、時間関連ノイズにさらされることが多い。
したがって、観測空間を制御関連変数のより単純な空間にマッピングするエンコーダを学ぶことが望ましい。
本稿では,多段階逆予測と遅延フォワードモデルを組み合わせた新しいアルゴリズムACDFを提案する。
論文 参考訳(メタデータ) (2024-03-18T16:36:01Z) - DiffSF: Diffusion Models for Scene Flow Estimation [17.512660491303684]
本稿では,変圧器を用いたシーンフロー推定とデノナイズ拡散モデルを組み合わせたDiffSFを提案する。
拡散過程は, 従来の手法に比べて, 予測の堅牢性を大幅に向上させることを示す。
異なる初期状態で複数回サンプリングすることにより、復調過程は複数の仮説を予測し、出力の不確実性を測定することができる。
論文 参考訳(メタデータ) (2024-03-08T14:06:15Z) - Score-based Data Assimilation [7.215767098253208]
軌道推定のためのスコアベースのデータ同化を導入する。
我々は、任意の長さの軌道のスコアを、短いセグメントにまたがって一連のスコアに分解できるというキーインサイトに基づいて、状態軌道のスコアに基づく生成モデルを学ぶ。
論文 参考訳(メタデータ) (2023-06-18T14:22:03Z) - Exploring Efficient Asymmetric Blind-Spots for Self-Supervised Denoising in Real-World Scenarios [44.31657750561106]
実世界のシナリオにおけるノイズはしばしば空間的に相関しており、多くの自己教師型アルゴリズムは性能が良くない。
盲点サイズを自由に調整できる非対称可変ブラインド・スポットネットワーク(AT-BSN)を提案する。
提案手法は最先端技術を実現し,計算オーバーヘッドや視覚効果の観点から,他の自己教師付きアルゴリズムよりも優れていることを示す。
論文 参考訳(メタデータ) (2023-03-29T15:19:01Z) - DiffTAD: Temporal Action Detection with Proposal Denoising Diffusion [137.8749239614528]
そこで我々は,時間的行動検出(TAD)の新しい定式化を提案し,拡散を抑えるDiffTADを提案する。
入力されたランダムな時間的提案を考慮すれば、トリミングされていない長いビデオが与えられたアクションの提案を正確に得ることができる。
論文 参考訳(メタデータ) (2023-03-27T00:40:52Z) - Speech Enhancement and Dereverberation with Diffusion-based Generative
Models [14.734454356396157]
本稿では,微分方程式に基づく拡散過程について概説する。
提案手法により,30段階の拡散しか行わず,高品質なクリーン音声推定が可能であることを示す。
大規模なクロスデータセット評価では、改良された手法が近年の識別モデルと競合することを示す。
論文 参考訳(メタデータ) (2022-08-11T13:55:12Z) - Learning Noise Transition Matrix from Only Noisy Labels via Total
Variation Regularization [88.91872713134342]
本稿では,雑音遷移行列を推定し,同時に分類器を学習する理論的基礎付け手法を提案する。
提案手法の有効性を,ベンチマークおよび実世界のデータセットを用いた実験により示す。
論文 参考訳(メタデータ) (2021-02-04T05:09:18Z) - Deep Semi-supervised Knowledge Distillation for Overlapping Cervical
Cell Instance Segmentation [54.49894381464853]
本稿では, ラベル付きデータとラベルなしデータの両方を, 知識蒸留による精度向上に活用することを提案する。
摂動に敏感なサンプルマイニングを用いたマスク誘導型平均教師フレームワークを提案する。
実験の結果,ラベル付きデータのみから学習した教師付き手法と比較して,提案手法は性能を著しく向上することがわかった。
論文 参考訳(メタデータ) (2020-07-21T13:27:09Z) - Simultaneous Denoising and Dereverberation Using Deep Embedding Features [64.58693911070228]
ディープ埋め込み特徴を用いた同時発声・発声同時学習法を提案する。
ノイズ発生段階では、DCネットワークを利用してノイズのないディープ埋込み特性を抽出する。
残響段階では、教師なしのK平均クラスタリングアルゴリズムの代わりに、別のニューラルネットワークを用いて無響音声を推定する。
論文 参考訳(メタデータ) (2020-04-06T06:34:01Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。