論文の概要: Relating Events and Frames Based on Self-Supervised Learning and
Uncorrelated Conditioning for Unsupervised Domain Adaptation
- arxiv url: http://arxiv.org/abs/2401.01042v1
- Date: Tue, 2 Jan 2024 05:10:08 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-03 14:47:19.474317
- Title: Relating Events and Frames Based on Self-Supervised Learning and
Uncorrelated Conditioning for Unsupervised Domain Adaptation
- Title（参考訳）: 教師なしドメイン適応のための自己監督学習と非相関条件に基づくイベントとフレームの関係
- Authors: Mohammad Rostami and Dayuan Jian
- Abstract要約: イベントベースのカメラは、コンピュータビジョンタスクを実行するための正確かつ高時間分解能の測定を提供する。
それらの利点にもかかわらず、イベントベースのビジョンにディープラーニングを活用することは、注釈付きデータの不足のために大きな障害に直面する。
本稿では、イベントベースの未注釈データに基づいて、注釈付きフレームベースのデータに基づいてトレーニングされたディープニューラルネットワークを適用するための新しいアルゴリズムを提案する。
- 参考スコア（独自算出の注目度）: 23.871860648919593
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Event-based cameras provide accurate and high temporal resolution
measurements for performing computer vision tasks in challenging scenarios,
such as high-dynamic range environments and fast-motion maneuvers. Despite
their advantages, utilizing deep learning for event-based vision encounters a
significant obstacle due to the scarcity of annotated data caused by the
relatively recent emergence of event-based cameras. To overcome this
limitation, leveraging the knowledge available from annotated data obtained
with conventional frame-based cameras presents an effective solution based on
unsupervised domain adaptation. We propose a new algorithm tailored for
adapting a deep neural network trained on annotated frame-based data to
generalize well on event-based unannotated data. Our approach incorporates
uncorrelated conditioning and self-supervised learning in an adversarial
learning scheme to close the gap between the two source and target domains. By
applying self-supervised learning, the algorithm learns to align the
representations of event-based data with those from frame-based camera data,
thereby facilitating knowledge transfer.Furthermore, the inclusion of
uncorrelated conditioning ensures that the adapted model effectively
distinguishes between event-based and conventional data, enhancing its ability
to classify event-based images accurately.Through empirical experimentation and
evaluation, we demonstrate that our algorithm surpasses existing approaches
designed for the same purpose using two benchmarks. The superior performance of
our solution is attributed to its ability to effectively utilize annotated data
from frame-based cameras and transfer the acquired knowledge to the event-based
vision domain.
- Abstract（参考訳）: イベントベースのカメラは、高ダイナミックレンジ環境や高速モーション操作のような困難なシナリオでコンピュータビジョンタスクを実行するための正確かつ高時間分解能の測定を提供する。
これらの利点にもかかわらず、イベントベースのビジョンにディープラーニングを利用することは、比較的最近のイベントベースのカメラの出現による注釈付きデータの不足により、大きな障害に直面する。
この制限を克服するために、従来のフレームベースのカメラで得られた注釈付きデータから得られる知識を活用し、教師なしドメイン適応に基づく効果的な解決策を示す。
本稿では、イベントベースの未注釈データに基づいて、注釈付きフレームベースのデータに基づいてトレーニングされたディープニューラルネットワークを適用するための新しいアルゴリズムを提案する。
本手法は,2つのソースとターゲットドメイン間のギャップを埋めるために,非相関条件付き学習と自己教師型学習を対角学習方式に取り入れる。
By applying self-supervised learning, the algorithm learns to align the representations of event-based data with those from frame-based camera data, thereby facilitating knowledge transfer.Furthermore, the inclusion of uncorrelated conditioning ensures that the adapted model effectively distinguishes between event-based and conventional data, enhancing its ability to classify event-based images accurately.Through empirical experimentation and evaluation, we demonstrate that our algorithm surpasses existing approaches designed for the same purpose using two benchmarks.
提案手法の優れた性能は、フレームベースのカメラからの注釈付きデータを効果的に活用し、取得した知識をイベントベースの視覚領域に転送できることに起因する。
関連論文リスト
- Evaluating Image-Based Face and Eye Tracking with Event Cameras [9.677797822200965]
イベントカメラはニューロモルフィックセンサーとしても知られており、ピクセルレベルの局所光強度の変化を捉え、非同期に生成されたイベントと呼ばれるデータを生成する。
このデータフォーマットは、高速で動く物体を撮影する際のアンダーサンプリングのような、従来のカメラで観察される一般的な問題を緩和する。
我々は、従来のアルゴリズムとイベントベースのデータを統合することにより、フレーム形式に変換される可能性を評価する。
論文 参考訳（メタデータ） (2024-08-19T20:27:08Z) - VICAN: Very Efficient Calibration Algorithm for Large Camera Networks [49.17165360280794]
ポースグラフ最適化手法を拡張する新しい手法を提案する。
我々は、カメラを含む二部グラフ、オブジェクトの動的進化、各ステップにおけるカメラオブジェクト間の相対変換について考察する。
我々のフレームワークは従来のPGOソルバとの互換性を維持しているが、その有効性はカスタマイズされた最適化方式の恩恵を受けている。
論文 参考訳（メタデータ） (2024-03-25T17:47:03Z) - Cross-modal Place Recognition in Image Databases using Event-based
Sensors [28.124708490967713]
イベントクエリが与えられたデータベースから正規画像を取得することができる,最初のクロスプラットフォームな視覚的位置認識フレームワークを提案する。
本手法は,ブリスベン-イベント-VPRデータセット上での最先端のフレームベースおよびイベントベース手法に関する有望な結果を示す。
論文 参考訳（メタデータ） (2023-07-03T14:24:04Z) - Unsupervised Domain Adaptation for Training Event-Based Networks Using
Contrastive Learning and Uncorrelated Conditioning [12.013345715187285]
イベントベースのビジョンにおけるディープラーニングは、イベントカメラの正確性による注釈付きデータの不足という課題に直面している。
イベントベースデータ画像分類のための深層ネットワークを訓練するための教師なし領域適応アルゴリズムを開発した。
論文 参考訳（メタデータ） (2023-03-22T09:51:08Z) - Cluster-level pseudo-labelling for source-free cross-domain facial
expression recognition [94.56304526014875]
表情認識のためのSFUDA法を提案する。
本手法は,自己教師付き事前学習を利用して,対象データから優れた特徴表現を学習する。
提案手法の有効性を4つの適応方式で検証し,FERに適用した場合,既存のSFUDA法より一貫して優れていることを示す。
論文 参考訳（メタデータ） (2022-10-11T08:24:50Z) - Adaptive Local-Component-aware Graph Convolutional Network for One-shot
Skeleton-based Action Recognition [54.23513799338309]
骨格に基づく行動認識のための適応的局所成分認識グラフ畳み込みネットワークを提案する。
我々の手法はグローバルな埋め込みよりも強力な表現を提供し、我々のモデルが最先端に到達するのに役立ちます。
論文 参考訳（メタデータ） (2022-09-21T02:33:07Z) - Deep face recognition with clustering based domain adaptation [57.29464116557734]
そこで本研究では,ターゲットドメインとソースがクラスを共有しない顔認識タスクを対象とした,クラスタリングに基づく新しいドメイン適応手法を提案する。
本手法は,特徴領域をグローバルに整列させ,その一方で,対象クラスタを局所的に識別することで,識別対象特徴を効果的に学習する。
論文 参考訳（メタデータ） (2022-05-27T12:29:11Z) - Object Tracking by Jointly Exploiting Frame and Event Domain [31.534731963279274]
本稿では,単一物体追跡性能を向上させるために,フレーム領域とイベント領域から視覚的手がかりを融合するマルチモーダルアプローチを提案する。
提案手法は,両領域の有意義な情報を効果的かつ適応的に組み合わせることができる。
提案手法は, 現状のフレームベーストラッキング手法を少なくとも10.4%, 11.9%, 代表的な成功率, 精度で上回っている。
論文 参考訳（メタデータ） (2021-09-19T03:13:25Z) - Self-supervised Segmentation via Background Inpainting [96.10971980098196]
移動可能なカメラで撮影された単一の画像で、自己教師付き検出とセグメンテーションのアプローチを導入する。
我々は、提案に基づくセグメンテーションネットワークのトレーニングに利用する自己教師付き損失関数を利用する。
本手法は,標準ベンチマークから視覚的に切り離された画像の人間の検出とセグメント化に応用し,既存の自己監督手法より優れていることを示す。
論文 参考訳（メタデータ） (2020-11-11T08:34:40Z) - Unsupervised Feature Learning for Event Data: Direct vs Inverse Problem
Formulation [53.850686395708905]
イベントベースのカメラは、ピクセルごとの明るさ変化の非同期ストリームを記録する。
本稿では,イベントデータからの表現学習のための単一層アーキテクチャに焦点を当てる。
我々は,最先端手法と比較して,認識精度が最大9%向上したことを示す。
論文 参考訳（メタデータ） (2020-09-23T10:40:03Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。