Fugu-MT 論文翻訳(概要): EZSR: Event-based Zero-Shot Recognition

論文の概要: EZSR: Event-based Zero-Shot Recognition

arxiv url: http://arxiv.org/abs/2407.21616v1
Date: Wed, 31 Jul 2024 14:06:06 GMT
ステータス: 処理完了
システム内更新日: 2024-08-01 12:27:41.677755
Title: EZSR: Event-based Zero-Shot Recognition
Title（参考訳）: EZSR:イベントベースのゼロショット認識
Authors: Yan Yang, Liyuan Pan, Dongxu Li, Liu Liu,
Abstract要約: 本稿では,イベントカメラデータを用いたゼロショット物体認識について検討する。イベントエンコーダを追加の再構成ネットワークに頼ることなく開発する。 N-ImageNetデータセットで47.84%のゼロショット精度を達成した。
参考スコア（独自算出の注目度）: 21.10165234725309
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: This paper studies zero-shot object recognition using event camera data. Guided by CLIP, which is pre-trained on RGB images, existing approaches achieve zero-shot object recognition by maximizing embedding similarities between event data encoded by an event encoder and RGB images encoded by the CLIP image encoder. Alternatively, several methods learn RGB frame reconstructions from event data for the CLIP image encoder. However, these approaches often result in suboptimal zero-shot performance. This study develops an event encoder without relying on additional reconstruction networks. We theoretically analyze the performance bottlenecks of previous approaches: global similarity-based objective (i.e., maximizing the embedding similarities) cause semantic misalignments between the learned event embedding space and the CLIP text embedding space due to the degree of freedom. To mitigate the issue, we explore a scalar-wise regularization strategy. Furthermore, to scale up the number of events and RGB data pairs for training, we also propose a pipeline for synthesizing event data from static RGB images. Experimentally, our data synthesis strategy exhibits an attractive scaling property, and our method achieves superior zero-shot object recognition performance on extensive standard benchmark datasets, even compared with past supervised learning approaches. For example, we achieve 47.84% zero-shot accuracy on the N-ImageNet dataset.
Abstract（参考訳）: 本稿では,イベントカメラデータを用いたゼロショット物体認識について検討する。既存のアプローチでは,イベントエンコーダでエンコードされたイベントデータと,CLIP画像エンコーダでエンコードされたRGBイメージとの類似性を最大化することにより,ゼロショットオブジェクト認識を実現する。あるいは、CLIP画像エンコーダのイベントデータからRGBフレーム再構成を学ぶ方法もある。しかし、これらのアプローチは、しばしば準最適ゼロショット性能をもたらす。本研究では,イベントエンコーダを追加の再構成ネットワークに頼ることなく開発する。グローバルな類似性に基づく目的(つまり、埋め込み類似性を最大化する)は、学習したイベント埋め込み空間とCLIPテキスト埋め込み空間とのセマンティックなミスアライメントを引き起こす。問題を緩和するために、スカラーワイドな正規化戦略を検討する。さらに、トレーニング用イベント数とRGBデータペアのスケールアップのために、静的なRGB画像からイベントデータを合成するためのパイプラインも提案する。提案手法は,従来の教師付き学習手法と比較して,広範囲な標準ベンチマークデータセットにおいて,より優れたゼロショットオブジェクト認識性能を実現する。例えば、N-ImageNetデータセットで47.84%のゼロショット精度を達成する。

関連論文リスト

Diffusion-based RGB-D Semantic Segmentation with Deformable Attention Transformer [10.982521876026281]
本稿では,RGB-Dセマンティックセグメンテーション問題に対処する拡散型フレームワークを提案する。本研究では,デフォルマブルアテンション変換器をエンコーダとして利用し,奥行き画像から特徴を抽出することにより,デフォルマブルアテンション変換器の特性を効果的に把握できることを実証する。
論文参考訳（メタデータ） (2024-09-23T15:23:01Z)
Evaluating Image-Based Face and Eye Tracking with Event Cameras [9.677797822200965]
イベントカメラはニューロモルフィックセンサーとしても知られており、ピクセルレベルの局所光強度の変化を捉え、非同期に生成されたイベントと呼ばれるデータを生成する。このデータフォーマットは、高速で動く物体を撮影する際のアンダーサンプリングのような、従来のカメラで観察される一般的な問題を緩和する。我々は、従来のアルゴリズムとイベントベースのデータを統合することにより、フレーム形式に変換される可能性を評価する。
論文参考訳（メタデータ） (2024-08-19T20:27:08Z)
Depth-Guided Semi-Supervised Instance Segmentation [62.80063539262021]
Semi-Supervised Instance (SSIS)は、トレーニング中にラベルなしデータの量を活用することを目的としている。従来のフレームワークは主に、ラベルなし画像のRGB情報を利用して擬似ラベルを生成する。この制限を克服するために、Depth-Guided (DG)フレームワークを導入します。
論文参考訳（メタデータ） (2024-06-25T09:36:50Z)
RGB-Sonar Tracking Benchmark and Spatial Cross-Attention Transformer Tracker [4.235252053339947]
本稿では,新しいRGB-Sonar(RGB-S)トラッキングタスクを提案する。 RGBとソナーモダリティの相互作用により、水中の標的の効率的な追跡を実現する方法について検討する。
論文参考訳（メタデータ） (2024-06-11T12:01:11Z)
Segment Any Events via Weighted Adaptation of Pivotal Tokens [85.39087004253163]
本稿では,Segment Anything Models (SAM) をイベントデータと統合する上で,難易度の高い課題に焦点を当てる。本稿では,RGB画像とイベントデータからのトークン埋め込みのアライメントを最適化するマルチスケールな特徴蒸留手法を提案する。
論文参考訳（メタデータ） (2023-12-24T12:47:08Z)
Tensor Factorization for Leveraging Cross-Modal Knowledge in Data-Constrained Infrared Object Detection [22.60228799622782]
赤外線画像における物体検出のボトルネックは、十分なラベル付きトレーニングデータがないことである。我々は、RGBモードにおけるモデル性能を保ちながら、RGBモードからオブジェクト検出器をIRモードにスケールするために、RGBモードからの手がかりを活用しようとしている。まず、これらの因子行列をRGBモードで事前トレーニングし、多くのトレーニングデータが存在すると仮定した後、IRモードでトレーニングするためのトレーニング可能なパラメータをわずかに増やして過度な適合を避ける。
論文参考訳（メタデータ） (2023-09-28T16:55:52Z)
Chasing Day and Night: Towards Robust and Efficient All-Day Object Detection Guided by an Event Camera [8.673063170884591]
EOLOは、RGBとイベントモダリティの両方を融合させることで、堅牢で効率的な全日検出を実現する、新しいオブジェクト検出フレームワークである。我々のEOLOフレームワークは、イベントの非同期特性を効率的に活用するために、軽量スパイキングニューラルネットワーク(SNN)に基づいて構築されている。
論文参考訳（メタデータ） (2023-09-17T15:14:01Z)
EventTransAct: A video transformer-based framework for Event-camera based action recognition [52.537021302246664]
イベントカメラは、RGBビデオの標準アクション認識と比較して、新しい機会を提供する。本研究では,最初にイベントフレーム当たりの空間埋め込みを取得するビデオトランスフォーマーネットワーク(VTN)という,計算効率のよいモデルを用いる。イベントデータのスパースできめ細かい性質にVTNをよりよく採用するために、イベントコントラストロス(mathcalL_EC$)とイベント固有の拡張を設計する。
論文参考訳（メタデータ） (2023-08-25T23:51:07Z)
Beyond Learned Metadata-based Raw Image Reconstruction [86.1667769209103]
生画像は、線形性や微細な量子化レベルなど、sRGB画像に対して明確な利点がある。ストレージの要求が大きいため、一般ユーザからは広く採用されていない。本稿では,メタデータとして,潜在空間におけるコンパクトな表現を学習する新しいフレームワークを提案する。
論文参考訳（メタデータ） (2023-06-21T06:59:07Z)
Boosting RGB-D Saliency Detection by Leveraging Unlabeled RGB Images [89.81919625224103]
RGB-D Salient Object Detection (SOD) のための深層モデルの訓練は、しばしば多数のラベル付きRGB-D画像を必要とする。本稿では、ラベルのないRGB画像を活用するために、Dual-Semi RGB-D Salient Object Detection Network (DS-Net)を提案する。
論文参考訳（メタデータ） (2022-01-01T03:02:27Z)
Learning RAW-to-sRGB Mappings with Inaccurately Aligned Supervision [76.41657124981549]
本稿では,画像アライメントとRAW-to-sRGBマッピングのための共同学習モデルを提案する。実験の結果,本手法はZRRおよびSR-RAWデータセットの最先端に対して良好に動作することがわかった。
論文参考訳（メタデータ） (2021-08-18T12:41:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。