論文の概要: Towards Robust Event-based Networks for Nighttime via Unpaired Day-to-Night Event Translation

• arxiv url: http://arxiv.org/abs/2407.10703v1
• Date: Mon, 15 Jul 2024 13:18:37 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-16 15:11:40.919682
• Title: Towards Robust Event-based Networks for Nighttime via Unpaired Day-to-Night Event Translation
• Title（参考訳）: 不対日イベント翻訳による夜間ロバストなイベントベースネットワークの実現に向けて
• Authors: Yuhwan Jeong, Hoonhee Cho, Kuk-Jin Yoon,
• Abstract要約: ダイナミックレンジの高いイベントカメラは、低照度条件でもシーンキャプチャを保証します。 夜の出来事は、昼間に捕獲されたものとは異なるパターンを示す。 この違いは、夜間イベントを日々のイベントのみにトレーニングされたモデルに適用する際のパフォーマンス低下を引き起こす。
• 参考スコア（独自算出の注目度）: 42.961332723891324
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Event cameras with high dynamic range ensure scene capture even in low-light conditions. However, night events exhibit patterns different from those captured during the day. This difference causes performance degradation when applying night events to a model trained solely on day events. This limitation persists due to a lack of annotated night events. To overcome the limitation, we aim to alleviate data imbalance by translating annotated day data into night events. However, generating events from different modalities challenges reproducing their unique properties. Accordingly, we propose an unpaired event-to-event day-to-night translation model that effectively learns to map from one domain to another using Diffusion GAN. The proposed translation model analyzes events in spatio-temporal dimension with wavelet decomposition and disentangled convolution layers. We also propose a new temporal contrastive learning with a novel shuffling and sampling strategy to regularize temporal continuity. To validate the efficacy of the proposed methodology, we redesign metrics for evaluating events translated in an unpaired setting, aligning them with the event modality for the first time. Our framework shows the successful day-to-night event translation while preserving the characteristics of events. In addition, through our translation method, we facilitate event-based modes to learn about night events by translating annotated day events into night events. Our approach effectively mitigates the performance degradation of applying real night events to downstream tasks. The code is available at https://github.com/jeongyh98/UDNET.
• Abstract（参考訳）: ダイナミックレンジの高いイベントカメラは、低照度条件でもシーンキャプチャを保証します。 しかし、夜の行事は、昼間に捕獲されたものとは異なるパターンを示す。 この違いは、夜間イベントを日々のイベントのみにトレーニングされたモデルに適用する際のパフォーマンス低下を引き起こす。 この制限は、注釈付きの夜の出来事が欠如しているために継続する。 この制限を克服するために、アノテートされた日データを夜のイベントに翻訳することで、データの不均衡を軽減することを目的としている。 しかし、異なるモダリティからイベントを生成することは、固有の特性を再現することを困難にしている。 そこで本稿では,Diffusion GANを用いて,あるドメインから別のドメインへのマップを効果的に学習する,イベント・ツー・イベント・ツー・オン・ナイトの翻訳モデルを提案する。 提案する翻訳モデルは,ウェーブレット分解層と非絡み合った畳み込み層を用いて時空間の事象を解析する。 また,時間的連続性を規則化する新しいシャッフルとサンプリング戦略を用いた時間的コントラスト学習を提案する。 提案手法の有効性を検証するため,本稿では,不適切な状況下で翻訳されたイベントを,初めてイベントのモダリティと整合させて評価するためのメトリクスを再設計する。 本フレームワークは,イベントの特徴を保ちながら,昼夜のイベント翻訳の成功例を示す。 また,翻訳手法により,アノテートされた日中のイベントを夜のイベントに翻訳することで,夜のイベントについて学習するイベントベースのモードを容易にする。 提案手法は,ダウンストリームタスクに実夜イベントを適用した場合の性能劣化を効果的に軽減する。 コードはhttps://github.com/jeongyh98/UDNETで入手できる。

関連論文リスト

• Seeing Motion at Nighttime with an Event Camera [17.355331119296782]
  イベントカメラは、高時間分解能(マイクロ秒)と高ダイナミックレンジ(120dB)で動的に反応する 主に学習可能なイベントタイムスタンプキャリブレーションモジュール(LETC)を含む夜間イベント再構築ネットワーク(NER-Net)を提案する。 我々は、64,200の空間的および時間的に整列した画像GTと低照度イベントを含む、同軸イメージングにより、ペア化された実光イベントデータセット(RLED)を構築した。
  論文  参考訳（メタデータ） (2024-04-18T03:58:27Z)
• Improving Event Definition Following For Zero-Shot Event Detection [66.27883872707523]
  ゼロショットイベント検出に対する既存のアプローチは通常、既知のイベントタイプをアノテートしたデータセット上でモデルをトレーニングする。 イベント定義に従うためのトレーニングモデルによるゼロショットイベント検出の改善を目指しています。
  論文  参考訳（メタデータ） (2024-03-05T01:46:50Z)
• Event Camera Data Dense Pre-training [10.918407820258246]
  本稿では,イベントカメラデータを用いた高密度予測タスクに適したニューラルネットワークの事前学習を目的とした,自己教師付き学習フレームワークを提案する。 フレームワークをトレーニングするために、さまざまなシーンと動きパターンを特徴とする合成イベントカメラデータセットをキュレートする。
  論文  参考訳（メタデータ） (2023-11-20T04:36:19Z)
• Continual Event Extraction with Semantic Confusion Rectification [50.59450741139265]
  本研究では, 連続イベント抽出法について検討し, 忘れることを避けつつ, 間欠的に出現するイベント情報を抽出することを目的とした。 イベントタイプに関するセマンティックな混乱は、時間とともに更新される同じテキストのアノテーションに由来することを観察する。 本稿では,意味的混乱を是正した新しい連続イベント抽出モデルを提案する。
  論文  参考訳（メタデータ） (2023-10-24T02:48:50Z)
• Disentangled Contrastive Image Translation for Nighttime Surveillance [87.03178320662592]
  夜間監視は、照明の悪さと厳しい人間のアノテーションによる劣化に悩まされる。 既存の手法では、暗黒の物体を知覚するためにマルチスペクトル画像が使われており、解像度の低さと色の不在に悩まされている。 夜間監視の究極の解決策は、夜から昼までの翻訳(Night2Day)である、と私たちは主張する。 本論文は、夜間監視研究を支援する6つのシーンを含む、NightSuRと呼ばれる新しい監視データセットに貢献する。
  論文  参考訳（メタデータ） (2023-07-11T06:40:27Z)
• Unifying Event Detection and Captioning as Sequence Generation via Pre-Training [53.613265415703815]
  本稿では,イベント検出とキャプションのタスク間関連性を高めるための,事前学習と微調整の統合フレームワークを提案する。 我々のモデルは最先端の手法よりも優れており、大規模ビデオテキストデータによる事前学習ではさらに向上できる。
  論文  参考訳（メタデータ） (2022-07-18T14:18:13Z)
• Event Transformer [43.193463048148374]
  イベントカメラの消費電力が低く、マイクロ秒の明るさを捉える能力は、様々なコンピュータビジョンタスクにとって魅力的である。 既存のイベント表現方法は通常、イベントをフレーム、ボクセルグリッド、ディープニューラルネットワーク(DNN)のスパイクに変換する。 この研究はトークンベースの新しいイベント表現を導入し、各イベントはイベントトークンと呼ばれる基本的な処理ユニットと見なされる。
  論文  参考訳（メタデータ） (2022-04-11T15:05:06Z)
• Adversarial Attack for Asynchronous Event-based Data [0.19580473532948398]
  逆の例を生成して、初めてイベントベースのデータの堅牢なモデルをトレーニングします。 提案アルゴリズムは,N-Caltech101データセット上で97.95%の攻撃成功率を達成する。
  論文  参考訳（メタデータ） (2021-12-27T06:23:43Z)
• Learning Constraints and Descriptive Segmentation for Subevent Detection [74.48201657623218]
  本稿では,サブイベント検出とEventSeg予測の依存関係をキャプチャする制約を学習し,強制するアプローチを提案する。 我々は制約学習にRectifier Networksを採用し、学習した制約をニューラルネットワークの損失関数の正規化項に変換する。
  論文  参考訳（メタデータ） (2021-09-13T20:50:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。