論文の概要: Event-Frame Fusion for Inter-Frame Segmentation via Event-Guided Motion

• arxiv url: http://arxiv.org/abs/2609.22500v1
• Date: Fri, 18 Sep 2026 19:02:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-22 20:29:00.411354
• Title: Event-Frame Fusion for Inter-Frame Segmentation via Event-Guided Motion
• Title（参考訳）: イベントガイド運動を用いたイベントフレーム融合によるフレーム間セグメンテーション
• Abstract要約: 本稿では,従来のフレームベースカメラとイベントベースカメラを組み合わせたハイブリッドビジョンアーキテクチャを提案する。 このフレームワークは、推定当たり1.87mJ以下のエネルギー消費で最大500Hzのセグメンテーション速度を達成する。 提案手法は,ぼかしや露出過多の影響を受け,フレーム内の情報損失を補償する。
• 参考スコア（独自算出の注目度）: 3.66973045541795
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Autonomous navigation requires precise and efficient semantic segmentation, yet existing frame-based approaches remain limited by motion blur, glare, latency, and the low temporal resolution (20-30 FPS) of conventional cameras, which leads to information loss between frames. Event cameras have emerged as an alternative sensing modality, capturing intensity changes asynchronously with high temporal resolution, high dynamic range, and sparse outputs. However, event-based algorithms still fall short of frame-based ones in accuracy, as most segmentation methods are designed for dense frame data. To overcome these limitations, we propose a hybrid vision architecture that combines conventional frame-based and event-based cameras. The system integrates two complementary components: (1) a compact Spiking Neural Network (SNN) with 42k parameters for motion estimation, and (2) a lightweight event-driven SNN with 0.84M parameters for frame-based semantic segmentation, which interpolates motion between frames to refine segmentation results. By predicting inter-frame segmentations, the framework achieves segmentation rates of up to 500 Hz with an energy consumption below 1.87 mJ per inference, while maintaining real-time GPU execution at frequencies up to 200 Hz. Additionally, our approach compensates for information loss in frames affected by blur or overexposure, enabling more robust perception in challenging conditions.
• Abstract（参考訳）: 自律ナビゲーションは正確かつ効率的なセマンティックセグメンテーションを必要とするが、既存のフレームベースのアプローチは、従来のカメラのモーションボケ、グラア、遅延、低時間分解能(20-30 FPS)によって制限され、フレーム間の情報損失につながる。 イベントカメラは、高時間分解能、高ダイナミックレンジ、スパース出力で非同期に強度変化を捉え、代替のセンシングモダリティとして登場した。 しかし、ほとんどのセグメンテーション手法は高密度なフレームデータのために設計されているため、イベントベースのアルゴリズムは正確性に欠ける。 これらの制約を克服するために,従来のフレームベースカメラとイベントベースカメラを組み合わせたハイブリッドビジョンアーキテクチャを提案する。 本システムは,(1)動き推定のための42kパラメータを持つコンパクトスパイキングニューラルネットワーク(SNN)と,(2)フレームベースセマンティックセマンティックセマンティクスのための0.84Mパラメータを持つ軽量イベント駆動SNNの2つの相補的コンポーネントを統合する。 フレーム間セグメンテーションを予測することにより、最大500Hzのセグメンテーションレートを、推定当たり1.87mJ未満のエネルギー消費で達成し、同時に、200Hzまでの周波数でリアルタイムGPUの実行を継続する。 さらに, この手法は, ぼやけや露出過多の影響を受けやすいフレームにおける情報損失を補正し, 難解な条件下でのより堅牢な認識を可能にする。

関連論文リスト

• Event-based Visual Deformation Measurement [76.25283405575108]
  視覚的変形測定は、カメラ観測から表面の動きを追跡することによって、高密度な変形場を復元することを目的としている。 従来の画像ベースの手法は、対応検索空間を制限するため、最小限のフレーム間動作に依存している。 本研究では,時間的に密集した動きキューやフレームのイベントを利用して,空間的に密集した正確な推定を行うイベントフレーム融合フレームワークを提案する。
  論文  参考訳（メタデータ） (2026-02-16T01:04:48Z)
• Event-Based Visual Teach-and-Repeat via Fast Fourier-Domain Cross-Correlation [52.46888249268445]
  本稿では,最初のイベントカメラを用いた視覚指導・再生システムを提案する。 本研究では,イベントストリームマッチング問題を計算効率の良い空間乗算に変換する周波数領域相互相関フレームワークを開発した。 Prophesee EVK4 HDイベントカメラをAgileX Scout Miniロボットに搭載した実験では、自律走行が成功している。
  論文  参考訳（メタデータ） (2025-09-21T23:53:31Z)
• FlexEvent: Towards Flexible Event-Frame Object Detection at Varying Operational Frequencies [59.10607296658509]
  イベントカメラは、動的環境におけるリアルタイムの知覚に相容れないアドバンテージを提供する。 イベント検出器は固定周波数のパラダイムによって制限されており、イベントデータの高時間分解能と適応性を完全に活用できない。 我々は、様々な周波数で検出できる新しいフレームワークFlexEventを提案する。
  論文  参考訳（メタデータ） (2024-12-09T17:57:14Z)
• Frame-Event Alignment and Fusion Network for High Frame Rate Tracking [37.35823883499189]
  既存のRGBベースのトラッカーのほとんどは、毎秒約30フレームの低フレームレートベンチマークをターゲットにしている。 マルチモーダリティアライメントと融合モジュールからなるエンドツーエンドネットワークを提案する。 FE240hzデータセットを用いることで,240Hzまでのフレーム速度の追跡が可能となる。
  論文  参考訳（メタデータ） (2023-05-25T03:34:24Z)
• IDO-VFI: Identifying Dynamics via Optical Flow Guidance for Video Frame Interpolation with Events [14.098949778274733]
  イベントカメラは、フレーム間のダイナミクスを極めて高い時間分解能で捉えるのに最適である。 IDO-VFIというイベント・アンド・フレームベースのビデオフレーム方式を提案する。 提案手法は,Vimeo90Kデータセット上での計算時間と計算労力をそれぞれ10%と17%削減しつつ,高品質な性能を維持する。
  論文  参考訳（メタデータ） (2023-05-17T13:22:21Z)
• HALSIE: Hybrid Approach to Learning Segmentation by Simultaneously Exploiting Image and Event Modalities [6.543272301133159]
  イベントカメラは、非同期イベントストリームを生成するためにピクセルごとの強度の変化を検出する。 リアルタイム自律システムにおいて、正確なセマンティックマップ検索のための大きな可能性を秘めている。 イベントセグメンテーションの既存の実装は、サブベースのパフォーマンスに悩まされている。 本研究では,ハイブリット・エンド・エンド・エンドの学習フレームワークHALSIEを提案する。
  論文  参考訳（メタデータ） (2022-11-19T17:09:50Z)
• TimeLens: Event-based Video Frame Interpolation [54.28139783383213]
  本稿では,合成法とフロー法の両方の利点を生かした,等価寄与法であるTime Lensを紹介する。 最先端のフレームベースおよびイベントベース手法よりもPSNRが最大5.21dB向上したことを示す。
  論文  参考訳（メタデータ） (2021-06-14T10:33:47Z)
• All at Once: Temporally Adaptive Multi-Frame Interpolation with Advanced Motion Modeling [52.425236515695914]
  最先端の手法は、一度に1つのフレームを補間する反復解である。 この研究は、真のマルチフレーム補間子を導入している。 時間領域のピラミッドスタイルのネットワークを使用して、複数フレームのタスクをワンショットで完了する。
  論文  参考訳（メタデータ） (2020-07-23T02:34:39Z)
• Efficient Video Semantic Segmentation with Labels Propagation and Refinement [138.55845680523908]
  本稿では,ハイブリッドGPU/CPUを用いた高精細ビデオのリアルタイムセマンティックセマンティックセマンティック化の問題に取り組む。 i) CPU上では、非常に高速な光フロー法であり、ビデオの時間的側面を利用して、あるフレームから次のフレームへ意味情報を伝達するために使用される。 高解像度フレーム(2048 x 1024)を持つ一般的なCityscapesデータセットでは、単一のGPUとCPU上で80から1000Hzの動作ポイントが提案されている。
  論文  参考訳（メタデータ） (2019-12-26T11:45:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。