論文の概要: FLEET: Token-Based Feature Extraction for Event Camera-based Reinforcement Learning
- arxiv url: http://arxiv.org/abs/2608.16523v2
- Date: Wed, 26 Aug 2026 06:18:02 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-27 14:15:14.684184
- Title: FLEET: Token-Based Feature Extraction for Event Camera-based Reinforcement Learning
- Title(参考訳): FLEET:イベントカメラによる強化学習のためのトークンベース特徴抽出
- Abstract要約: イベントカメラは、従来のカメラよりも低レイテンシで空間的に疎い情報を提供する非同期で高周波なデータストリームを生成する。
CNNベースの方法は、イベントをスパースグリッドに集約することで、センサの利点を否定する。
イベントシーケンスを直接処理する特徴抽出器FLEETを提案する。
- 参考スコア(独自算出の注目度): 25.467465984392593
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Event cameras generate asynchronous, high-frequency data streams offering spatially sparse information at lower latency than traditional cameras. In principle, these properties should be ideal for the design of control policies. However, reinforcement learning research in this field remains limited as existing approaches fail to fully exploit the sensor's properties. CNN-based methods negate the sensors benefits by aggregating events into sparse grids. This couples compute cost to sensor resolution and blurs the temporal information. Meanwhile, existing generative baselines rely on the availability of trajectory data to pretrain the model. We propose FLEET (Feature Learning from Events via Efficient Tokenization), a feature extractor that processes event sequences directly. Leveraging random Fourier features and cross-attention, our architecture compresses variable streams into fixed-size latent representations. This decouples inference cost of the feature extractor's backbone from the sensor's resolution, enabling end-to-end learning without auxiliary losses. We validate FLEET on a new, high-throughput benchmark. The results demonstrate that our sequence-based approach surpasses SOTA performance and exhibits superior robustness to variations in observation frequencies.
- Abstract(参考訳): イベントカメラは、従来のカメラよりも低レイテンシで空間的に疎い情報を提供する非同期で高周波なデータストリームを生成する。
原則として、これらの特性は制御ポリシーの設計に最適であるべきです。
しかし、既存のアプローチではセンサの特性を完全に活用できないため、この分野における強化学習の研究は依然として限られている。
CNNベースの方法は、イベントをスパースグリッドに集約することで、センサの利点を否定する。
このカップルは、センサーの解像度に計算コストを掛け、時間情報をぼかす。
一方、既存の生成ベースラインは、モデルを事前訓練するための軌道データの可用性に依存している。
イベントシーケンスを直接処理する特徴抽出器であるFLEET(Feature Learning from Events via Efficient Tokenization)を提案する。
我々のアーキテクチャはランダムなフーリエ機能とクロスアテンションを活用し、可変ストリームを固定サイズの潜在表現に圧縮する。
これにより、センサの解像度から特徴抽出器の背骨の推論コストを分離し、補助的な損失なくエンドツーエンドの学習を可能にする。
我々はFLEETを新しい高スループットベンチマークで検証する。
その結果,本手法はSOTA性能を上回り,観測周波数の変動に優れたロバスト性を示すことがわかった。
関連論文リスト
- EventGait: Towards Robust Gait Recognition with Event Streams [50.890621860023]
イベントカメラは、マイクロ秒時間分解能と高ダイナミックレンジを提供し、自然にロバストなダイナミックキューをキャプチャし、静的ノイズを抑制する。
イベントの利点を保ちながら、動きと形状を別々にモデル化する、エンドツーエンドのデュアルストリームフレームワークである textbfEventGait を提案する。
当社のアプローチでは,イベント駆動歩行分析の堅牢性と可能性を強調し,合成および実世界の歩行ベンチマークに新たな技術状況が設定されている。
論文 参考訳(メタデータ) (2026-05-21T08:12:04Z) - SPECTRA: An Efficient Spectral-Informed Neural Network for Sensor-Based Activity Recognition [11.283502671153109]
広範コンピューティングにおけるリアルタイムセンサベースのアプリケーションは、低レイテンシのプライバシと効率的なインタラクションを保証するために、エッジデプロイ可能なモデルを必要とする。
SPECTRAは、短時間のフーリエ変換STFT特徴抽出とチャネルワイズ・セルフアテンションを統合し、実エッジランタイムとメモリ制約下でのスペクトル時間依存性をキャプチャする。
注目プーリングを施したコンパクトな双方向GRUは、精度を保ちながら、低コストでダウンストリームモデルの負担を軽減する。
論文 参考訳(メタデータ) (2026-03-27T14:45:27Z) - SpikeCLR: Contrastive Self-Supervised Learning for Few-Shot Event-Based Vision using Spiking Neural Networks [6.343997466221382]
イベントベースの視覚センサはニューロモルフィックハードウェア上に展開することができ、組み込みシステムにエネルギー効率の高い応用を可能にする。
SpikeCLRは、SNNがラベルのないイベントデータから堅牢な視覚表現を学習できるようにする、対照的な自己教師型学習フレームワークである。
論文 参考訳(メタデータ) (2026-03-17T10:11:34Z) - Self-Supervised Learning via Flow-Guided Neural Operator on Time-Series Data [57.85958428020496]
Flow-Guided Neural Operator (FGNO)は、演算子学習とフローマッチングを組み合わせた新しいフレームワークである。
FGNOは、短時間フーリエ変換を用いて関数空間のマッピングを学習し、異なる時間分解能を統一する。
推論中にノイズのある入力を使用する以前の生成SSL法とは異なり、ノイズのある表現を学習しながら、クリーンな入力を用いて表現抽出を行う。
論文 参考訳(メタデータ) (2026-02-12T18:54:57Z) - Decoupling Amplitude and Phase Attention in Frequency Domain for RGB-Event based Visual Object Tracking [51.31378940976401]
既存のRGB-Eventトラッキングアプローチでは、イベントカメラのユニークな利点を完全に活用できない。
本稿では,周波数領域の早期融合を実現する新しい追跡フレームワークを提案する。
FE108, FELT, COESOTなど, 広く使用されている3つのRGB-Event追跡ベンチマークデータセットの実験により, 提案手法の性能と効率を実証した。
論文 参考訳(メタデータ) (2026-01-03T01:10:17Z) - Dynamic Graph Induced Contour-aware Heat Conduction Network for Event-based Object Detection [42.021851148914145]
イベントベースのビジョンセンサー(EVS)は、低照度環境で従来のRGBフレームベースのカメラに対して大きな優位性を示している。
本稿では,イベントストリームに基づく物体検出のための動的グラフ誘導輪郭対応熱伝導ネットワークを提案する。
論文 参考訳(メタデータ) (2025-05-19T09:44:01Z) - Self-Supervised Event Representations: Towards Accurate, Real-Time Perception on SoC FPGAs [0.0]
イベントカメラは、従来のフレームベースのセンサーよりも大きな利点がある。
疎結合で非同期なイベントストリームを効果的に処理することは依然として難しい。
本稿では,新しい自己監視イベント表現(SSER)手法を提案する。
論文 参考訳(メタデータ) (2025-05-12T13:32:08Z) - SuperEIO: Self-Supervised Event Feature Learning for Event Inertial Odometry [6.552812892993662]
イベントカメラは非同期に低レイテンシのイベントストリームを出力し、高速動作における状態推定と挑戦的な照明条件を約束する。
我々は,学習に基づく事象のみの検出とIMU測定を利用して,事象慣性オドメトリーを実現する新しいフレームワークであるSuperEIOを提案する。
提案手法を複数の公開データセット上で広範囲に評価し,その精度とロバスト性を他の最先端のイベントベース手法と比較した。
論文 参考訳(メタデータ) (2025-03-29T03:58:15Z) - Localized Gaussians as Self-Attention Weights for Point Clouds Correspondence [92.07601770031236]
本稿では,エンコーダのみのトランスフォーマーアーキテクチャのアテンションヘッドにおける意味的意味パターンについて検討する。
注意重みの修正はトレーニングプロセスの促進だけでなく,最適化の安定性の向上にも寄与する。
論文 参考訳(メタデータ) (2024-09-20T07:41:47Z) - ChiNet: Deep Recurrent Convolutional Learning for Multimodal Spacecraft
Pose Estimation [3.964047152162558]
本稿では,ランデブーシーケンスからの時間情報を組み込んで,宇宙船の相対的な姿勢を推定する革新的な深層学習パイプラインを提案する。
畳み込みニューラルネットワーク(CNN)バックボーンによって抽出された特徴の処理のために、データのシーケンスをモデル化する上で、LSTM(Long Short-term memory)ユニットのパフォーマンスを活用する。
3つの異なるトレーニング戦略が組み合わさって、特徴学習を容易にし、回帰によるエンドツーエンドのポーズ推定を改善する。
論文 参考訳(メタデータ) (2021-08-23T16:48:58Z) - Learning Monocular Dense Depth from Events [53.078665310545745]
イベントカメラは、強度フレームではなく、非同期イベントのストリームの形式で輝度を変化させる。
最近の学習に基づくアプローチは、単眼深度予測のようなイベントベースのデータに適用されている。
本稿では,この課題を解決するための繰り返しアーキテクチャを提案し,標準フィードフォワード法よりも大幅に改善されていることを示す。
論文 参考訳(メタデータ) (2020-10-16T12:36:23Z) - iffDetector: Inference-aware Feature Filtering for Object Detection [70.8678270164057]
Inference-aware Feature Filtering (IFF)モジュールを導入し、現代の検出器と簡単に組み合わせることができる。
IFFは、畳み込み機能を強化するためにハイレベルなセマンティクスを活用することでクローズドループ最適化を行う。
IFFはCNNベースの物体検出器とプラグアンドプレイ方式で融合でき、計算コストのオーバーヘッドは無視できる。
論文 参考訳(メタデータ) (2020-06-23T02:57:29Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。