論文の概要: SynSacc: A Blender-to-V2E Pipeline for Synthetic Neuromorphic Eye-Movement Data and Sim-to-Real Spiking Model Training
- arxiv url: http://arxiv.org/abs/2602.08726v1
- Date: Mon, 09 Feb 2026 14:34:31 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-02-10 20:26:25.295168
- Title: SynSacc: A Blender-to-V2E Pipeline for Synthetic Neuromorphic Eye-Movement Data and Sim-to-Real Spiking Model Training
- Title（参考訳）: SynSacc:Blender-to-V2E Pipeline for Synthetic Neuromorphic Eye-Movement Data and Sim-to-Real Spiking Model Training
- Authors: Khadija Iddrisu, Waseem Shariff, Suzanne Little, Noel OConnor,
- Abstract要約: 制御条件下でのサケードと固定をシミュレートするために,Blenderで生成された合成データセットを提案する。
2つのアーキテクチャをトレーニングし、実際のイベントデータを微調整することで、その堅牢性を評価する。
提案したモデルは最大0.83の精度を達成し、時間分解能の異なる一貫した性能を維持する。
- 参考スコア（独自算出の注目度）: 6.113940256355538
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The study of eye movements, particularly saccades and fixations, are fundamental to understanding the mechanisms of human cognition and perception. Accurate classification of these movements requires sensing technologies capable of capturing rapid dynamics without distortion. Event cameras, also known as Dynamic Vision Sensors (DVS), provide asynchronous recordings of changes in light intensity, thereby eliminating motion blur inherent in conventional frame-based cameras and offering superior temporal resolution and data efficiency. In this study, we introduce a synthetic dataset generated with Blender to simulate saccades and fixations under controlled conditions. Leveraging Spiking Neural Networks (SNNs), we evaluate its robustness by training two architectures and finetuning on real event data. The proposed models achieve up to 0.83 accuracy and maintain consistent performance across varying temporal resolutions, demonstrating stability in eye movement classification. Moreover, the use of SNNs with synthetic event streams yields substantial computational efficiency gains over artificial neural network (ANN) counterparts, underscoring the utility of synthetic data augmentation in advancing event-based vision. All code and datasets associated with this work is available at https: //github.com/Ikhadija-5/SynSacc-Dataset.
- Abstract（参考訳）: 眼球運動の研究、特にササードと固定の研究は、人間の認知と知覚のメカニズムを理解するのに不可欠である。
これらの動きの正確な分類には、歪みを伴わずに高速なダイナミクスを捉えることができるセンシング技術が必要である。
イベントカメラ(Dynamic Vision Sensors, DVS)は、光強度の変化を非同期に記録することで、従来のフレームベースカメラに固有の動きのぼやけを排除し、時間分解能とデータ効率を向上させる。
本研究では,制御条件下でのサケードと固定をシミュレートするために,Blenderで生成された合成データセットを提案する。
スパイキングニューラルネットワーク(SNN)を活用することで、2つのアーキテクチャをトレーニングし、実際のイベントデータを微調整することで、その堅牢性を評価する。
提案モデルでは,眼球運動分類の安定性を実証し,最大0.83の精度を実現し,時間分解能の異なる一貫した性能を維持する。
さらに、合成イベントストリームにSNNを使用することで、人工知能ニューラルネットワーク(ANN)よりも計算効率が大幅に向上し、イベントベースビジョンの進歩における合成データ拡張の有用性が強調される。
この作業に関連するすべてのコードとデータセットは、https: //github.com/Ikhadija-5/SynSacc-Datasetで入手できる。
関連論文リスト
- I2E: Real-Time Image-to-Event Conversion for High-Performance Spiking Neural Networks [5.758857776572054]
スパイキングニューラルネットワーク(SNN)はエネルギー効率の高い計算を約束するが、その採用はイベントストリームデータの重大な不足によって妨げられる。
静的画像を高忠実度イベントストリームに変換することで、このボトルネックを解決するアルゴリズムフレームワークであるI2Eを導入する。
I2Eは、従来の手法よりも300倍高速な変換速度を実現し、SNNトレーニングのオンザフライデータ拡張を可能にする。
生成されたI2E-ImageNetデータセットに基づいてトレーニングされたSNNは、最先端の精度が60.50%に達する。
論文 参考訳（メタデータ） (2025-11-11T10:05:17Z) - Scaling Transformer-Based Novel View Synthesis Models with Token Disentanglement and Synthetic Data [53.040873127309766]
本稿では,トランスアーキテクチャ内でのトークンのアンタングル化プロセスを提案し,特徴分離を向上し,より効果的な学習を実現する。
提案手法は,データセット内およびデータセット間の評価において,既存のモデルよりも優れる。
論文 参考訳（メタデータ） (2025-09-08T17:58:06Z) - How Real is CARLAs Dynamic Vision Sensor? A Study on the Sim-to-Real Gap in Traffic Object Detection [0.0]
イベントカメラは、交差点でのリアルタイム物体検出に適している。
堅牢なイベントベース検出モデルの開発は、注釈付き現実世界データセットの可用性の制限によって妨げられている。
本研究では,CARLAs DVSを用いたイベントベース物体検出におけるsim-to-realギャップの定量的解析を行った。
論文 参考訳（メタデータ） (2025-06-16T17:27:43Z) - Sparse identification of nonlinear dynamics and Koopman operators with Shallow Recurrent Decoder Networks [3.1484174280822845]
本稿では, 簡易な実装, 効率的, 堅牢な性能で, センサとモデル識別の問題を共同で解決する手法を提案する。
SINDy-SHREDはGated Recurrent Unitsを使用してスパースセンサー計測と浅いネットワークデコーダをモデル化し、潜在状態空間からフルタイムフィールドを再構築する。
本研究では, 乱流, 海面温度の実環境センサ計測, 直接ビデオデータなどのPDEデータに関する系統的研究を行った。
論文 参考訳（メタデータ） (2025-01-23T02:18:13Z) - Task-Oriented Real-time Visual Inference for IoVT Systems: A Co-design Framework of Neural Networks and Edge Deployment [61.20689382879937]
タスク指向エッジコンピューティングは、データ分析をエッジにシフトすることで、この問題に対処する。
既存の手法は、高いモデル性能と低いリソース消費のバランスをとるのに苦労している。
ニューラルネットワークアーキテクチャを最適化する新しい協調設計フレームワークを提案する。
論文 参考訳（メタデータ） (2024-10-29T19:02:54Z) - A Realistic Simulation Framework for Analog/Digital Neuromorphic Architectures [73.65190161312555]
ARCANAは、混合信号ニューロモルフィック回路の特性を考慮に入れたソフトウェアスパイクニューラルネットワークシミュレータである。
得られた結果が,ソフトウェアでトレーニングされたスパイクニューラルネットワークの動作を,かつてハードウェアにデプロイされた場合の信頼性の高い推定方法を示す。
論文 参考訳（メタデータ） (2024-09-23T11:16:46Z) - A Novel Spike Transformer Network for Depth Estimation from Event Cameras via Cross-modality Knowledge Distillation [3.355813093377501]
イベントカメラは、非同期バイナリスパイクとして光強度の時間変化を符号化する。
従来の画像に基づく深度推定手法には、従来のスパイク出力とラベル付きデータセットの不足が大きな課題となっている。
本研究では, スパイキングデータのユニークな特性を利用して, 深度推定のための新しいエネルギー効率の高いスパイク駆動型トランスフォーマーネットワークを提案する。
論文 参考訳（メタデータ） (2024-04-26T11:32:53Z) - An Adversarial Active Sampling-based Data Augmentation Framework for
Manufacturable Chip Design [55.62660894625669]
リソグラフィーモデリングは、チップ設計マスクが製造可能であることを保証するため、チップ設計において重要な問題である。
機械学習の最近の進歩は、時間を要するリソグラフィーシミュレーションをディープニューラルネットワークに置き換えるための代替ソリューションを提供している。
本稿では,限られたデータのジレンマを解消し,機械学習モデルの性能を向上させるために,データ拡張フレームワークを提案する。
論文 参考訳（メタデータ） (2022-10-27T20:53:39Z) - Hybrid SNN-ANN: Energy-Efficient Classification and Object Detection for
Event-Based Vision [64.71260357476602]
イベントベースの視覚センサは、画像フレームではなく、イベントストリームの局所的な画素単位の明るさ変化を符号化する。
イベントベースセンサーによる物体認識の最近の進歩は、ディープニューラルネットワークの変換によるものである。
本稿では、イベントベースのパターン認識とオブジェクト検出のためのディープニューラルネットワークのエンドツーエンドトレーニングのためのハイブリッドアーキテクチャを提案する。
論文 参考訳（メタデータ） (2021-12-06T23:45:58Z) - Event-based Asynchronous Sparse Convolutional Networks [54.094244806123235]
イベントカメラはバイオインスパイアされたセンサーで、非同期でスパースな「イベント」の形で画素ごとの明るさ変化に反応する。
同期画像のようなイベント表現で訓練されたモデルを、同じ出力を持つ非同期モデルに変換するための一般的なフレームワークを提案する。
理論的および実験的に、これは高容量同期ニューラルネットワークの計算複雑性と遅延を大幅に減少させることを示す。
論文 参考訳（メタデータ） (2020-03-20T08:39:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。