論文の概要: TDE-3: An improved prior for optical flow computation in spiking neural networks

• arxiv url: http://arxiv.org/abs/2402.11662v1
• Date: Sun, 18 Feb 2024 17:42:19 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-20 19:43:43.697251
• Title: TDE-3: An improved prior for optical flow computation in spiking neural networks
• Title（参考訳）: TDE-3:スパイクニューラルネットワークにおける光フロー計算の事前改善
• Authors: Matthew Yedutenko, Federico Paredes-Valles, Lyes Khacef and Guido C.H.E. De Croon
• Abstract要約: 運動検出は、ロボットシステムが環境を知覚し、ナビゲートするのに必要となる主要なタスクである。 バイオインスパイアされたニューロモーフィック・タイムディファクション(TDE-2)は、イベントベースのセンサーとプロセッサをスパイクニューラルネットワークと組み合わせ、リアルタイムかつエネルギー効率の良いモーション検出を提供する。 本稿では, テクスチャ環境下でのTDE-3の方向選択性を高めるために, さらなる抑制入力を付加した3点TDE(TDE-3)を提案する。
• 参考スコア（独自算出の注目度）: 13.794125775056424
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Motion detection is a primary task required for robotic systems to perceive and navigate in their environment. Proposed in the literature bioinspired neuromorphic Time-Difference Encoder (TDE-2) combines event-based sensors and processors with spiking neural networks to provide real-time and energy-efficient motion detection through extracting temporal correlations between two points in space. However, on the algorithmic level, this design leads to loss of direction-selectivity of individual TDEs in textured environments. Here we propose an augmented 3-point TDE (TDE-3) with additional inhibitory input that makes TDE-3 direction-selectivity robust in textured environments. We developed a procedure to train the new TDE-3 using backpropagation through time and surrogate gradients to linearly map input velocities into an output spike count or an Inter-Spike Interval (ISI). Our work is the first instance of training a spiking neuron to have a specific ISI. Using synthetic data we compared training and inference with spike count and ISI with respect to changes in stimuli dynamic range, spatial frequency, and level of noise. ISI turns out to be more robust towards variation in spatial frequency, whereas the spike count is a more reliable training signal in the presence of noise. We performed the first in-depth quantitative investigation of optical flow coding with TDE and compared TDE-2 vs TDE-3 in terms of energy-efficiency and coding precision. Results show that on the network level both detectors show similar precision (20 degree angular error, 88% correlation with ground truth). Yet, due to the more robust direction-selectivity of individual TDEs, TDE-3 based network spike less and hence is more energy-efficient. Reported precision is on par with model-based methods but the spike-based processing of the TDEs provides allows more energy-efficient inference with neuromorphic hardware.
• Abstract（参考訳）: モーション検出は、ロボットシステムが環境を知覚し、ナビゲートするために必要な主要なタスクである。 バイオインスパイアされたバイオインスパイアされた時間差エンコーダ(TDE-2)は、イベントベースのセンサーとプロセッサをスパイクニューラルネットワークと組み合わせ、空間内の2つの点間の時間的相関を抽出することでリアルタイムかつエネルギー効率の高い運動検出を提供する。 しかし、アルゴリズムレベルでは、この設計はテクスチャ環境における個々のTDEの方向選択性を失う。 本稿では, テクスチャ環境下でのTDE-3の方向選択性を高めるために, さらなる抑制入力を付加した3点TDE(TDE-3)を提案する。 我々は,入力速度を出力スパイク数やISI(Inter-Spike Interval)に線形にマッピングするために,時間的バックプロパゲーションとシュロゲート勾配を用いて新しいTDE-3を訓練する手法を開発した。 私たちの研究は、特定のISIを持つためにスパイクニューロンを訓練する最初の例です。 合成データを用いて,刺激のダイナミックレンジ,空間周波数,騒音レベルの変化について,スパイク数とISIのトレーニングと推論を比較した。 ISIは空間周波数の変化に対してより頑健であるのに対し、スパイク数はノイズの存在下でより信頼性の高い訓練信号である。 我々は,TDEによる光フロー符号化の詳細な定量的検討を行い,TDE-2とTDE-3を比較した。 その結果,両検出器のネットワークレベルでも同様の精度(20度角誤差,88%の相関)を示した。 しかし、個々のTDEのより堅牢な方向選択性のため、TDE-3ベースのネットワークスパイクは少なく、エネルギー効率が良い。 報告された精度はモデルベースの手法と同等であるが、TDEのスパイクベースの処理により、ニューロモルフィックハードウェアによるよりエネルギー効率の高い推論が可能になる。

関連論文リスト

• DM3D: Distortion-Minimized Weight Pruning for Lossless 3D Object Detection [42.07920565812081]
  本稿では,3次元物体検出のための新しいトレーニング後の重み付け手法を提案する。 事前訓練されたモデルにおける冗長パラメータを決定し、局所性と信頼性の両方において最小限の歪みをもたらす。 本フレームワークは,ネットワーク出力の歪みを最小限に抑え,検出精度を最大に維持することを目的とする。
  論文  参考訳（メタデータ） (2024-07-02T09:33:32Z)
• DPOT: Auto-Regressive Denoising Operator Transformer for Large-Scale PDE Pre-Training [87.90342423839876]
  我々は,PDEデータに対するより安定的で効率的な事前学習を可能にする,自己回帰型事前学習戦略を提案する。 我々は,100k以上の軌道を持つ10以上のPDEデータセットに対して,最大0.5BパラメータでPDEファンデーションモデルをトレーニングする。
  論文  参考訳（メタデータ） (2024-03-06T08:38:34Z)
• Consistent3D: Towards Consistent High-Fidelity Text-to-3D Generation with Deterministic Sampling Prior [87.55592645191122]
  スコア蒸留サンプリング(SDS)とその変種は、テキスト・ツー・3D世代の発展を大幅に加速させたが、幾何崩壊やテクスチャの低下に弱い。 テキストから3D生成に先立ってODE決定論的サンプリングを探索する新しい「一貫性3D」手法を提案する。 実験により,高忠実で多様な3Dオブジェクトと大規模シーンの生成にConsistent3Dの有効性が示された。
  論文  参考訳（メタデータ） (2024-01-17T08:32:07Z)
• StableDreamer: Taming Noisy Score Distillation Sampling for Text-to-3D [88.66678730537777]
  本稿では3つの進歩を取り入れた方法論であるStableDreamerを紹介する。 まず、SDS生成前の等価性と、簡単な教師付きL2再構成損失を定式化する。 第2に,画像空間拡散は幾何学的精度に寄与するが,色調の鮮明化には潜時空間拡散が不可欠であることを示す。
  論文  参考訳（メタデータ） (2023-12-02T02:27:58Z)
• Elucidating the solution space of extended reverse-time SDE for diffusion models [54.23536653351234]
  拡散モデル(DM)は、様々な生成的モデリングタスクにおいて強力な画像生成能力を示す。 その主な制限はサンプリング速度の遅いことであり、高品質な画像を生成するには数百から数千のシーケンシャルな機能評価が必要である。 サンプリングプロセスを拡張逆時間SDEとして定式化し、ODEやSDEへの事前探索を統一する。 我々は, 高速かつトレーニング不要なサンプル装置ER-SDE-rsを考案し, 全サンプル装置の最先端性能を実現した。
  論文  参考訳（メタデータ） (2023-09-12T12:27:17Z)
• Separable Physics-Informed Neural Networks [6.439575695132489]
  PINNのためのネットワークアーキテクチャとトレーニングアルゴリズムを提案する。 SPINNは、多次元PDEにおけるネットワーク伝播数を著しく削減するために、軸単位で動作している。 そこで, SPINN は, 2+1-d Navier-Stokes 方程式を, より高速に解けることを示す。
  論文  参考訳（メタデータ） (2023-06-28T07:11:39Z)
• Averaging Spatio-temporal Signals using Optimal Transport and Soft Alignments [110.79706180350507]
  Fr'teche は双対性を意味し, 時間的バレシェセンタを定義するために提案した損失が有効であることを示す。 手書き文字と脳画像データによる実験は、我々の理論的発見を裏付けるものである。
  論文  参考訳（メタデータ） (2022-03-11T09:46:22Z)
• The KFIoU Loss for Rotated Object Detection [115.334070064346]
  本稿では,SkewIoU損失とトレンドレベルアライメントを両立できる近似的損失を考案する上で,有効な方法の1つとして論じる。 具体的には、対象をガウス分布としてモデル化し、SkewIoUのメカニズムを本質的に模倣するためにカルマンフィルタを採用する。 KFIoUと呼ばれる新たな損失は実装が容易で、正確なSkewIoUよりもうまく動作する。
  論文  参考訳（メタデータ） (2022-01-29T10:54:57Z)
• PDE-constrained Models with Neural Network Terms: Optimization and Global Convergence [0.0]
  近年の研究では、ディープラーニングを用いて、科学と工学における偏微分方程式(PDE)モデルを開発した。 ニューラルネットワークを用いた線形楕円型PDEの最適化について厳密に研究する。 ニューラルネットワークは,レイノルズ平均ナヴィエ・ストークス方程式の閉包モデルとして機能する流体力学への応用のために,ニューラルネットワークモデルを訓練する。
  論文  参考訳（メタデータ） (2021-05-18T16:04:33Z)
• EBBINNOT: A Hardware Efficient Hybrid Event-Frame Tracker for Stationary Dynamic Vision Sensors [5.674895233111088]
  本稿では,静止型ニューロモルフィックセンサによって記録された物体を検知・追跡するための複合イベントフレーム手法を提案する。 静的DVSの背景除去特性を活用するために,フレーム内のイベントの有無を通知するイベントベースバイナリ画像生成を提案する。 静止DVSベースのトラフィック監視ソリューションが、同時に記録されたRGBフレームベースの方法と比較されるのは、これが初めてである。
  論文  参考訳（メタデータ） (2020-05-31T03:01:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。