論文の概要: Efficient Video and Audio processing with Loihi 2

• arxiv url: http://arxiv.org/abs/2310.03251v1
• Date: Thu, 5 Oct 2023 01:56:03 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-06 19:38:49.422614
• Title: Efficient Video and Audio processing with Loihi 2
• Title（参考訳）: Loihi 2による効率的なビデオ・オーディオ処理
• Authors: Sumit Bam Shrestha, Jonathan Timcheck, Paxon Frady, Leobardo Campos-Macias, Mike Davies
• Abstract要約: Loihi 2は、ニューロモルフィックアーキテクチャのいくつかの基本的な要素を一般化する、非同期で脳にインスパイアされた研究プロセッサである。 ここでは、標準的なビデオ、オーディオ、信号処理タスクに適用された、これらの一般化のいくつかを探索し、特徴付けする。 これらの新しいニューロモルフィックアプローチは、効率性と遅延の組合せにおいて、桁違いの利得が得られることが判明した。
• 参考スコア（独自算出の注目度）: 2.1372972256285947
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Loihi 2 is an asynchronous, brain-inspired research processor that generalizes several fundamental elements of neuromorphic architecture, such as stateful neuron models communicating with event-driven spikes, in order to address limitations of the first generation Loihi. Here we explore and characterize some of these generalizations, such as sigma-delta encapsulation, resonate-and-fire neurons, and integer-valued spikes, as applied to standard video, audio, and signal processing tasks. We find that these new neuromorphic approaches can provide orders of magnitude gains in combined efficiency and latency (energy-delay-product) for feed-forward and convolutional neural networks applied to video, audio denoising, and spectral transforms compared to state-of-the-art solutions.
• Abstract（参考訳）: Loihi 2は、第1世代のLoihiの限界に対応するために、イベント駆動スパイクと通信するステートフルニューロンモデルのような、ニューロモルフィックアーキテクチャの基本的な要素を一般化する、非同期で脳にインスパイアされた研究プロセッサである。 ここでは、標準的なビデオ、オーディオ、信号処理タスクに適用された、シグマデルタカプセル化、共振および発火ニューロン、整数値スパイクなど、これらの一般化のいくつかを探索し、特徴付ける。 これらのニューロモルフィックなアプローチは,映像,音声,スペクトル変換に適用されるフィードフォワードおよび畳み込みニューラルネットワークの効率とレイテンシ(エネルギー遅延生成)を,最先端のソリューションと比較して桁違いに向上させることができる。

関連論文リスト

• Neuromorphic Wireless Split Computing with Multi-Level Spikes [69.73249913506042]
  ニューロモルフィックコンピューティングでは、スパイクニューラルネットワーク(SNN)が推論タスクを実行し、シーケンシャルデータを含むワークロードの大幅な効率向上を提供する。 ハードウェアとソフトウェアの最近の進歩は、スパイクニューロン間で交換された各スパイクに数ビットのペイロードを埋め込むことにより、推論精度をさらに高めることを示した。 本稿では,マルチレベルSNNを用いた無線ニューロモルフィック分割計算アーキテクチャについて検討する。
  論文  参考訳（メタデータ） (2024-11-07T14:08:35Z)
• Exploring neural oscillations during speech perception via surrogate gradient spiking neural networks [59.38765771221084]
  本稿では、ディープラーニングフレームワークと互換性があり、スケーラブルな、生理学的にインスパイアされた音声認識アーキテクチャを提案する。 本研究では, 終末から終末までの勾配降下訓練が, 中枢スパイク神経ネットワークにおける神経振動の出現に繋がることを示す。 本研究は, スパイク周波数適応やリカレント接続などのフィードバック機構が, 認識性能を向上させるために, 神経活動の調節と同期に重要な役割を担っていることを明らかにする。
  論文  参考訳（メタデータ） (2024-04-22T09:40:07Z)
• Surrogate Gradient Spiking Neural Networks as Encoders for Large Vocabulary Continuous Speech Recognition [91.39701446828144]
  スパイクニューラルネットワークは, 代理勾配法を用いて, 通常のリカレントニューラルネットワークのように訓練可能であることを示す。 彼らは音声コマンド認識タスクについて有望な結果を示した。 繰り返し発生する非スパイキングとは対照的に、ゲートを使わずに爆発する勾配問題に対して堅牢性を示す。
  論文  参考訳（メタデータ） (2022-12-01T12:36:26Z)
• FastLTS: Non-Autoregressive End-to-End Unconstrained Lip-to-Speech Synthesis [77.06890315052563]
  我々は、低レイテンシで非拘束音声から高品質な音声を直接合成できる非自己回帰的エンドツーエンドモデルであるFastLTSを提案する。 実験により,本モデルは3秒の入力シーケンスにおける現在の自己回帰モデルと比較して,音声生成の19.76倍の高速化を実現していることがわかった。
  論文  参考訳（メタデータ） (2022-07-08T10:10:39Z)
• Stochastic resonance neurons in artificial neural networks [0.0]
  アーキテクチャの固有部分として共鳴を用いた新しいタイプのニューラルネットワークを提案する。 このようなニューラルネットワークは、ノイズの影響に対してより堅牢であることを示す。
  論文  参考訳（メタデータ） (2022-05-06T18:42:36Z)
• Coarse-to-Fine Video Denoising with Dual-Stage Spatial-Channel Transformer [29.03463312813923]
  Video Denoisingは、ノイズの多いビデオから高品質なフレームを復元することを目的としている。 既存のほとんどのアプローチでは、畳み込みニューラルネットワーク(CNN)を使用して、ノイズを元の視覚コンテンツから分離する。 粗大な映像をデノナイズするためのDual-stage Spatial-Channel Transformer (DSCT)を提案する。
  論文  参考訳（メタデータ） (2022-04-30T09:01:21Z)
• NeuralDPS: Neural Deterministic Plus Stochastic Model with Multiband Excitation for Noise-Controllable Waveform Generation [67.96138567288197]
  本稿では,高い音声品質を保ち,高い合成効率とノイズ制御性を得ることができるニューラルDPSというニューラルボコーダを提案する。 ウェーブネットのボコーダより少なくとも280倍高速な波形を生成する。 また、単一コア上でのWaveGANの合成効率よりも28%高速である。
  論文  参考訳（メタデータ） (2022-03-05T08:15:29Z)
• Event Neural Networks [13.207573300016277]
  イベントニューラルネットワーク(EvNets)は、繰り返しを利用して、ビデオ推論タスクの大幅な削減を実現する。 従来のニューラルネットを仮想的にEvNetに変換することは可能であることを示す。 本研究では,高レベルかつ低レベルの視覚処理において,最先端のニューラルネットワークにおける本手法の有効性を実証する。
  論文  参考訳（メタデータ） (2021-12-02T00:08:48Z)
• Efficient Neuromorphic Signal Processing with Loihi 2 [6.32784133039548]
  本稿では, 短時間フーリエ変換(STFT)を従来のSTFTの47倍の出力帯域幅で計算する方法を示す。 また、音声分類タスクのためのRFニューロンのトレーニングのためのバックプロパゲーションを用いた有望な予備結果を示す。
  論文  参考訳（メタデータ） (2021-11-05T22:37:05Z)
• AD-NeRF: Audio Driven Neural Radiance Fields for Talking Head Synthesis [55.24336227884039]
  高忠実な会話ヘッドビデオを生成するための新しいフレームワークを紹介します。 音声入力と映像出力のギャップを埋めるために,ニューラルシーン表現ネットワークを用いる。 本フレームワークは,(1)高い忠実度と自然な結果を生み出すことができ,(2)音声信号,視線方向,背景画像の自由な調整をサポートする。
  論文  参考訳（メタデータ） (2021-03-20T02:58:13Z)
• Understanding and mitigating noise in trained deep neural networks [0.0]
  学習された完全連結層における雑音性非線形ニューロンからなるディープニューラルネットワークにおける雑音の伝搬について検討した。 ノイズ蓄積は一般に束縛されており、追加のネットワーク層を追加しても信号の雑音比が限界を超えないことがわかった。 我々は、ノイズ耐性を持つ新しいニューラルネットワークハードウェアを設計できる基準を特定した。
  論文  参考訳（メタデータ） (2021-03-12T17:16:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。