論文の概要: An Empirical Evaluation of Neural and Neuro-symbolic Approaches to
Real-time Multimodal Complex Event Detection
- arxiv url: http://arxiv.org/abs/2402.11403v1
- Date: Sat, 17 Feb 2024 23:34:50 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-20 21:35:11.087765
- Title: An Empirical Evaluation of Neural and Neuro-symbolic Approaches to
Real-time Multimodal Complex Event Detection
- Title(参考訳): リアルタイムマルチモーダル複合事象検出におけるニューラルおよびニューロシンボリックアプローチの実証的評価
- Authors: Liying Han, Mani B. Srivastava
- Abstract要約: 従来のエンドツーエンドのニューラルネットワークは、コンテキストサイズや推論能力に制限があるため、長期にわたるイベントに苦労する。
人間の知識を活用するニューラルモデルとシンボリックモデルを統合するニューロシンボリック手法の最近の進歩は、少ないデータでパフォーマンスを向上させることを約束している。
本研究は,複合事象検出(CED)におけるこれらのアプローチの有効性のギャップを解消するものである。
マルチモーダルCEDタスクにおけるニューラル・ニューラル・シンボリック・アーキテクチャの性能について検討し,IMUおよび音響データストリームを分析してCEパターンを認識する。
- 参考スコア(独自算出の注目度): 5.803352384948482
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Robots and autonomous systems require an understanding of complex events
(CEs) from sensor data to interact with their environments and humans
effectively. Traditional end-to-end neural architectures, despite processing
sensor data efficiently, struggle with long-duration events due to limited
context sizes and reasoning capabilities. Recent advances in neuro-symbolic
methods, which integrate neural and symbolic models leveraging human knowledge,
promise improved performance with less data. This study addresses the gap in
understanding these approaches' effectiveness in complex event detection (CED),
especially in temporal reasoning. We investigate neural and neuro-symbolic
architectures' performance in a multimodal CED task, analyzing IMU and acoustic
data streams to recognize CE patterns. Our methodology includes (i) end-to-end
neural architectures for direct CE detection from sensor embeddings, (ii)
two-stage concept-based neural models mapping sensor embeddings to atomic
events (AEs) before CE detection, and (iii) a neuro-symbolic approach using a
symbolic finite-state machine for CE detection from AEs. Empirically, the
neuro-symbolic architecture significantly surpasses purely neural models,
demonstrating superior performance in CE recognition, even with extensive
training data and ample temporal context for neural approaches.
- Abstract(参考訳): ロボットと自律システムは、センサーデータから複雑な事象(CE)を理解して、環境や人間と効果的に対話する必要がある。
従来のエンドツーエンドのニューラルネットワークは、センサーデータを効率的に処理するが、コンテキストサイズや推論能力の制限のため、長期にわたるイベントに苦しむ。
人間の知識を活用したニューラルモデルとシンボリックモデルを統合するニューロシンボリック手法の最近の進歩は、少ないデータでパフォーマンスを改善することを約束している。
本研究では,複合事象検出(CED)におけるこれらのアプローチの有効性の理解のギャップについて考察する。
マルチモーダルCEDタスクにおけるニューラルネットワークおよびニューラルシンボリックアーキテクチャの性能について検討し,IMUおよび音響データストリームを分析してCEパターンを認識する。
私たちの方法論には
i)センサー埋め込みからの直接CE検出のためのエンドツーエンドニューラルネットワークアーキテクチャ
二 CE検出前の原子イベント(AE)にセンサ埋め込みをマッピングする二段階概念に基づくニューラルモデル
3)AEsからのCE検出のためのシンボル有限状態マシンを用いたニューロシンボリックアプローチ。
経験的に、ニューロシンボリックアーキテクチャは純粋に神経モデルを大幅に上回っており、広範なトレーニングデータや神経アプローチのための十分な時間的文脈においても、ce認識において優れた性能を示している。
関連論文リスト
- Exploring Novel Object Recognition and Spontaneous Location Recognition
Machine Learning Analysis Techniques in Alzheimer's Mice [0.0]
本研究は,最先端の計算パイプラインの開発,応用,評価に重点を置いている。
このパイプラインは、初期データ収集のためのAny-Maze、詳細なポーズ推定のためのDeepLabCut、ニュアンスな行動分類のための畳み込みニューラルネットワーク(CNN)の3つの高度な計算モデルを統合する。
論文 参考訳(メタデータ) (2023-12-12T00:54:39Z) - DYNAP-SE2: a scalable multi-core dynamic neuromorphic asynchronous
spiking neural network processor [2.9175555050594975]
我々は、リアルタイムイベントベーススパイキングニューラルネットワーク(SNN)をプロトタイピングするための、脳にインスパイアされたプラットフォームを提案する。
提案システムは, 短期可塑性, NMDA ゲーティング, AMPA拡散, ホメオスタシス, スパイク周波数適応, コンダクタンス系デンドライトコンパートメント, スパイク伝達遅延などの動的および現実的なニューラル処理現象の直接エミュレーションを支援する。
異なる生物学的に可塑性のニューラルネットワークをエミュレートする柔軟性と、個体群と単一ニューロンの信号の両方をリアルタイムで監視する能力により、基礎研究とエッジコンピューティングの両方への応用のための複雑なニューラルネットワークモデルの開発と検証が可能になる。
論文 参考訳(メタデータ) (2023-10-01T03:48:16Z) - A Knowledge-Driven Cross-view Contrastive Learning for EEG
Representation [48.85731427874065]
本稿では,限られたラベルを持つ脳波から効果的な表現を抽出する知識駆動型クロスビューコントラスト学習フレームワーク(KDC2)を提案する。
KDC2法は脳波信号の頭皮と神経のビューを生成し、脳活動の内部および外部の表現をシミュレートする。
ニューラル情報整合性理論に基づく事前のニューラル知識をモデル化することにより、提案手法は不変かつ相補的なニューラル知識を抽出し、複合表現を生成する。
論文 参考訳(メタデータ) (2023-09-21T08:53:51Z) - A Spiking Binary Neuron -- Detector of Causal Links [0.0]
因果関係認識は、学習行動、行動計画、外界ダイナミクスの推論を目的としたニューラルネットワークの基本的な操作である。
本研究は、単純なスパイク二元性ニューロンを用いた因果関係認識を実現するための新しいアプローチを提案する。
論文 参考訳(メタデータ) (2023-09-15T15:34:17Z) - The Expressive Leaky Memory Neuron: an Efficient and Expressive Phenomenological Neuron Model Can Solve Long-Horizon Tasks [64.08042492426992]
本稿では,脳皮質ニューロンの生物学的モデルであるExpressive Memory(ELM)ニューロンモデルを紹介する。
ELMニューロンは、上記の入力-出力関係を1万以下のトレーニング可能なパラメータと正確に一致させることができる。
本稿では,Long Range Arena(LRA)データセットなど,時間構造を必要とするタスクで評価する。
論文 参考訳(メタデータ) (2023-06-14T13:34:13Z) - fMRI from EEG is only Deep Learning away: the use of interpretable DL to
unravel EEG-fMRI relationships [68.8204255655161]
多チャンネル脳波データからいくつかの皮質下領域の活性を回復するための解釈可能な領域基底解を提案する。
我々は,皮質下核の血行動態信号の頭皮脳波予測の空間的・時間的パターンを復元する。
論文 参考訳(メタデータ) (2022-10-23T15:11:37Z) - An intertwined neural network model for EEG classification in
brain-computer interfaces [0.6696153817334769]
脳コンピュータインタフェース(BCI)は、脳とコンピュータまたは外部装置との間の非刺激的直接的、時折双方向通信リンクである。
マルチクラスモータ画像分類における最先端性能を実現するために特別に設計されたディープニューラルネットワークアーキテクチャを提案する。
論文 参考訳(メタデータ) (2022-08-04T09:00:34Z) - Neuro-Symbolic Learning of Answer Set Programs from Raw Data [54.56905063752427]
Neuro-Symbolic AIは、シンボリックテクニックの解釈可能性と、生データから学ぶ深層学習の能力を組み合わせることを目的としている。
本稿では,ニューラルネットワークを用いて生データから潜在概念を抽出するNSIL(Neuro-Symbolic Inductive Learner)を提案する。
NSILは表現力のある知識を学習し、計算的に複雑な問題を解き、精度とデータ効率の観点から最先端のパフォーマンスを達成する。
論文 参考訳(メタデータ) (2022-05-25T12:41:59Z) - Neurosymbolic hybrid approach to driver collision warning [64.02492460600905]
自律運転システムには2つの主要なアルゴリズムアプローチがある。
ディープラーニングだけでは、多くの分野で最先端の結果が得られています。
しかし、ディープラーニングモデルが機能しない場合、デバッグが非常に難しい場合もあります。
論文 参考訳(メタデータ) (2022-03-28T20:29:50Z) - Towards efficient end-to-end speech recognition with
biologically-inspired neural networks [10.457580011403289]
軸-体性および軸-体性シナプスを模擬した神経接続概念を導入する。
我々は,大規模ASRモデルの生物学的に現実的な実装によって,競争性能が向上できることを初めて実証した。
論文 参考訳(メタデータ) (2021-10-04T21:24:10Z) - Emotional EEG Classification using Connectivity Features and
Convolutional Neural Networks [81.74442855155843]
CNNと脳のつながりを利用した新しい分類システムを導入し,その効果を感情映像分類により検証する。
対象映像の感情的特性に関連する脳接続の集中度は分類性能と相関する。
論文 参考訳(メタデータ) (2021-01-18T13:28:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。