論文の概要: NSF-MAP: Neurosymbolic Multimodal Fusion for Robust and Interpretable Anomaly Prediction in Assembly Pipelines

• arxiv url: http://arxiv.org/abs/2505.06333v1
• Date: Fri, 09 May 2025 16:50:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-13 20:21:48.793361
• Title: NSF-MAP: Neurosymbolic Multimodal Fusion for Robust and Interpretable Anomaly Prediction in Assembly Pipelines
• Title（参考訳）: NSF-MAP: 組立管のロバストおよび解釈可能な異常予測のためのニューロシンボリック・マルチモーダルフュージョン
• Authors: Chathurangi Shyalika, Renjith Prasad, Fadi El Kalach, Revathy Venkataramanan, Ramtin Zand, Ramy Harik, Amit Sheth,
• Abstract要約: 本稿では,組立パイプラインにおける多モード異常予測のためのニューロシンボリックAIと融合に基づくアプローチを提案する。 決定レベル融合技術を利用した時系列および画像ベース融合モデルを提案する。 その結果,伝達学習を用いたニューロシンボリックAIベースの融合アプローチは,時系列データと画像データの相補的強みを効果的に活用できることが示唆された。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In modern assembly pipelines, identifying anomalies is crucial in ensuring product quality and operational efficiency. Conventional single-modality methods fail to capture the intricate relationships required for precise anomaly prediction in complex predictive environments with abundant data and multiple modalities. This paper proposes a neurosymbolic AI and fusion-based approach for multimodal anomaly prediction in assembly pipelines. We introduce a time series and image-based fusion model that leverages decision-level fusion techniques. Our research builds upon three primary novel approaches in multimodal learning: time series and image-based decision-level fusion modeling, transfer learning for fusion, and knowledge-infused learning. We evaluate the novel method using our derived and publicly available multimodal dataset and conduct comprehensive ablation studies to assess the impact of our preprocessing techniques and fusion model compared to traditional baselines. The results demonstrate that a neurosymbolic AI-based fusion approach that uses transfer learning can effectively harness the complementary strengths of time series and image data, offering a robust and interpretable approach for anomaly prediction in assembly pipelines with enhanced performance. \noindent The datasets, codes to reproduce the results, supplementary materials, and demo are available at https://github.com/ChathurangiShyalika/NSF-MAP.
• Abstract（参考訳）: 現代の組立パイプラインでは、異常の特定は製品の品質と運用効率の確保に不可欠である。 従来の単一モダリティ法は、豊富なデータと複数のモダリティを持つ複雑な予測環境において、正確な異常予測に必要な複雑な関係を捉えることができない。 本稿では,組立パイプラインにおける多モード異常予測のためのニューロシンボリックAIと融合に基づくアプローチを提案する。 決定レベル融合技術を利用した時系列および画像ベース融合モデルを提案する。 本研究は、時系列と画像に基づく意思決定レベルの融合モデリング、融合のための伝達学習、知識注入学習の3つの新しいアプローチに基づく。 提案手法は,従来のベースラインと比較して,前処理技術と融合モデルの影響を評価するため,提案手法を導出し,一般公開したマルチモーダルデータセットを用いて評価し,包括的なアブレーション研究を行う。 その結果, 伝達学習を用いたニューロシンボリックAIベースの融合アプローチは, 時系列と画像データの相補的強度を効果的に活用し, 高性能な組立パイプラインにおける異常予測のための堅牢かつ解釈可能なアプローチを提供することを示した。 データセット、結果の再現のためのコード、追加資料、デモはhttps://github.com/ChathurangiShyalika/NSF-MAP.orgで公開されている。

関連論文リスト

• Towards Precision Healthcare: Robust Fusion of Time Series and Image Data [8.579651833717763]
  本稿では,データの種類毎に2つのエンコーダを用いて,視覚情報と時間情報の両方において複雑なパターンをモデル化する手法を提案する。 また、不均衡なデータセットに対処し、不確実性損失関数を使用し、改善した結果を得る。 本手法は,臨床応用におけるマルチモーダルディープラーニングの改善に有効であることを示す。
  論文  参考訳（メタデータ） (2024-05-24T11:18:13Z)
• Application of Multimodal Fusion Deep Learning Model in Disease Recognition [14.655086303102575]
  本稿では,従来の単一モーダル認識手法の欠点を克服する,革新的なマルチモーダル融合深層学習手法を提案する。 特徴抽出段階では、画像ベース、時間的、構造化されたデータソースから高度な特徴を抽出するために最先端のディープラーニングモデルを適用する。 その結果, マルチモーダル融合モデルにおいて, 複数の評価指標にまたがる大きな利点が示された。
  論文  参考訳（メタデータ） (2024-05-22T23:09:49Z)
• Fuse It or Lose It: Deep Fusion for Multimodal Simulation-Based Inference [3.045422936743619]
  MultiNPEは、シミュレーションベースの推論において、異なるソースからの異種データをニューラルネットワークと統合する手法である。 我々は,MultiNPEの3つの融合手法を検討し,その性能を3つの挑戦実験で評価した。
  論文  参考訳（メタデータ） (2023-11-17T17:43:11Z)
• HEALNet: Multimodal Fusion for Heterogeneous Biomedical Data [10.774128925670183]
  本稿では,フレキシブルなマルチモーダル融合アーキテクチャであるHybrid Early-fusion Attention Learning Network (HEALNet)を提案する。 The Cancer Genome Atlas (TCGA) の4つのがんデータセットにおける全スライド画像と多モードデータを用いたマルチモーダルサバイバル解析を行った。 HEALNetは、他のエンドツーエンドの訓練された融合モデルと比較して最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2023-11-15T17:06:26Z)
• StableLLaVA: Enhanced Visual Instruction Tuning with Synthesized Image-Dialogue Data [129.92449761766025]
  本稿では,視覚的インストラクションチューニングのための画像と対話を同期的に合成する新しいデータ収集手法を提案する。 このアプローチは生成モデルのパワーを活用し、ChatGPTとテキスト・ツー・イメージ生成モデルの能力とを結合する。 本研究は,各種データセットを対象とした総合的な実験を含む。
  論文  参考訳（メタデータ） (2023-08-20T12:43:52Z)
• Ensemble Modeling for Multimodal Visual Action Recognition [50.38638300332429]
  マルチモーダル動作認識のためのアンサンブルモデリング手法を提案する。 我々は,MECCANO[21]データセットの長期分布を処理するために,焦点損失の変種を用いて,個別のモダリティモデルを個別に訓練する。
  論文  参考訳（メタデータ） (2023-08-10T08:43:20Z)
• Integrating Large Pre-trained Models into Multimodal Named Entity Recognition with Evidential Fusion [31.234455370113075]
  本稿では,MNERタスクに不確実性推定を取り入れ,信頼に値する予測を生成することを提案する。 提案アルゴリズムは,各モードの分布を正規逆ガンマ分布としてモデル化し,それらを統一分布に融合する。 2つのデータセットの実験により,提案手法がベースラインを上回り,新しい最先端性能を実現することを示す。
  論文  参考訳（メタデータ） (2023-06-29T14:50:23Z)
• DDFM: Denoising Diffusion Model for Multi-Modality Image Fusion [144.9653045465908]
  拡散確率モデル(DDPM)に基づく新しい融合アルゴリズムを提案する。 近赤外可視画像融合と医用画像融合で有望な融合が得られた。
  論文  参考訳（メタデータ） (2023-03-13T04:06:42Z)
• Bi-Bimodal Modality Fusion for Correlation-Controlled Multimodal Sentiment Analysis [96.46952672172021]
  Bi-Bimodal Fusion Network (BBFN) は、2対のモダリティ表現で融合を行う新しいエンドツーエンドネットワークである。 モデルは、モダリティ間の既知の情報不均衡により、2つのバイモーダルペアを入力として取る。
  論文  参考訳（メタデータ） (2021-07-28T23:33:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。