論文の概要: Multimodal Anomaly Detection for Human-Robot Interaction

• arxiv url: http://arxiv.org/abs/2604.09326v1
• Date: Fri, 10 Apr 2026 13:51:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-13 17:57:53.890875
• Title: Multimodal Anomaly Detection for Human-Robot Interaction
• Title（参考訳）: 人間-ロボットインタラクションのためのマルチモーダル異常検出
• Authors: Guilherme Ribeiro, Iordanis Antypas, Leonardo Bizzaro, João Bimbo, Nuno Cruz Garcia,
• Abstract要約: 本稿では,ビデオストリームを意味論的に意味のある特徴ベクトルに変換して,再構成に基づく異常検出を行うフレームワークを提案する。 これらの視覚特徴ベクトルを、ロボットの内部センサーの読み取りとシーングラフで拡張することで、モデルが視覚環境における外部異常とロボット内部の障害の両方を捉えることができる。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Ensuring safety and reliability in human-robot interaction (HRI) requires the timely detection of unexpected events that could lead to system failures or unsafe behaviours. Anomaly detection thus plays a critical role in enabling robots to recognize and respond to deviations from normal operation during collaborative tasks. While reconstruction models have been actively explored in HRI, approaches that operate directly on feature vectors remain largely unexplored. In this work, we propose MADRI, a framework that first transforms video streams into semantically meaningful feature vectors before performing reconstruction-based anomaly detection. Additionally, we augment these visual feature vectors with the robot's internal sensors' readings and a Scene Graph, enabling the model to capture both external anomalies in the visual environment and internal failures within the robot itself. To evaluate our approach, we collected a custom dataset consisting of a simple pick-and-place robotic task under normal and anomalous conditions. Experimental results demonstrate that reconstruction on vision-based feature vectors alone is effective for detecting anomalies, while incorporating other modalities further improves detection performance, highlighting the benefits of multimodal feature reconstruction for robust anomaly detection in human-robot collaboration.
• Abstract（参考訳）: HRI(Human-robot Interaction)の安全性と信頼性を保証するには、システム障害や安全でない動作につながる可能性のある予期せぬ事象をタイムリーに検出する必要がある。 したがって、異常検出は、ロボットが協調作業中の通常の操作からの逸脱を認識し、応答できるようにする上で重要な役割を果たす。 再構成モデルはHRIで盛んに研究されているが,特徴ベクトルを直接操作するアプローチは未解明のままである。 本研究では,映像ストリームを意味的に意味のある特徴ベクトルに変換するためのフレームワークMADRIを提案する。 さらに、これらの視覚特徴ベクトルを、ロボットの内部センサーの読み取りとシーングラフで強化し、モデルが視覚環境における外部異常とロボット内部の障害の両方をキャプチャできるようにする。 提案手法を評価するため,通常および異常条件下での単純なピック・アンド・プレイス・ロボットタスクからなるカスタムデータセットを収集した。 実験結果から,視覚に基づく特徴ベクトルのみの再構成は異常検出に有効であるが,他のモダリティを組み込むことで検出性能が向上し,人間ロボットコラボレーションにおける堅牢な異常検出のためのマルチモーダル特徴ベクトル再構成のメリットが強調された。

関連論文リスト

• Event-Level Detection of Surgical Instrument Handovers in Videos with Interpretable Vision Models [32.17113044802459]
  手術ビデオにおける機器ハンドオーバの事象レベルの検出と方向分類のための視覚フレームワークを提案する。 統一マルチタスク定式化は、ハンドオーバの発生と相互作用方向を共同で予測する。 腎臓移植術のデータセットに関する実験は、強い性能を示す。
  論文  参考訳（メタデータ） (2026-04-08T20:31:28Z)
• Pro-HOI: Perceptive Root-guided Humanoid-Object Interaction [57.252599851031505]
  本稿では,知覚根誘導型ヒューマノイドオブジェクトインタラクション,Pro-HOIを紹介する。 Pro-HOIは、堅牢なヒューマノイドロコ操作のための一般化可能なフレームワークである。 ユニツリーG1ロボットの実証検証は、Pro-HOIが一般化と堅牢性においてベースラインを著しく上回っていることを示す。
  論文  参考訳（メタデータ） (2026-03-01T14:19:59Z)
• Zero-shot HOI Detection with MLLM-based Detector-agnostic Interaction Recognition [71.5328300638085]
  Zero-shot Human-Object Interaction (HOI) は、画像中の人間と物体を特定し、その相互作用を認識することを目的としている。 2段階法を含む既存の手法は、特定の検出器との相互作用認識を密に結合する。 本稿では、オブジェクト検出をIRから分離し、マルチモーダル大言語モデル(MLLM)をゼロショットIRに活用する分離フレームワークを提案する。
  論文  参考訳（メタデータ） (2026-02-16T19:01:31Z)
• Efficient Surgical Robotic Instrument Pose Reconstruction in Real World Conditions Using Unified Feature Detection [21.460727996614704]
  MISロボットは、長いキネマティックチェーンを持ち、カメラ内の自由度を部分的に可視化する。 本稿では,共有符号化による幾何学的プリミティブの検出を統一する新しいフレームワークを提案する。 このアーキテクチャは、1つの推論でキーポイントとエッジの両方を検出し、射影ラベル付き大規模合成データに基づいて訓練される。
  論文  参考訳（メタデータ） (2025-10-03T22:03:28Z)
• Self-Supervised Masked Convolutional Transformer Block for Anomaly Detection [122.4894940892536]
  本稿では, 自己監督型マスク型畳み込み変圧器ブロック (SSMCTB) について述べる。 本研究では,従来の自己教師型予測畳み込み抑止ブロック(SSPCAB)を3次元マスク付き畳み込み層,チャンネルワイドアテンション用トランスフォーマー,およびハマーロスに基づく新たな自己教師型目標を用いて拡張する。
  論文  参考訳（メタデータ） (2022-09-25T04:56:10Z)
• An Outlier Exposure Approach to Improve Visual Anomaly Detection Performance for Mobile Robots [76.36017224414523]
  移動ロボットの視覚異常検出システム構築の問題点を考察する。 標準異常検出モデルは、非異常データのみからなる大規模なデータセットを用いて訓練される。 本研究では,これらのデータを利用してリアルNVP異常検出モデルの性能向上を図る。
  論文  参考訳（メタデータ） (2022-09-20T15:18:13Z)
• Proactive Anomaly Detection for Robot Navigation with Multi-Sensor Fusion [7.293053431456775]
  移動ロボットは異常な動作を生成し、ナビゲーション障害を引き起こす。 反応異常検出法は、現在のロボットの状態に基づいて異常なタスク実行を識別する。 本研究では,非構造的かつ不確実な環境下でのロボットナビゲーションのための能動的異常検出ネットワーク(PAAD)を提案する。
  論文  参考訳（メタデータ） (2022-04-03T19:48:40Z)
• Risk-Sensitive Sequential Action Control with Multi-Modal Human Trajectory Forecasting for Safe Crowd-Robot Interaction [55.569050872780224]
  本稿では,リスクに敏感な最適制御に基づく安全な群集ロボットインタラクションのためのオンラインフレームワークを提案し,そのリスクをエントロピーリスク尺度でモデル化する。 私たちのモジュラーアプローチは、クラウドとロボットの相互作用を学習ベースの予測とモデルベースの制御に分離します。 シミュレーション研究と実世界の実験により、このフレームワークは、現場にいる50人以上の人間との衝突を避けながら、安全で効率的なナビゲーションを実現することができることが示された。
  論文  参考訳（メタデータ） (2020-09-12T02:02:52Z)
• Wavelet-based temporal models of human activity for anomaly detection in smart robot-assisted environments [2.299866262521074]
  本稿では,スマートホームセンサを用いた長期人間の活動の時間的モデリング手法を提案する。 このモデルはウェーブレット変換に基づいており、スマートセンサーデータの予測に使われ、人間の環境における予期せぬ事象を検出するための時間的前兆を提供する。
  論文  参考訳（メタデータ） (2020-02-26T14:08:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。