論文の概要: Guided Masked Self-Distillation Modeling for Distributed Multimedia Sensor Event Analysis
- arxiv url: http://arxiv.org/abs/2404.08264v1
- Date: Fri, 12 Apr 2024 06:23:48 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-15 15:45:46.115026
- Title: Guided Masked Self-Distillation Modeling for Distributed Multimedia Sensor Event Analysis
- Title(参考訳): 分散マルチメディアセンサイベント解析のための誘導マスク型自己蒸留モデル
- Authors: Masahiro Yasuda, Noboru Harada, Yasunori Ohishi, Shoichiro Saito, Akira Nakayama, Nobutaka Ono,
- Abstract要約: 本稿では,センサ間関係モデリングのためのガイドメイドsELf-Distillation Modeling (Guided-MELD)を提案する。
Guided-MELDは、断片化された、または冗長なターゲットイベント情報を効果的に蒸留できるように設計されている。
- 参考スコア(独自算出の注目度): 27.780058825326012
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Observations with distributed sensors are essential in analyzing a series of human and machine activities (referred to as 'events' in this paper) in complex and extensive real-world environments. This is because the information obtained from a single sensor is often missing or fragmented in such an environment; observations from multiple locations and modalities should be integrated to analyze events comprehensively. However, a learning method has yet to be established to extract joint representations that effectively combine such distributed observations. Therefore, we propose Guided Masked sELf-Distillation modeling (Guided-MELD) for inter-sensor relationship modeling. The basic idea of Guided-MELD is to learn to supplement the information from the masked sensor with information from other sensors needed to detect the event. Guided-MELD is expected to enable the system to effectively distill the fragmented or redundant target event information obtained by the sensors without being overly dependent on any specific sensors. To validate the effectiveness of the proposed method in novel tasks of distributed multimedia sensor event analysis, we recorded two new datasets that fit the problem setting: MM-Store and MM-Office. These datasets consist of human activities in a convenience store and an office, recorded using distributed cameras and microphones. Experimental results on these datasets show that the proposed Guided-MELD improves event tagging and detection performance and outperforms conventional inter-sensor relationship modeling methods. Furthermore, the proposed method performed robustly even when sensors were reduced.
- Abstract(参考訳): 分散センサを用いた観測は、複雑で広範囲な実環境下での一連の人間と機械の活動(この論文では「イベント」と呼ばれる)の分析に不可欠である。
これは、単一のセンサから得られる情報が、そのような環境で欠落したり断片化されたりすることが多いためであり、複数の位置やモードからの観測を総合的に分析するために統合する必要がある。
しかし、そのような分散観測を効果的に組み合わせた共同表現を抽出する学習方法はまだ確立されていない。
そこで本研究では,センサ間関係モデリングのためのガイドメイドsELf-Distillation Modeling (Guided-MELD)を提案する。
Guided-MELDの基本的な考え方は、イベントを検出するのに必要な他のセンサーからの情報をマスクされたセンサーから補うことにある。
Guided-MELDは、特定のセンサに過度に依存することなく、センサによって得られた断片化された、または冗長なターゲットイベント情報を効果的に蒸留できるように設計されている。
分散マルチメディアセンサイベント分析の新しいタスクにおける提案手法の有効性を検証するため,MM-Store と MM-Office の2つの新しいデータセットを作成した。
これらのデータセットは、分散カメラとマイクを使用して記録されたコンビニエンスストアとオフィスでのヒューマンアクティビティで構成されている。
これらのデータセットを用いた実験結果から,提案したガイド-MELDはイベントタギングと検出性能を改善し,従来のセンサ間関係モデルよりも優れた性能を示した。
さらに,センサを小さくしても頑健に動作した。
関連論文リスト
- Efficient Multi-Resolution Fusion for Remote Sensing Data with Label
Uncertainty [0.7832189413179361]
本稿では,画素レベルのトレーニングラベルを必要とせず,マルチモーダル・マルチレゾリューションリモートセンサデータを融合する新しい手法を提案する。
探索空間を削減し,MIMRFフレームワークの効率を大幅に改善する二元ファジィ測度に基づく新しい手法を提案する。
論文 参考訳(メタデータ) (2024-02-07T17:34:32Z) - Physical-Layer Semantic-Aware Network for Zero-Shot Wireless Sensing [74.12670841657038]
デバイスレスワイヤレスセンシングは、幅広い没入型人間機械対話型アプリケーションをサポートする可能性から、近年、大きな関心を集めている。
無線信号におけるデータの均一性と分散センシングにおけるデータプライバシ規制は、広域ネットワークシステムにおける無線センシングの広範な適用を妨げる主要な課題であると考えられている。
そこで本研究では,ラベル付きデータを使わずに,一箇所ないし限られた箇所で構築されたモデルを直接他の場所に転送できるゼロショット無線センシングソリューションを提案する。
論文 参考訳(メタデータ) (2023-12-08T13:50:30Z) - Innovative Horizons in Aerial Imagery: LSKNet Meets DiffusionDet for
Advanced Object Detection [55.2480439325792]
本稿では,LSKNetのバックボーンをDiffusionDetヘッドに統合したオブジェクト検出モデルの詳細な評価を行う。
提案手法は平均精度(MAP)を約45.7%向上させる。
この進歩は、提案された修正の有効性を強調し、航空画像解析の新しいベンチマークを設定する。
論文 参考訳(メタデータ) (2023-11-21T19:49:13Z) - ChemVise: Maximizing Out-of-Distribution Chemical Detection with the
Novel Application of Zero-Shot Learning [60.02503434201552]
本研究は,簡単な学習セットから複雑な露光の学習近似を提案する。
合成センサ応答に対するこのアプローチは, 分布外の化学分析物の検出を驚くほど改善することを示した。
論文 参考訳(メタデータ) (2023-02-09T20:19:57Z) - Attention-Based Sensor Fusion for Human Activity Recognition Using IMU
Signals [4.558966602878624]
本稿では,異なる身体部位に装着した複数のIMUセンサを用いた人体行動認識のための新しいアテンションベースアプローチを提案する。
異なる身体位置におけるセンサの重要性を学習し、注意に基づく融合機構を開発し、注意的特徴表現を生成する。
提案手法は,5つの公開データセットを用いて評価し,多種多様な活動カテゴリにおける最先端の手法より優れている。
論文 参考訳(メタデータ) (2021-12-20T17:00:27Z) - SensiX++: Bringing MLOPs and Multi-tenant Model Serving to Sensory Edge
Devices [69.1412199244903]
エッジデバイス上でMLOpsを統合した,適応モデル実行のためのマルチテナントランタイムを提案する。
S SensiX++は、高度にモジュール化されたコンポーネント化と、明確な抽象化によるデータ操作の外部化と、システム全体のオーケストレーションのためのドキュメント中心の宣言という、2つの基本原則で運用されている。
SensiX++のさまざまな自動化コンポーネントの全体的なスループットと定量化メリットについて報告し、運用の複雑さを著しく低減し、エッジデバイスへの組み込みモデルのデプロイ、アップグレード、再構成、提供の労力を削減する効果を実証する。
論文 参考訳(メタデータ) (2021-09-08T22:06:16Z) - Cell Multi-Bernoulli (Cell-MB) Sensor Control for Multi-object
Search-While-Tracking (SWT) [2.792896573967728]
情報駆動制御は、環境フィードバックに基づいて測定値を最適化できるインテリジェントセンサーの開発に使用できる。
本稿では,マルチオブジェクト探索・追跡のためのセンサ制御に適用可能な,新たなトラクタブルな RFS 予測情報の近似法を提案する。
論文 参考訳(メタデータ) (2021-08-25T13:49:14Z) - On the Role of Sensor Fusion for Object Detection in Future Vehicular
Networks [25.838878314196375]
異なるセンサの組み合わせが車両の移動・運転環境の検出にどのように影響するかを評価します。
最終的な目標は、チャネルに分散するデータの量を最小限に抑える最適な設定を特定することです。
論文 参考訳(メタデータ) (2021-04-23T18:58:37Z) - Semantics-aware Adaptive Knowledge Distillation for Sensor-to-Vision
Action Recognition [131.6328804788164]
本稿では,視覚・センサ・モダリティ(動画)における行動認識を強化するためのフレームワーク,Semantics-Aware Adaptive Knowledge Distillation Networks (SAKDN)を提案する。
SAKDNは複数のウェアラブルセンサーを教師のモダリティとして使用し、RGB動画を学生のモダリティとして使用している。
論文 参考訳(メタデータ) (2020-09-01T03:38:31Z) - Learning Selective Sensor Fusion for States Estimation [47.76590539558037]
本稿では,エンド・ツー・エンドのセンサ・フュージョン・モジュールであるSelectFusionを提案する。
予測中、ネットワークは異なるセンサーモードから潜伏する特徴の信頼性を評価することができる。
我々は、公開データセットと漸進的に劣化したデータセットの両方において、すべての融合戦略を広範囲に評価する。
論文 参考訳(メタデータ) (2019-12-30T20:25:16Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。