論文の概要: EmbraceNet for Activity: A Deep Multimodal Fusion Architecture for
Activity Recognition
- arxiv url: http://arxiv.org/abs/2004.13918v1
- Date: Wed, 29 Apr 2020 01:54:28 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-08 13:17:02.767089
- Title: EmbraceNet for Activity: A Deep Multimodal Fusion Architecture for
Activity Recognition
- Title(参考訳): EmbraceNet for Activity: アクティビティ認識のための深いマルチモーダル融合アーキテクチャ
- Authors: Jun-Ho Choi, Jong-Seok Lee
- Abstract要約: 本稿では,最近提案されたEmbraceNetという機能融合アーキテクチャに基づく,アクティビティ認識のための深層マルチモーダル融合モデルを提案する。
我々のモデルは、各センサデータを独立に処理し、EmbraceNetアーキテクチャと機能を結合し、融合した機能を後処理してアクティビティを予測する。
チーム名「Yonsei-MCML」を用いて,提案したモデルから得られた結果をSHL認識課題に提出する。
- 参考スコア(独自算出の注目度): 31.19081370896609
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Human activity recognition using multiple sensors is a challenging but
promising task in recent decades. In this paper, we propose a deep multimodal
fusion model for activity recognition based on the recently proposed feature
fusion architecture named EmbraceNet. Our model processes each sensor data
independently, combines the features with the EmbraceNet architecture, and
post-processes the fused feature to predict the activity. In addition, we
propose additional processes to boost the performance of our model. We submit
the results obtained from our proposed model to the SHL recognition challenge
with the team name "Yonsei-MCML."
- Abstract(参考訳): 複数のセンサーを用いた人間の行動認識は、ここ数十年で難しいが有望な課題だ。
本稿では,最近提案されたEmbraceNetという機能融合アーキテクチャに基づく,アクティビティ認識のための深層マルチモーダル融合モデルを提案する。
当社のモデルでは,各センサデータを独立して処理し,機能とacceptnetアーキテクチャを組み合わせることで,融合した機能を処理してアクティビティを予測する。
さらに,モデルの性能を向上させるためのプロセスも提案する。
提案したモデルから得られた結果を,チーム名「Yonsei-MCML」を用いてSHL認識課題に提出する。
関連論文リスト
- Multi-modal Semantic Understanding with Contrastive Cross-modal Feature
Alignment [11.897888221717245]
マルチモーダルな特徴アライメントを実現するためのCLIP誘導型コントラスト学習型アーキテクチャを提案する。
我々のモデルはタスク固有の外部知識を使わずに実装が簡単であり、そのため、他のマルチモーダルタスクに容易に移行できる。
論文 参考訳(メタデータ) (2024-03-11T01:07:36Z) - Model Composition for Multimodal Large Language Models [73.70317850267149]
本稿では,既存のMLLMのモデル構成による新しいパラダイムを提案する。
我々の基本的な実装であるNaiveMCは、モダリティエンコーダを再利用し、LLMパラメータをマージすることで、このパラダイムの有効性を実証する。
論文 参考訳(メタデータ) (2024-02-20T06:38:10Z) - Multilinear Operator Networks [60.7432588386185]
ポリノミアルネットワーク(Polynomial Networks)は、アクティベーション関数を必要としないモデルのクラスである。
マルチリニア演算子のみに依存するMONetを提案する。
論文 参考訳(メタデータ) (2024-01-31T16:52:19Z) - Staged Depthwise Correlation and Feature Fusion for Siamese Object
Tracking [0.6827423171182154]
視覚的トラッキングのための特徴抽出をさらに最適化するために,DCFFNet という新たな段階的深度相関と特徴融合ネットワークを提案する。
シアムネットワークアーキテクチャに基づいてディープトラッカーを構築しており、複数の大規模データセットでゼロからトレーニングされたオフラインです。
OTB100,VOT2018,LaSOTなど,一般的なベンチマークにトラッカーを実装した。
論文 参考訳(メタデータ) (2023-10-15T06:04:42Z) - An Empirical Study of Multimodal Model Merging [148.48412442848795]
モデルマージは、異なるタスクでトレーニングされた複数のモデルを融合してマルチタスクソリューションを生成するテクニックである。
我々は、モダリティ固有のアーキテクチャのビジョン、言語、およびクロスモーダルトランスフォーマーをマージできる新しい目標に向けて研究を行っている。
本稿では,重み間の距離を推定し,マージ結果の指標となる2つの指標を提案する。
論文 参考訳(メタデータ) (2023-04-28T15:43:21Z) - Named Entity and Relation Extraction with Multi-Modal Retrieval [51.660650522630526]
マルチモーダルな名前付きエンティティ認識(NER)と関係抽出(RE)は、関連画像情報を活用してNERとREの性能を向上させることを目的としている。
新たなマルチモーダル検索フレームワーク(MoRe)を提案する。
MoReはテキスト検索モジュールと画像ベースの検索モジュールを含み、入力されたテキストと画像の関連知識をそれぞれ知識コーパスで検索する。
論文 参考訳(メタデータ) (2022-12-03T13:11:32Z) - Improving Multimodal Fusion with Hierarchical Mutual Information
Maximization for Multimodal Sentiment Analysis [16.32509144501822]
本稿では,MultiModal InfoMax (MMIM) というフレームワークを提案する。
このフレームワークは、下流のMSAタスクのパフォーマンスを改善するために、メインタスク(MSA)と共同で訓練されている。
論文 参考訳(メタデータ) (2021-09-01T14:45:16Z) - Spatio-Temporal Human Action Recognition Modelwith Flexible-interval
Sampling and Normalization [0.0]
設計モジュールを用いた赤緑色(RGB)ビデオ入力のためのヒューマンアクションシステムを提案する。
我々は、人間のキーポイント予測と行動認識の両方に対して、類似した背景と差別的な行動を持つ新しいデータセットを構築した。
実験により,提案モデルの有効性を,我々の行動認識データセットといくつかの公開データセットで実証した。
論文 参考訳(メタデータ) (2021-08-12T10:02:20Z) - Spatial-Temporal Alignment Network for Action Recognition and Detection [80.19235282200697]
本稿では,行動認識と検出を支援する視点不変の特徴表現を導入する方法について検討する。
本稿では,行動認識と行動検出のための幾何学的不変表現の学習を目的とした,空間時間アライメントネットワーク(STAN)を提案する。
我々は、AVA、Kinetics-400、AVA-Kinetics、Charades、Charades-EgoのデータセットでSTANモデルを広範囲にテストした。
論文 参考訳(メタデータ) (2020-12-04T06:23:40Z) - Multi-modal Fusion for Single-Stage Continuous Gesture Recognition [45.19890687786009]
テンポラル・マルチモーダル・フュージョン(TMMF)と呼ばれる単一段階連続ジェスチャー認識フレームワークを導入する。
TMMFは、単一のモデルでビデオ内の複数のジェスチャーを検出し、分類することができる。
このアプローチは、前処理のセグメンテーションステップを必要とせずに、ジェスチャーと非ジェスチャーの自然な遷移を学習する。
論文 参考訳(メタデータ) (2020-11-10T07:09:35Z) - Pose And Joint-Aware Action Recognition [87.4780883700755]
本稿では,まず,共有動作エンコーダを用いて各関節の動作特徴を別々に抽出する,関節に基づく動作認識の新しいモデルを提案する。
私たちのジョイントセレクタモジュールは、そのタスクの最も識別性の高いジョイントを選択するために、ジョイント情報を再重み付けします。
JHMDB, HMDB, Charades, AVA アクション認識データセットにおける最先端のジョイントベースアプローチに対する大きな改善点を示す。
論文 参考訳(メタデータ) (2020-10-16T04:43:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。