論文の概要: Multimodal Contrastive Learning with Hard Negative Sampling for Human
Activity Recognition
- arxiv url: http://arxiv.org/abs/2309.01262v1
- Date: Sun, 3 Sep 2023 20:00:37 GMT
- ステータス: 処理完了
- システム内更新日: 2023-09-06 20:33:31.085354
- Title: Multimodal Contrastive Learning with Hard Negative Sampling for Human
Activity Recognition
- Title（参考訳）: ハードネガティブサンプリングを用いたマルチモーダルコントラスト学習による人間活動認識
- Authors: Hyeongju Choi, Apoorva Beedu, Irfan Essa
- Abstract要約: HAR(Human Activity Recognition)システムは、ビジョンとユビキタスコンピューティングコミュニティによって広く研究されている。
骨格とIMUデータペアのハードネガティブサンプリング損失を有するマルチモーダルHARのハードネガティブサンプリング法を提案する。
我々は,HARタスクの強い特徴表現を学習するためのアプローチの頑健さと,限られたデータ設定上での頑健さを実証する。
- 参考スコア（独自算出の注目度）: 14.88934924520362
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Human Activity Recognition (HAR) systems have been extensively studied by the
vision and ubiquitous computing communities due to their practical applications
in daily life, such as smart homes, surveillance, and health monitoring.
Typically, this process is supervised in nature and the development of such
systems requires access to large quantities of annotated data.
However, the higher costs and challenges associated with obtaining good
quality annotations have rendered the application of self-supervised methods an
attractive option and contrastive learning comprises one such method.
However, a major component of successful contrastive learning is the
selection of good positive and negative samples.
Although positive samples are directly obtainable, sampling good negative
samples remain a challenge.
As human activities can be recorded by several modalities like camera and IMU
sensors, we propose a hard negative sampling method for multimodal HAR with a
hard negative sampling loss for skeleton and IMU data pairs.
We exploit hard negatives that have different labels from the anchor but are
projected nearby in the latent space using an adjustable concentration
parameter.
Through extensive experiments on two benchmark datasets: UTD-MHAD and MMAct,
we demonstrate the robustness of our approach forlearning strong feature
representation for HAR tasks, and on the limited data setting.
We further show that our model outperforms all other state-of-the-art methods
for UTD-MHAD dataset, and self-supervised methods for MMAct: Cross session,
even when uni-modal data are used during downstream activity recognition.
- Abstract（参考訳）: HAR(Human Activity Recognition)システムは、スマートホーム、監視、健康モニタリングといった日常生活における実践的な応用のために、ビジョンとユビキタスコンピューティングコミュニティによって広く研究されている。
通常、このプロセスは自然に管理されており、そのようなシステムの開発には大量の注釈付きデータへのアクセスが必要である。
しかし,良質なアノテーションの獲得に伴うコストと課題が高まり,自己教師あり手法の適用が魅力的な選択肢となり,コントラスト学習はそのような方法の1つを含んでいる。
しかし、コントラスト学習の成功の主要な要素は、良い正と負のサンプルの選択である。
正のサンプルは直接入手できるが、良い負のサンプルをサンプリングすることは依然として困難である。
カメラやIMUセンサーなどの複数のモードで人間の活動を記録できるので,骨格とIMUデータペアに対して,強い負のサンプリング損失を有するマルチモーダルHARのハードネガティブサンプリング手法を提案する。
我々は,アンカーと異なるラベルを持つ硬い負を,調整可能な濃度パラメータを用いて潜在空間の近傍に投影する。
UTD-MHADとMMActという2つのベンチマークデータセットに関する広範な実験を通じて、HARタスクの強力な特徴表現を学習するための我々のアプローチの堅牢性、および限られたデータ設定について実証する。
さらに,本モデルがutd-mhadデータセットの他の最先端手法,およびmmact:クロスセッションの自己教師あり手法よりも優れていることを示す。
関連論文リスト
- C-ICL: Contrastive In-context Learning for Information Extraction [54.39470114243744]
c-ICLは、正しいサンプル構築と間違ったサンプル構築の両方を活用して、コンテキスト内学習のデモを作成する、新しい数ショット技術である。
各種データセットに対する実験により,c-ICLは従来の数発のインコンテキスト学習法よりも優れていたことが示唆された。
論文 参考訳（メタデータ） (2024-02-17T11:28:08Z) - Cross-Domain HAR: Few Shot Transfer Learning for Human Activity
Recognition [0.2944538605197902]
本稿では,HARデータセットを有効な転送学習に利用するための経済的なアプローチを提案する。
本稿では,教師が学習する自己学習パラダイムに則って,新たな伝達学習フレームワークであるクロスドメインHARを紹介する。
本手法の有効性を,撮影活動認識のシナリオで実証する。
論文 参考訳（メタデータ） (2023-10-22T19:13:25Z) - Self-Supervised Neuron Segmentation with Multi-Agent Reinforcement
Learning [53.00683059396803]
マスク画像モデル(MIM)は,マスク画像から元の情報を復元する簡便さと有効性から広く利用されている。
本稿では、強化学習(RL)を利用して最適な画像マスキング比とマスキング戦略を自動検索する決定に基づくMIMを提案する。
本手法は,ニューロン分節の課題において,代替自己監督法に対して有意な優位性を有する。
論文 参考訳（メタデータ） (2023-10-06T10:40:46Z) - Value function estimation using conditional diffusion models for control [62.27184818047923]
拡散値関数(DVF)と呼ばれる単純なアルゴリズムを提案する。
拡散モデルを用いて環境-ロボット相互作用の連成多段階モデルを学ぶ。
本稿では,DVFを用いて複数のコントローラの状態を効率よく把握する方法を示す。
論文 参考訳（メタデータ） (2023-06-09T18:40:55Z) - Temporal Output Discrepancy for Loss Estimation-based Active Learning [65.93767110342502]
ラベルのないサンプルが高損失を伴っていると信じられている場合に,データアノテーションのオラクルに問い合わせる,新しいディープラーニングアプローチを提案する。
本手法は,画像分類やセマンティックセグメンテーションタスクにおける最先端の能動学習手法よりも優れた性能を実現する。
論文 参考訳（メタデータ） (2022-12-20T19:29:37Z) - Split-PU: Hardness-aware Training Strategy for Positive-Unlabeled
Learning [42.26185670834855]
Positive-Unlabeled (PU) 学習は、稀な正のサンプルと豊富な未ラベルサンプルを持つモデルを学ぶことを目的としている。
本稿では、新しいトレーニングパイプラインを用いて、一般的に使われているnnPUの改善に焦点を当てる。
論文 参考訳（メタデータ） (2022-11-30T05:48:31Z) - Responsible Active Learning via Human-in-the-loop Peer Study [88.01358655203441]
我々は,データプライバシを同時に保持し,モデルの安定性を向上させるために,Pear Study Learning (PSL) と呼ばれる責任あるアクティブラーニング手法を提案する。
まず,クラウドサイドのタスク学習者(教師)から未学習データを分離する。
トレーニング中、タスク学習者は軽量なアクティブ学習者に指示し、アクティブサンプリング基準に対するフィードバックを提供する。
論文 参考訳（メタデータ） (2022-11-24T13:18:27Z) - ColloSSL: Collaborative Self-Supervised Learning for Human Activity
Recognition [9.652822438412903]
堅牢なヒューマンアクティビティ認識モデル(HAR)のトレーニングにおける大きなボトルネックは、大規模ラベル付きセンサーデータセットの必要性である。
大量のセンサデータをラベル付けすることは高価な作業であるため、教師なしおよび半教師なしの学習技術が出現している。
複数のデバイスから収集されたラベルのないデータを活用するコラボレーティブ・セルフスーパーバイズ・ラーニング(ColloSSL)と呼ばれる新しい手法を提案する。
論文 参考訳（メタデータ） (2022-02-01T21:05:05Z) - DEALIO: Data-Efficient Adversarial Learning for Imitation from
Observation [57.358212277226315]
観察ifoからの模倣学習において、学習エージェントは、実演者の生成した制御信号にアクセスせずに、実演行動の観察のみを用いて実演エージェントを模倣しようとする。
近年、逆模倣学習に基づく手法は、ifO問題に対する最先端のパフォーマンスをもたらすが、データ非効率でモデルなしの強化学習アルゴリズムに依存するため、サンプルの複雑さに悩まされることが多い。
この問題は、サンプルの収集が時間、エネルギー、およびリスクの面で高いコストを被る可能性がある現実世界の設定に展開することは非現実的です。
よりデータ効率の高いifOアルゴリズムを提案する。
論文 参考訳（メタデータ） (2021-03-31T23:46:32Z) - An Efficient Data Imputation Technique for Human Activity Recognition [3.0117625632585705]
本研究では,データセットの欠落したサンプルを抽出し,人間の日常生活活動をよりよく認識する手法を提案する。
提案手法は,k-Nearest Neighbors (KNN) 計算技術を用いて,データキャプチャを効率的に前処理する。
提案手法は,実際のデータセットと同じような活動パターンをエレガントに外挿する。
論文 参考訳（メタデータ） (2020-07-08T22:05:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。