論文の概要: Transfer: Cross Modality Knowledge Transfer using Adversarial Networks
-- A Study on Gesture Recognition
- arxiv url: http://arxiv.org/abs/2306.15114v1
- Date: Mon, 26 Jun 2023 23:47:59 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-28 15:21:14.849550
- Title: Transfer: Cross Modality Knowledge Transfer using Adversarial Networks
-- A Study on Gesture Recognition
- Title（参考訳）: トランスファー:逆ネットワークを用いたクロスモダリティ知識伝達 -ジェスチャ認識に関する研究-
- Authors: Payal Kamboj, Ayan Banerjee and Sandeep K.S. Gupta
- Abstract要約: 本稿では,ソースとターゲット技術間の知識伝達のための汎用フレームワークを提案する。
TransferFERは手ジェスチャーの言語ベースの表現を使用して、概念の時間的組み合わせをキャプチャする。
ここでは,3つのシナリオにおけるTransferの使用例を示す。
- 参考スコア（独自算出の注目度）: 7.742297876120562
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Knowledge transfer across sensing technology is a novel concept that has been
recently explored in many application domains, including gesture-based human
computer interaction. The main aim is to gather semantic or data driven
information from a source technology to classify / recognize instances of
unseen classes in the target technology. The primary challenge is the
significant difference in dimensionality and distribution of feature sets
between the source and the target technologies. In this paper, we propose
TRANSFER, a generic framework for knowledge transfer between a source and a
target technology. TRANSFER uses a language-based representation of a hand
gesture, which captures a temporal combination of concepts such as handshape,
location, and movement that are semantically related to the meaning of a word.
By utilizing a pre-specified syntactic structure and tokenizer, TRANSFER
segments a hand gesture into tokens and identifies individual components using
a token recognizer. The tokenizer in this language-based recognition system
abstracts the low-level technology-specific characteristics to the machine
interface, enabling the design of a discriminator that learns
technology-invariant features essential for recognition of gestures in both
source and target technologies. We demonstrate the usage of TRANSFER for three
different scenarios: a) transferring knowledge across technology by learning
gesture models from video and recognizing gestures using WiFi, b) transferring
knowledge from video to accelerometer, and d) transferring knowledge from
accelerometer to WiFi signals.
- Abstract（参考訳）: センシング技術間の知識伝達は、ジェスチャーベースのヒューマンコンピュータインタラクションを含む多くのアプリケーション領域で最近研究されている新しい概念である。
主な目的は、ソース技術からセマンティクスまたはデータ駆動の情報を集めて、ターゲット技術における未認識のクラスのインスタンスを分類/認識することである。
主な課題は、ソースとターゲット技術の間の特徴セットの次元性と分布の顕著な違いである。
本稿では,ソースとターゲット技術間の知識伝達のための汎用フレームワークであるTransferを提案する。
トランスファーは、手の動きの言語に基づく表現を用いて、単語の意味に意味的に関係する手形、位置、動きといった概念の時間的組み合わせをキャプチャする。
予め規定された構文構造とトークン化子を利用することで、ハンドジェスチャをトークンに分割し、トークン認識器を使用して個々のコンポーネントを識別する。
この言語ベースの認識システムのトークン化器は、低レベルの技術固有の特性を機械インタフェースに抽象化し、ソース技術とターゲット技術の両方におけるジェスチャー認識に不可欠な技術不変の特徴を学習する識別器の設計を可能にする。
3つの異なるシナリオで転送の使用例を示します。
a) 映像からジェスチャモデルを学習し,wifiを用いてジェスチャを認識する技術間で知識を伝達すること。
b)ビデオから加速度計への知識の転送,及びd)加速度計からwifi信号への知識の転送
関連論文リスト
- Trustworthy Image Semantic Communication with GenAI: Explainablity, Controllability, and Efficiency [59.15544887307901]
画像意味コミュニケーション(ISC)は,高効率な映像コンテンツ伝送を実現する可能性に注目されている。
既存のISCシステムは、解釈可能性、操作性、互換性の課題に直面している。
我々は、複数の下流推論タスクにGenerative Artificial Intelligence(GenAI)を利用する新しい信頼できるISCフレームワークを提案する。
論文 参考訳（メタデータ） (2024-08-07T14:32:36Z) - Interpreting Hand gestures using Object Detection and Digits Classification [0.0]
本研究の目的は,数字を表す手振りを正確に認識し,分類できる堅牢なシステムを開発することである。
提案手法では、手動画像のデータセットの収集、画像の事前処理と拡張、関連する特徴の抽出、機械学習モデルのトレーニングなどを行う。
論文 参考訳（メタデータ） (2024-07-15T16:53:04Z) - Unimodal and Multimodal Sensor Fusion for Wearable Activity Recognition [0.0]
ヒューマンアクティビティ認識(HAR)は、冗長な情報と補完的な情報を組み合わせることで恩恵を受ける。
このPh.D.の仕事は、慣性、圧力(音響と大気圧)、およびHARのための繊維の容量感覚のような感覚モーダルを取り入れている。
選択されたウェアラブルデバイスとセンシングモダリティは、機械学習ベースのアルゴリズムと完全に統合されている。
論文 参考訳（メタデータ） (2024-04-24T17:35:29Z) - TENT: Connect Language Models with IoT Sensors for Zero-Shot Activity
Recognition [35.816500811872196]
本稿では,人間のような認知機能を備えたインテリジェントなヒューマンアクティビティ認識(HAR)システムの実現可能性について検討する。
テキスト埋め込みとIoTセンサ信号との整合性を備えた,革新的なアプローチであるIoT-sEnsors- languagealignedmEnt pre-Training(TENT)を提案する。
我々は、異なるモダリティを用いてゼロショットHARタスクの最先端性能を実現し、最高の視覚言語モデルを12%以上改善することを示した。
論文 参考訳（メタデータ） (2023-11-14T15:30:17Z) - FedOpenHAR: Federated Multi-Task Transfer Learning for Sensor-Based
Human Activity Recognition [0.0]
本稿では,センサを用いた人間行動認識とデバイス位置識別の両課題に対して,フェデレート・トランスファー・ラーニングをマルチタスク方式で検討する。
OpenHARフレームワークは10個の小さなデータセットを含むモデルをトレーニングするために使用される。
タスク固有でパーソナライズされたフェデレーションモデルを用いたトランスファーラーニングとトレーニングにより、各クライアントを個別に訓練し、完全集中型アプローチよりも高い精度で学習した。
論文 参考訳（メタデータ） (2023-11-13T21:31:07Z) - Agile gesture recognition for capacitive sensing devices: adapting
on-the-job [55.40855017016652]
本システムでは, コンデンサセンサからの信号を手の動き認識器に組み込んだ手動作認識システムを提案する。
コントローラは、着用者5本の指それぞれからリアルタイム信号を生成する。
機械学習技術を用いて時系列信号を解析し,500ms以内で5本の指を表現できる3つの特徴を同定する。
論文 参考訳（メタデータ） (2023-05-12T17:24:02Z) - Multimodal Emotion Recognition using Transfer Learning from Speaker
Recognition and BERT-based models [53.31917090073727]
本稿では,音声とテキストのモダリティから,伝達学習モデルと微調整モデルとを融合したニューラルネットワークによる感情認識フレームワークを提案する。
本稿では,対話型感情的モーションキャプチャー・データセットにおけるマルチモーダル・アプローチの有効性を評価する。
論文 参考訳（メタデータ） (2022-02-16T00:23:42Z) - Federated Learning: A Signal Processing Perspective [144.63726413692876]
フェデレーションラーニングは、データを明示的に交換することなく、ローカルデータセットを保持する複数のエッジデバイスでモデルをトレーニングするための新しい機械学習パラダイムです。
本稿では、信号処理ツールを用いて扱うのが自然である主な課題をカプセル化し、強調する、連合学習のための統一的な体系的フレームワークを提供する。
論文 参考訳（メタデータ） (2021-03-31T15:14:39Z) - Knowledge Distillation By Sparse Representation Matching [107.87219371697063]
本稿では,一方の畳み込みネットワーク(cnn)から他方へ,スパース表現を用いて中間知識を伝達するスパース表現マッチング(srm)を提案する。
勾配降下を利用して効率的に最適化し、任意のCNNにプラグアンドプレイで統合できるニューラルプロセッシングブロックとして定式化します。
実験の結果,教師と生徒のネットワーク間のアーキテクチャの違いに頑健であり,複数のデータセットにまたがる他のkd技術よりも優れていた。
論文 参考訳（メタデータ） (2021-03-31T11:47:47Z) - Semantics-aware Adaptive Knowledge Distillation for Sensor-to-Vision
Action Recognition [131.6328804788164]
本稿では,視覚・センサ・モダリティ(動画)における行動認識を強化するためのフレームワーク,Semantics-Aware Adaptive Knowledge Distillation Networks (SAKDN)を提案する。
SAKDNは複数のウェアラブルセンサーを教師のモダリティとして使用し、RGB動画を学生のモダリティとして使用している。
論文 参考訳（メタデータ） (2020-09-01T03:38:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。