論文の概要: Hand Gesture Classification Based on Forearm Ultrasound Video Snippets Using 3D Convolutional Neural Networks
- arxiv url: http://arxiv.org/abs/2409.16431v1
- Date: Tue, 24 Sep 2024 19:51:41 GMT
- ステータス: 処理完了
- システム内更新日: 2024-09-27 08:21:10.227177
- Title: Hand Gesture Classification Based on Forearm Ultrasound Video Snippets Using 3D Convolutional Neural Networks
- Title(参考訳): 3次元畳み込みニューラルネットワークを用いた前腕超音波ビデオスニペットによる手指形状分類
- Authors: Keshav Bimbraw, Ankit Talele, Haichong K. Zhang,
- Abstract要約: 前腕超音波は手の動きに伴う筋形態の変化について詳細な情報を提供しており、手の動きを推定するのに使用できる。
従来の研究は、畳み込みニューラルネットワーク(CNN)などの技術を用いて、2次元(2次元)超音波画像フレームの解析に重点を置いてきた。
本研究は3次元CNNに基づく手法を用いて,ジェスチャー認識のための超音波ビデオセグメント内の時間パターンをキャプチャする。
- 参考スコア(独自算出の注目度): 2.1301560294088318
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Ultrasound based hand movement estimation is a crucial area of research with applications in human-machine interaction. Forearm ultrasound offers detailed information about muscle morphology changes during hand movement which can be used to estimate hand gestures. Previous work has focused on analyzing 2-Dimensional (2D) ultrasound image frames using techniques such as convolutional neural networks (CNNs). However, such 2D techniques do not capture temporal features from segments of ultrasound data corresponding to continuous hand movements. This study uses 3D CNN based techniques to capture spatio-temporal patterns within ultrasound video segments for gesture recognition. We compared the performance of a 2D convolution-based network with (2+1)D convolution-based, 3D convolution-based, and our proposed network. Our methodology enhanced the gesture classification accuracy to 98.8 +/- 0.9%, from 96.5 +/- 2.3% compared to a network trained with 2D convolution layers. These results demonstrate the advantages of using ultrasound video snippets for improving hand gesture classification performance.
- Abstract(参考訳): 超音波に基づく手の動き推定は、人間と機械の相互作用における研究の重要な領域である。
前腕超音波は手の動きに伴う筋形態の変化について詳細な情報を提供しており、手の動きを推定するのに使用できる。
従来の研究は、畳み込みニューラルネットワーク(CNN)などの技術を用いて、2次元(2次元)超音波画像フレームの分析に重点を置いてきた。
しかし、このような2D技術は、連続した手の動きに対応する超音波データのセグメントから時間的特徴を捉えない。
本研究は3次元CNNに基づく手法を用いて,ジェスチャー認識のための超音波ビデオセグメント内の時空間パターンをキャプチャする。
我々は,2次元畳み込みネットワークの性能を(2+1)D畳み込みベース,3次元畳み込みベース,提案ネットワークと比較した。
動作分類精度は, 96.5+/-0.9%から98.8+/-0.9%に向上し, 2次元畳み込み層で訓練したネットワークに比べて96.5+/-2.3%に向上した。
これらの結果は,手のジェスチャー分類性能を向上させるために超音波ビデオスニペットを用いることの利点を示している。
関連論文リスト
- SeMLaPS: Real-time Semantic Mapping with Latent Prior Networks and
Quasi-Planar Segmentation [53.83313235792596]
本稿では,RGB-Dシーケンスからのリアルタイム意味マッピングのための新しい手法を提案する。
2DニューラルネットワークとSLAMシステムに基づく3Dネットワークと3D占有マッピングを組み合わせる。
本システムは,2D-3Dネットワークベースシステムにおいて,最先端のセマンティックマッピング品質を実現する。
論文 参考訳(メタデータ) (2023-06-28T22:36:44Z) - Adaptive 3D Localization of 2D Freehand Ultrasound Brain Images [18.997300579859978]
本稿では,3次元解剖学的アトラス内の2次元超音波像を適応的に局所化するフレームワークであるAdLocUIを提案する。
まず、共配列の3D超音波ボリュームからサンプリングした2Dスライスで畳み込みニューラルネットワークをトレーニングし、その位置を予測する。
新規な教師なしサイクル整合性を用いて、2次元自由手超音波画像で微調整する。
論文 参考訳(メタデータ) (2022-09-12T17:59:41Z) - Super Images -- A New 2D Perspective on 3D Medical Imaging Analysis [0.0]
トレーニング中に3次元知識を効率的に埋め込んで3次元データを扱うための,シンプルで効果的な2次元手法を提案する。
本手法は3次元画像にスライスを並べて超高分解能画像を生成する。
2次元ネットワークのみを利用した3次元ネットワークを実現する一方で、モデルの複雑さはおよそ3倍に減少する。
論文 参考訳(メタデータ) (2022-05-05T09:59:03Z) - Simultaneous Alignment and Surface Regression Using Hybrid 2D-3D
Networks for 3D Coherent Layer Segmentation of Retina OCT Images [33.99874168018807]
本研究では,ハイブリッド2D-3D畳み込みニューラルネットワーク(CNN)を用いた新しいフレームワークを提案し,OCTから連続した3次元網膜層表面を得る。
本フレームワークは, 層分割精度とクロスBスキャン3D連続性の両方の観点から, 最先端の2D手法よりも優れた結果が得られる。
論文 参考訳(メタデータ) (2022-03-04T15:55:09Z) - HandVoxNet++: 3D Hand Shape and Pose Estimation using Voxel-Based Neural
Networks [71.09275975580009]
HandVoxNet++は、完全に教師された方法でトレーニングされた3Dおよびグラフ畳み込みを備えた、ボクセルベースのディープネットワークである。
HandVoxNet++は2つの手形状表現に依存している。1つは手形状の3Dボキセル化グリッドで、メッシュトポロジを保存していない。
我々は、新しいニューラルグラフ畳み込みに基づくメッシュレジストレーション(GCN-MeshReg)または古典的セグメントワイド非リジッド重力法(NRGA++)と、手表面をボキセル化ハンド形状に整列させることにより、両表現の利点を組み合わせる。
論文 参考訳(メタデータ) (2021-07-02T17:59:54Z) - 2D or not 2D? Adaptive 3D Convolution Selection for Efficient Video
Recognition [84.697097472401]
Ada3Dは、インスタンス固有の3D利用ポリシーを学び、3Dネットワークで使用するフレームと畳み込み層を決定する条件付き計算フレームワークです。
本手法は,最先端の3dモデルと同様の精度を実現し,異なるデータセット間での計算量を20%-50%削減できることを実証する。
論文 参考訳(メタデータ) (2020-12-29T21:40:38Z) - Revisiting 3D Context Modeling with Supervised Pre-training for
Universal Lesion Detection in CT Slices [48.85784310158493]
CTスライスにおける普遍的病変検出のための3Dコンテキスト強化2D特徴を効率的に抽出するための修飾擬似3次元特徴ピラミッドネットワーク(MP3D FPN)を提案する。
新たな事前学習手法により,提案したMP3D FPNは,DeepLesionデータセット上での最先端検出性能を実現する。
提案された3Dプリトレーニングウェイトは、他の3D医療画像分析タスクのパフォーマンスを高めるために使用できる。
論文 参考訳(メタデータ) (2020-12-16T07:11:16Z) - Two-stream Fusion Model for Dynamic Hand Gesture Recognition using
3D-CNN and 2D-CNN Optical Flow guided Motion Template [0.0]
動き手の適切な検出と追跡が困難になるのは 手の形状や大きさの異なるためです
本研究は,手動認識のための2ストリーム融合モデルと,光学的フローに基づくコンパクトで効率的な動作テンプレートを提案する。
論文 参考訳(メタデータ) (2020-07-17T09:20:20Z) - Temporal Distinct Representation Learning for Action Recognition [139.93983070642412]
2次元畳み込みニューラルネットワーク (2D CNN) はビデオの特徴付けに用いられる。
ビデオの異なるフレームは同じ2D CNNカーネルを共有しており、繰り返し、冗長な情報利用をもたらす可能性がある。
本稿では,異なるフレームからの特徴の識別チャネルを段階的にエキサイティングにするためのシーケンシャルチャネルフィルタリング機構を提案し,繰り返し情報抽出を回避する。
本手法は,ベンチマーク時相推論データセットを用いて評価し,それぞれ2.4%,1.3%の可視性向上を実現している。
論文 参考訳(メタデータ) (2020-07-15T11:30:40Z) - 2.75D: Boosting learning by representing 3D Medical imaging to 2D
features for small data [54.223614679807994]
3D畳み込みニューラルネットワーク(CNN)は、多くのディープラーニングタスクにおいて、2D CNNよりも優れたパフォーマンスを示し始めている。
3D CNNにトランスファー学習を適用することは、パブリックにトレーニング済みの3Dモデルがないために困難である。
本研究では,ボリュームデータの2次元戦略的表現,すなわち2.75Dを提案する。
その結果,2次元CNNネットワークをボリューム情報学習に用いることが可能となった。
論文 参考訳(メタデータ) (2020-02-11T08:24:19Z) - Short-Term Temporal Convolutional Networks for Dynamic Hand Gesture
Recognition [23.054444026402738]
本稿では,3次元高密度畳み込みネットワーク(3D-DenseNets)と時間的畳み込みネットワーク(TCNs)の改善に基づくマルチモーダルジェスチャー認識手法を提案する。
空間分析では3D-DenseNetを用いて短期的特徴を効果的に学習する。
時間的分析では、TNを用いて時間的特徴を抽出し、改良されたSqueeze-and-Excitation Networks(SENet)を用いて各TNの層から時間的特徴の表現力を強化する。
論文 参考訳(メタデータ) (2019-12-31T23:30:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。