論文の概要: ASL Recognition with Metric-Learning based Lightweight Network
- arxiv url: http://arxiv.org/abs/2004.05054v1
- Date: Fri, 10 Apr 2020 14:41:30 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-14 21:10:40.792476
- Title: ASL Recognition with Metric-Learning based Lightweight Network
- Title(参考訳): メトリックラーニングに基づく軽量ネットワークを用いたASL認識
- Authors: Evgeny Izutov
- Abstract要約: 本稿では,ASLジェスチャ認識のための軽量ネットワークを提案する。
トレーニングコードは、Intel OpenVINO Training Extensionsの一部として利用可能である。
- 参考スコア(独自算出の注目度): 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In the past decades the set of human tasks that are solved by machines was
extended dramatically. From simple image classification problems researchers
now move towards solving more sophisticated and vital problems, like,
autonomous driving and language translation. The case of language translation
includes a challenging area of sign language translation that incorporates both
image and language processing. We make a step in that direction by proposing a
lightweight network for ASL gesture recognition with a performance sufficient
for practical applications. The proposed solution demonstrates impressive
robustness on MS-ASL dataset and in live mode for continuous sign gesture
recognition scenario. Additionally, we describe how to combine action
recognition model training with metric-learning to train the network on the
database of limited size. The training code is available as part of Intel
OpenVINO Training Extensions.
- Abstract(参考訳): 過去数十年間、機械によって解決される人間のタスクのセットは劇的に拡張された。
画像分類の単純な問題から、研究者たちは、自律運転や言語翻訳など、より高度で重要な問題を解決しようとしている。
言語翻訳のケースには、画像処理と言語処理の両方を含む手話翻訳の難しい領域が含まれている。
ASLジェスチャ認識のための軽量ネットワークを実用化に十分な性能で提案することで,その方向への一歩を踏み出す。
提案手法は,MS-ASLデータセットおよび連続手話認識シナリオのライブモードにおける顕著な堅牢性を示す。
さらに,行動認識モデルトレーニングとメトリック学習を組み合わせて,限られたサイズのデータベース上でネットワークをトレーニングする方法についても述べる。
トレーニングコードは、Intel OpenVINO Training Extensionsの一部として利用可能である。
関連論文リスト
- SignVTCL: Multi-Modal Continuous Sign Language Recognition Enhanced by
Visual-Textual Contrastive Learning [51.800031281177105]
SignVTCLは、視覚・テキストのコントラスト学習によって強化された連続手話認識フレームワークである。
マルチモーダルデータ(ビデオ、キーポイント、光学フロー)を同時に統合し、統一された視覚バックボーンをトレーニングする。
従来の方法と比較して最先端の結果が得られます。
論文 参考訳(メタデータ) (2024-01-22T11:04:55Z) - PaLI-X: On Scaling up a Multilingual Vision and Language Model [166.9837904115951]
マルチ言語ビジョンと言語モデルであるPaLI-Xをスケールアップする際のトレーニングレシピと結果を示す。
我々のモデルは、多種多様な複雑なタスクにおいて、新しいレベルのパフォーマンスを達成する。
複雑なカウントや多言語オブジェクト検出といった,トレーニングミックスに明示的に含まれないタスクの出現を観察する。
論文 参考訳(メタデータ) (2023-05-29T18:58:38Z) - CMID: A Unified Self-Supervised Learning Framework for Remote Sensing
Image Understanding [20.2438336674081]
CMID(Contrastive Mask Image Distillation)は,大域的意味分離性と局所空間認識性の両方で表現を学習することができる。
CMIDは畳み込みニューラルネットワーク(CNN)と視覚変換器(ViT)の両方と互換性がある
CMIDを用いて事前訓練されたモデルは、複数のダウンストリームタスクにおける他の最先端SSLメソッドよりも優れたパフォーマンスを達成する。
論文 参考訳(メタデータ) (2023-04-19T13:58:31Z) - Explore More Guidance: A Task-aware Instruction Network for Sign
Language Translation Enhanced with Data Augmentation [20.125265661134964]
手話認識と翻訳は、まず認識モジュールを使用して手話ビデオからグルースを生成する。
本研究では,手話翻訳のためのタスク認識型命令ネットワークTIN-SLTを提案する。
論文 参考訳(メタデータ) (2022-04-12T17:09:44Z) - A Simple Multi-Modality Transfer Learning Baseline for Sign Language
Translation [54.29679610921429]
既存の手話データセットには、約10K-20Kの手話ビデオ、グロスアノテーション、テキストが含まれています。
したがって、データは効果的な手話翻訳モデルの訓練のボトルネックとなる。
この単純なベースラインは、2つの手話翻訳ベンチマークで過去の最先端の結果を上回っている。
論文 参考訳(メタデータ) (2022-03-08T18:59:56Z) - Continual-wav2vec2: an Application of Continual Learning for
Self-Supervised Automatic Speech Recognition [0.23872611575805824]
自己教師付き学習(SSL)を用いた複数言語における音声表現の連続学習法を提案する。
Wav2vecモデルは、事前トレーニングフェーズで生オーディオ上でSSLを実行し、アノテートされた少数のデータに対して微調整を行う。
新しい言語タスクの事前学習を高速化するために、継続学習からのアイデアを、以前のタスクから知識を伝達するために使用します。
論文 参考訳(メタデータ) (2021-07-26T10:39:03Z) - Reinforced Iterative Knowledge Distillation for Cross-Lingual Named
Entity Recognition [54.92161571089808]
言語間NERは、知識をリッチリソース言語から低リソース言語に転送する。
既存の言語間NERメソッドは、ターゲット言語でリッチなラベル付けされていないデータをうまく利用しない。
半教師付き学習と強化学習のアイデアに基づく新しいアプローチを開発する。
論文 参考訳(メタデータ) (2021-06-01T05:46:22Z) - Skeleton Based Sign Language Recognition Using Whole-body Keypoints [71.97020373520922]
手話は聴覚障害者や言語障害者のコミュニケーションに使用される。
また,RGB-D法と組み合わせて最先端の性能を実現することで,Skeletonに基づく音声認識が普及しつつある。
近年のボディポーズ推定用citejin 2020wholeの開発に触発されて,全身キーポイントと特徴に基づく手話認識を提案する。
論文 参考訳(メタデータ) (2021-03-16T03:38:17Z) - Application of Transfer Learning to Sign Language Recognition using an
Inflated 3D Deep Convolutional Neural Network [0.0]
転送学習は、十分なデータを持たない対象タスクを解決するのに役立つ大量のデータを持つ関連タスクを活用する技術である。
本稿では,手話認識における伝達学習の有効性について検討する。
論文 参考訳(メタデータ) (2021-02-25T13:37:39Z) - Scaling Up Visual and Vision-Language Representation Learning With Noisy
Text Supervision [57.031588264841]
高価なフィルタリングや後処理のステップを使わずに得られる10億以上の画像アルトテキストペアのノイズの多いデータセットを活用します。
単純なデュアルエンコーダアーキテクチャは、画像とテキストペアの視覚的および言語的表現を、対照的な損失を使って整列させることを学ぶ。
コーパスのスケールはノイズを補うことができ、そのような単純な学習方式であっても最先端の表現に繋がることを示す。
論文 参考訳(メタデータ) (2021-02-11T10:08:12Z) - Interpretation of Swedish Sign Language using Convolutional Neural
Networks and Transfer Learning [2.7629216089139934]
我々は、スウェーデン手話(SSL)ハンドアルファベットの記号をコンピュータが解釈できるように、畳み込みニューラルネットワーク(CNN)とトランスファーラーニングを用いている。
我々のモデルは、事前訓練されたInceptionV3ネットワークの実装と、ミニバッチ勾配勾配最適化アルゴリズムの使用から成り立っている。
モデルの最終精度は8人の被験者と9,400人の画像に基づいており、85%である。
論文 参考訳(メタデータ) (2020-10-15T15:34:09Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。