論文の概要: Improving Continuous Sign Language Recognition with Cross-Lingual Signs

• arxiv url: http://arxiv.org/abs/2308.10809v1
• Date: Mon, 21 Aug 2023 15:58:47 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-22 12:37:19.855895
• Title: Improving Continuous Sign Language Recognition with Cross-Lingual Signs
• Title（参考訳）: 言語横断符号による連続手話認識の改善
• Authors: Fangyun Wei, Yutong Chen
• Abstract要約: 本稿では,多言語手話コーパスを用いた連続手話認識の実現可能性について検討する。 まず、2つのデータセットに現れる独立した記号を含む2つの手話辞書を構築します。 次に、適切に最適化された手話認識モデルを用いて、2つの手話間の手話間の手話マッピングを同定する。
• 参考スコア（独自算出の注目度）: 29.077175863743484
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This work dedicates to continuous sign language recognition (CSLR), which is a weakly supervised task dealing with the recognition of continuous signs from videos, without any prior knowledge about the temporal boundaries between consecutive signs. Data scarcity heavily impedes the progress of CSLR. Existing approaches typically train CSLR models on a monolingual corpus, which is orders of magnitude smaller than that of speech recognition. In this work, we explore the feasibility of utilizing multilingual sign language corpora to facilitate monolingual CSLR. Our work is built upon the observation of cross-lingual signs, which originate from different sign languages but have similar visual signals (e.g., hand shape and motion). The underlying idea of our approach is to identify the cross-lingual signs in one sign language and properly leverage them as auxiliary training data to improve the recognition capability of another. To achieve the goal, we first build two sign language dictionaries containing isolated signs that appear in two datasets. Then we identify the sign-to-sign mappings between two sign languages via a well-optimized isolated sign language recognition model. At last, we train a CSLR model on the combination of the target data with original labels and the auxiliary data with mapped labels. Experimentally, our approach achieves state-of-the-art performance on two widely-used CSLR datasets: Phoenix-2014 and Phoenix-2014T.
• Abstract（参考訳）: 連続手話認識(continuous sign language recognition, CSLR)は、連続手話間の時間的境界に関する事前の知識が無く、ビデオからの連続手話認識を扱う弱い教師付きタスクである。 データ不足はCSLRの進行を著しく妨げている。 既存のアプローチでは、音声認識よりも桁違い小さい単言語コーパスでCSLRモデルを訓練するのが一般的である。 本研究では,多言語手話コーパスを用いた単言語CSLRの実現可能性について検討する。 我々の研究は、異なる手話に由来するが類似した視覚信号(例えば、手の形や動き)を持つ言語間記号の観察に基づいている。 提案手法の根底にある考え方は、ある手話における言語間符号を識別し、それを補助訓練データとして適切に活用して、他者の認識能力を向上させることである。 目的を達成するため、まず2つのデータセットに出現する孤立した記号を含む2つの手話辞書を構築した。 次に、最適化された孤立手話認識モデルを用いて、2つの手話間の手話間マッピングを同定する。 最終的に、ターゲットデータと元のラベルと、マッピングされたラベルによる補助データの組み合わせに基づいて、cslrモデルをトレーニングする。 実験により,Phoenix-2014とPhoenix-2014Tの2つの広く使われているCSLRデータセットに対して,最先端の性能を実現する。

関連論文リスト

• MS2SL: Multimodal Spoken Data-Driven Continuous Sign Language Production [93.32354378820648]
  我々は,手話と非手話のユーザ間のコミュニケーションを緩和する,連続手話生成のための統一フレームワークを提案する。 テキストや音声から抽出した埋め込みを利用したシーケンス拡散モデルを作成し、段階的にサイン予測を生成する。 How2SignとPHOENIX14Tデータセットの実験により、手話生成において、我々のモデルが競合性能を達成することを示す。
  論文  参考訳（メタデータ） (2024-07-04T13:53:50Z)
• Self-Supervised Representation Learning with Spatial-Temporal Consistency for Sign Language Recognition [96.62264528407863]
  本研究では,空間的時間的整合性を通じてリッチな文脈を探索する自己教師付きコントラスト学習フレームワークを提案する。 動きと関節のモーダル性の相補性に着想を得て,手話モデルに一階動作情報を導入する。 提案手法は,4つの公開ベンチマークの広範な実験により評価され,新しい最先端性能と顕著なマージンを実現している。
  論文  参考訳（メタデータ） (2024-06-15T04:50:19Z)
• SignMusketeers: An Efficient Multi-Stream Approach for Sign Language Translation at Scale [22.49602248323602]
  手話ビデオ処理における永続的な課題は、手話表現の学習方法である。 提案手法は,シグナーの顔,手,体姿勢など,署名ビデオの最も関連性の高い部分のみに焦点を当てる。 我々のアプローチは、個々のフレームから(ビデオシーケンスではなく)学習することに基づいており、手話事前学習よりもずっと効率的である。
  論文  参考訳（メタデータ） (2024-06-11T03:00:41Z)
• A Tale of Two Languages: Large-Vocabulary Continuous Sign Language Recognition from Spoken Language Supervision [74.972172804514]
  我々は,署名された言語と音声のテキスト間の共同埋め込み空間において,署名シーケンスと出力を抽出できるマルチタスクトランスフォーマーモデルCSLR2を導入する。 新しいデータセットアノテーションは、6時間のテストビデオに対して、連続的なサインレベルアノテーションを提供する。 私たちのモデルは、両方のタスクにおいて、過去の技術状況よりも大幅に優れています。
  論文  参考訳（メタデータ） (2024-05-16T17:19:06Z)
• Enhancing Brazilian Sign Language Recognition through Skeleton Image Representation [2.6311088262657907]
  本研究は、身体、手、顔のランドマークを時間を通して抽出し、2次元画像として符号化する、分離手話認識(ISLR)アプローチを提案する。 ブラジル手話(LIBRAS)における2つの広く認識されているデータセットの性能指標から,本手法が最先端の指標を上回ったことを示す。 より正確であることに加えて、より単純なネットワークアーキテクチャに依存し、入力としてのみRGBデータに依存するため、我々の手法はより時間効率が高く、訓練が容易である。
  論文  参考訳（メタデータ） (2024-04-29T23:21:17Z)
• Learnt Contrastive Concept Embeddings for Sign Recognition [33.72708697077754]
  我々は手話と話し言葉のギャップを埋める手話埋め込みを明示的に作成することに注力する。 我々は手話ビデオの言語ラベルに基づく埋め込みの語彙を訓練する。 我々は,NLP法から単語埋め込みを活用可能な概念的類似性損失を開発し,音声言語対応に優れた手話を含む手話埋め込みを生成する。
  論文  参考訳（メタデータ） (2023-08-18T12:47:18Z)
• Watch, read and lookup: learning to spot signs from multiple supervisors [99.50956498009094]
  孤立した手話のビデオが与えられた場合、我々のタスクは、連続的かつ協調的な手話ビデオで署名されたか、どこで署名されたかを特定することである。 我々は,(1)既存の粗末なラベル付き映像を見ること,(2)追加の弱スーパービジョンを提供する関連字幕を読むこと,(3)視覚手話辞書で単語を検索すること,の3つを用いて,利用可能な複数のタイプの監督手法を用いてモデルを訓練する。 これらの3つのタスクは、ノイズコントラスト推定と多重インスタンス学習の原則を用いて統合学習フレームワークに統合される。
  論文  参考訳（メタデータ） (2020-10-08T14:12:56Z)
• BSL-1K: Scaling up co-articulated sign language recognition using mouthing cues [106.21067543021887]
  ビデオデータから高品質なアノテーションを得るために,シグナリングキューの使い方を示す。 BSL-1Kデータセット(英: BSL-1K dataset)は、イギリス手話(英: British Sign Language, BSL)の集合体である。
  論文  参考訳（メタデータ） (2020-07-23T16:59:01Z)
• Transferring Cross-domain Knowledge for Video Sign Language Recognition [103.9216648495958]
  単語レベルの手話認識(WSLR)は手話解釈の基本課題である。 ドメイン不変の視覚概念を学習し、サブタイトルのニュースサインの知識を伝達することでWSLRモデルを肥大化させる新しい手法を提案する。
  論文  参考訳（メタデータ） (2020-03-08T03:05:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。