論文の概要: Read and Attend: Temporal Localisation in Sign Language Videos
- arxiv url: http://arxiv.org/abs/2103.16481v1
- Date: Tue, 30 Mar 2021 16:39:53 GMT
- ステータス: 処理完了
- システム内更新日: 2021-03-31 14:50:08.246523
- Title: Read and Attend: Temporal Localisation in Sign Language Videos
- Title（参考訳）: Read and Attend: 手話ビデオにおける時間的ローカライゼーション
- Authors: G\"ul Varol, Liliane Momeni, Samuel Albanie, Triantafyllos Afouras,
Andrew Zisserman
- Abstract要約: 我々は,連続署名ストリームを取り込み,一連の文書トークンを出力するトランスフォーマーモデルを訓練する。
入力シーケンス内の符号インスタンスの大規模な語彙に出席する能力を得て,その局所化を可能にすることを示す。
- 参考スコア（独自算出の注目度）: 84.30262812057994
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The objective of this work is to annotate sign instances across a broad
vocabulary in continuous sign language. We train a Transformer model to ingest
a continuous signing stream and output a sequence of written tokens on a
large-scale collection of signing footage with weakly-aligned subtitles. We
show that through this training it acquires the ability to attend to a large
vocabulary of sign instances in the input sequence, enabling their
localisation. Our contributions are as follows: (1) we demonstrate the ability
to leverage large quantities of continuous signing videos with weakly-aligned
subtitles to localise signs in continuous sign language; (2) we employ the
learned attention to automatically generate hundreds of thousands of
annotations for a large sign vocabulary; (3) we collect a set of 37K manually
verified sign instances across a vocabulary of 950 sign classes to support our
study of sign language recognition; (4) by training on the newly annotated data
from our method, we outperform the prior state of the art on the BSL-1K sign
language recognition benchmark.
- Abstract（参考訳）: この研究の目的は、連続的な手話で幅広い語彙にわたって手話のインスタンスに注釈をつけることである。
我々は,連続署名ストリームを取り込み,弱い字幕を持つ大規模な署名映像群に一連の文書トークンを出力するトランスフォーマモデルを訓練する。
このトレーニングを通じて、入力シーケンス内の手話インスタンスの大きな語彙に出席する能力を取得し、それらのローカライズを可能にすることを示す。
Our contributions are as follows: (1) we demonstrate the ability to leverage large quantities of continuous signing videos with weakly-aligned subtitles to localise signs in continuous sign language; (2) we employ the learned attention to automatically generate hundreds of thousands of annotations for a large sign vocabulary; (3) we collect a set of 37K manually verified sign instances across a vocabulary of 950 sign classes to support our study of sign language recognition; (4) by training on the newly annotated data from our method, we outperform the prior state of the art on the BSL-1K sign language recognition benchmark.
関連論文リスト
- SignCLIP: Connecting Text and Sign Language by Contrastive Learning [39.72545568965546]
SignCLIPは、大規模な多言語ビデオテキストペアから手話処理に有用な視覚表現を学習する効率的な方法である。
SpreadthesignでSignCLIPを事前訓練し,最大44の手話で5万本のビデオクリップを収録した手話辞書を作成した。
我々は、音声言語テキストと手話ポーズによって形成される潜伏空間を分析し、さらなる言語学的洞察を提供する。
論文 参考訳（メタデータ） (2024-07-01T13:17:35Z) - Learnt Contrastive Concept Embeddings for Sign Recognition [33.72708697077754]
我々は手話と話し言葉のギャップを埋める手話埋め込みを明示的に作成することに注力する。
我々は手話ビデオの言語ラベルに基づく埋め込みの語彙を訓練する。
我々は,NLP法から単語埋め込みを活用可能な概念的類似性損失を開発し,音声言語対応に優れた手話を含む手話埋め込みを生成する。
論文 参考訳（メタデータ） (2023-08-18T12:47:18Z) - Automatic dense annotation of large-vocabulary sign language videos [85.61513254261523]
自動アノテーションの密度を大幅に高めるための,シンプルでスケーラブルなフレームワークを提案する。
これらのアノテーションは手話研究コミュニティをサポートするために公開されています。
論文 参考訳（メタデータ） (2022-08-04T17:55:09Z) - Scaling up sign spotting through sign language dictionaries [99.50956498009094]
この作業の焦点は、$textitsign spotting$ - 分離されたサインのビデオの場合、$textitwwhere$ と $textitwhere$ の識別が、連続的かつ協調的な手話ビデオで署名されている。
我々は,(1) $textitwatching$既存の映像を口コミでスムーズにラベル付けする,(2) $textitreading$ associated subtitles that provide additional translations of the signed content。
アプローチの有効性を低く検証する。
論文 参考訳（メタデータ） (2022-05-09T10:00:03Z) - Aligning Subtitles in Sign Language Videos [80.20961722170655]
17.7時間に及ぶビデオの字幕15k以上の注釈付きアライメントを手作業でトレーニングした。
我々は,この2つの信号を符号化するために,BERT字幕埋め込みとCNNビデオ表現を用いた。
本モデルでは,ビデオフレームごとのフレームレベルの予測,すなわちクェリされたサブタイトルに属するか否かを出力する。
論文 参考訳（メタデータ） (2021-05-06T17:59:36Z) - Watch, read and lookup: learning to spot signs from multiple supervisors [99.50956498009094]
孤立した手話のビデオが与えられた場合、我々のタスクは、連続的かつ協調的な手話ビデオで署名されたか、どこで署名されたかを特定することである。
我々は,(1)既存の粗末なラベル付き映像を見ること,(2)追加の弱スーパービジョンを提供する関連字幕を読むこと,(3)視覚手話辞書で単語を検索すること,の3つを用いて,利用可能な複数のタイプの監督手法を用いてモデルを訓練する。
これらの3つのタスクは、ノイズコントラスト推定と多重インスタンス学習の原則を用いて統合学習フレームワークに統合される。
論文 参考訳（メタデータ） (2020-10-08T14:12:56Z) - BSL-1K: Scaling up co-articulated sign language recognition using
mouthing cues [106.21067543021887]
ビデオデータから高品質なアノテーションを得るために,シグナリングキューの使い方を示す。
BSL-1Kデータセット(英: BSL-1K dataset)は、イギリス手話(英: British Sign Language, BSL)の集合体である。
論文 参考訳（メタデータ） (2020-07-23T16:59:01Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。