論文の概要: Sign Language Video Retrieval with Free-Form Textual Queries
- arxiv url: http://arxiv.org/abs/2201.02495v1
- Date: Fri, 7 Jan 2022 15:22:18 GMT
- ステータス: 処理完了
- システム内更新日: 2022-01-10 14:04:51.959783
- Title: Sign Language Video Retrieval with Free-Form Textual Queries
- Title（参考訳）: 自由形式のテキストクエリによる手話ビデオ検索
- Authors: Amanda Duarte, Samuel Albanie, Xavier Gir\'o-i-Nieto, G\"ul Varol
- Abstract要約: 本稿では,自由形式のテキストクエリを用いた手話検索の課題について紹介する。
目的は、書かれたクエリに最もよくマッチする、コレクション内の署名ビデオを見つけることである。
本研究では,SPOT-ALIGNを提案する。SPOT-ALIGNは,利用可能なトレーニングデータの範囲と規模を拡大するために,符号スポッティングと特徴アライメントの反復ラウンドをインターリーブするフレームワークである。
- 参考スコア（独自算出の注目度）: 19.29003565494735
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Systems that can efficiently search collections of sign language videos have
been highlighted as a useful application of sign language technology. However,
the problem of searching videos beyond individual keywords has received limited
attention in the literature. To address this gap, in this work we introduce the
task of sign language retrieval with free-form textual queries: given a written
query (e.g., a sentence) and a large collection of sign language videos, the
objective is to find the signing video in the collection that best matches the
written query. We propose to tackle this task by learning cross-modal
embeddings on the recently introduced large-scale How2Sign dataset of American
Sign Language (ASL). We identify that a key bottleneck in the performance of
the system is the quality of the sign video embedding which suffers from a
scarcity of labeled training data. We, therefore, propose SPOT-ALIGN, a
framework for interleaving iterative rounds of sign spotting and feature
alignment to expand the scope and scale of available training data. We validate
the effectiveness of SPOT-ALIGN for learning a robust sign video embedding
through improvements in both sign recognition and the proposed video retrieval
task.
- Abstract（参考訳）: 手話ビデオのコレクションを効率的に検索できるシステムは手話技術の有用な応用として注目されている。
しかし,個々のキーワードを超えて動画を検索する問題は文献上では限定的な注目を集めている。
このギャップに対処するため、本研究では、自由形式のテキストクエリによる手話検索のタスクを紹介する。 書かれたクエリ(例えば、文)と多くの手話ビデオのコレクションが与えられた場合、このクエリに最もマッチするコレクション内の署名ビデオを見つけることが目的である。
本稿では,最近導入されたASL(American Sign Language)の大規模データセットであるHow2Signのクロスモーダル埋め込みを学習することで,この課題に対処することを提案する。
本研究は,ラベル付きトレーニングデータの不足に苦しむ手話映像埋め込みの品質がシステム性能の重要なボトルネックであることを示す。
そこで我々は,利用可能なトレーニングデータの範囲と規模を拡大するために,反復的なサインスポッティングラウンドと特徴アライメントをインターリーブするフレームワークであるspot-alignを提案する。
我々は,手話認識と提案したビデオ検索タスクの改善を通じて,堅牢な手話ビデオ埋め込みを学習するためのSPOT-ALIGNの有効性を検証する。
関連論文リスト
- SLVideo: A Sign Language Video Moment Retrieval Framework [6.782143030167946]
SLVideoは手話ビデオのためのビデオモーメント検索システムである。
ビデオフレームから手と顔のサインの埋め込み表現を抽出し、その全体像をキャプチャする。
データセットには、注釈付きポルトガル手話ビデオの8時間のコレクションが使用されている。
論文 参考訳（メタデータ） (2024-07-22T14:29:36Z) - A Tale of Two Languages: Large-Vocabulary Continuous Sign Language Recognition from Spoken Language Supervision [74.972172804514]
我々は,署名された言語と音声のテキスト間の共同埋め込み空間において,署名シーケンスと出力を抽出できるマルチタスクトランスフォーマーモデルCSLR2を導入する。
新しいデータセットアノテーションは、6時間のテストビデオに対して、連続的なサインレベルアノテーションを提供する。
私たちのモデルは、両方のタスクにおいて、過去の技術状況よりも大幅に優れています。
論文 参考訳（メタデータ） (2024-05-16T17:19:06Z) - DiffSLVA: Harnessing Diffusion Models for Sign Language Video
Anonymization [33.18321022815901]
テキスト誘導手話ビデオ匿名化のための新しい手法であるDiffSLVAを紹介する。
我々は,署名された言語で言語情報を伝達するために重要な,表情をキャプチャーする専用のモジュールを開発する。
この革新的な方法論は、初めて、現実世界のアプリケーションに使用できる言語ビデオの匿名化を可能にする。
論文 参考訳（メタデータ） (2023-11-27T18:26:19Z) - CiCo: Domain-Aware Sign Language Retrieval via Cross-Lingual Contrastive
Learning [38.83062453145388]
手話検索は、テキスト・トゥ・サイン・ビデオ(T2V)検索とサイン・ビデオ・トゥ・テキスト(V2T)検索の2つのサブタスクで構成される。
我々は手話と自然言語の両方の言語特性を考慮し、さらに粒度の細かい言語間マッピングを同時に同定する。
我々のフレームワークは、様々なデータセットに対して大きなマージンで先駆的手法より優れています。
論文 参考訳（メタデータ） (2023-03-22T17:59:59Z) - Automatic dense annotation of large-vocabulary sign language videos [85.61513254261523]
自動アノテーションの密度を大幅に高めるための,シンプルでスケーラブルなフレームワークを提案する。
これらのアノテーションは手話研究コミュニティをサポートするために公開されています。
論文 参考訳（メタデータ） (2022-08-04T17:55:09Z) - Scaling up sign spotting through sign language dictionaries [99.50956498009094]
この作業の焦点は、$textitsign spotting$ - 分離されたサインのビデオの場合、$textitwwhere$ と $textitwhere$ の識別が、連続的かつ協調的な手話ビデオで署名されている。
我々は,(1) $textitwatching$既存の映像を口コミでスムーズにラベル付けする,(2) $textitreading$ associated subtitles that provide additional translations of the signed content。
アプローチの有効性を低く検証する。
論文 参考訳（メタデータ） (2022-05-09T10:00:03Z) - Read and Attend: Temporal Localisation in Sign Language Videos [84.30262812057994]
我々は,連続署名ストリームを取り込み,一連の文書トークンを出力するトランスフォーマーモデルを訓練する。
入力シーケンス内の符号インスタンスの大規模な語彙に出席する能力を得て,その局所化を可能にすることを示す。
論文 参考訳（メタデータ） (2021-03-30T16:39:53Z) - Watch, read and lookup: learning to spot signs from multiple supervisors [99.50956498009094]
孤立した手話のビデオが与えられた場合、我々のタスクは、連続的かつ協調的な手話ビデオで署名されたか、どこで署名されたかを特定することである。
我々は,(1)既存の粗末なラベル付き映像を見ること,(2)追加の弱スーパービジョンを提供する関連字幕を読むこと,(3)視覚手話辞書で単語を検索すること,の3つを用いて,利用可能な複数のタイプの監督手法を用いてモデルを訓練する。
これらの3つのタスクは、ノイズコントラスト推定と多重インスタンス学習の原則を用いて統合学習フレームワークに統合される。
論文 参考訳（メタデータ） (2020-10-08T14:12:56Z) - BSL-1K: Scaling up co-articulated sign language recognition using
mouthing cues [106.21067543021887]
ビデオデータから高品質なアノテーションを得るために,シグナリングキューの使い方を示す。
BSL-1Kデータセット(英: BSL-1K dataset)は、イギリス手話(英: British Sign Language, BSL)の集合体である。
論文 参考訳（メタデータ） (2020-07-23T16:59:01Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。