論文の概要: Linguistically Motivated Sign Language Segmentation
- arxiv url: http://arxiv.org/abs/2310.13960v2
- Date: Mon, 30 Oct 2023 13:51:39 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-01 22:14:14.139684
- Title: Linguistically Motivated Sign Language Segmentation
- Title(参考訳): 言語的動機づけによる手話セグメンテーション
- Authors: Amit Moryossef, Zifan Jiang, Mathias M\"uller, Sarah Ebling, Yoav
Goldberg
- Abstract要約: 個々の記号へのセグメンテーションとフレーズへのセグメンテーションという2種類のセグメンテーションを考える。
本手法は手話コーパスで観察される言語的手がかりによって動機付けられている。
私たちは、主要なIOタグ付けスキームをBIOタグに置き換えて、継続的な署名を可能にします。
- 参考スコア(独自算出の注目度): 51.06873383204105
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Sign language segmentation is a crucial task in sign language processing
systems. It enables downstream tasks such as sign recognition, transcription,
and machine translation. In this work, we consider two kinds of segmentation:
segmentation into individual signs and segmentation into phrases, larger units
comprising several signs. We propose a novel approach to jointly model these
two tasks.
Our method is motivated by linguistic cues observed in sign language corpora.
We replace the predominant IO tagging scheme with BIO tagging to account for
continuous signing. Given that prosody plays a significant role in phrase
boundaries, we explore the use of optical flow features. We also provide an
extensive analysis of hand shapes and 3D hand normalization.
We find that introducing BIO tagging is necessary to model sign boundaries.
Explicitly encoding prosody by optical flow improves segmentation in shallow
models, but its contribution is negligible in deeper models. Careful tuning of
the decoding algorithm atop the models further improves the segmentation
quality.
We demonstrate that our final models generalize to out-of-domain video
content in a different signed language, even under a zero-shot setting. We
observe that including optical flow and 3D hand normalization enhances the
robustness of the model in this context.
- Abstract(参考訳): 手話セグメンテーションは手話処理システムにおいて重要なタスクである。
これは、サイン認識、転写、機械翻訳などの下流タスクを可能にする。
本研究では,個々の記号への分割と,複数の記号からなる大きな単位からなる句への分割という2種類の分割について考察する。
これら2つのタスクを協調的にモデル化する新しい手法を提案する。
本手法は手話コーパスに見られる言語的手がかりに動機づけられている。
我々は、主要なIOタグ付けスキームをBIOタグに置き換えて、継続的な署名を行う。
句境界において韻律が重要な役割を果たすことを考慮し,光フロー機能の利用について検討する。
また,手形と3次元手形正規化の広範囲な解析を行う。
署名境界のモデル化には,BIOタグの導入が必要である。
オプティカルフローによるプロソディの明示的にエンコーディングは、浅いモデルのセグメンテーションを改善するが、深いモデルではその貢献は無視できる。
モデル上における復号アルゴリズムの注意深いチューニングは、セグメンテーション品質をさらに向上させる。
最終モデルは、ゼロショット設定下であっても、異なる署名付き言語でドメイン外のビデオコンテンツに一般化されることを実証する。
光流と3次元ハンド正規化を含め、この文脈でモデルのロバスト性を高めることが観察される。
関連論文リスト
- Topic Detection in Continuous Sign Language Videos [23.43298383445439]
本稿では,手話話題検出の新しい課題について紹介する。
複数のセマンティックドメインにまたがる大規模ビデオデータセットであるHow2Signについて実験を行った。
論文 参考訳(メタデータ) (2022-09-01T19:17:35Z) - Signing at Scale: Learning to Co-Articulate Signs for Large-Scale
Photo-Realistic Sign Language Production [43.45785951443149]
手話は視覚言語であり、語彙は話し言葉と同じくらい豊かである。
現在の深層学習に基づく手話生成(SLP)モデルでは、アンダーアーティキュレートされたスケルトンポーズシーケンスが生成される。
我々は,辞書記号間の協調処理を学習することで,大規模SLPに取り組む。
また,ポーズ条件付き人間の合成モデルであるSignGANを提案する。
論文 参考訳(メタデータ) (2022-03-29T08:51:38Z) - Single-Stream Multi-Level Alignment for Vision-Language Pretraining [103.09776737512078]
モーダルを複数のレベルで整列させる単一ストリームモデルを提案する。
対称的相互モダリティ再構築と擬似ラベル付きキーワード予測という2つの新しいタスクを用いてこれを実現する。
我々は、ゼロショット/ファインチューニングされた画像/テキスト検索、参照表現、VQAといった一連の視覚言語タスクにおいて、トップパフォーマンスを示す。
論文 参考訳(メタデータ) (2022-03-27T21:16:10Z) - Modeling Intensification for Sign Language Generation: A Computational
Approach [13.57903290481737]
エンドツーエンドの手話生成モデルは手話の韻律を正確に表現していない。
我々は、データ駆動方式で強化をモデル化することで、生成した手話における韻律を改善することを目指している。
自動メトリクスで評価すると、強化モデリングにおける我々の取り組みがより良い結果をもたらすことが分かりました。
論文 参考訳(メタデータ) (2022-03-18T01:13:21Z) - A Simple Multi-Modality Transfer Learning Baseline for Sign Language
Translation [54.29679610921429]
既存の手話データセットには、約10K-20Kの手話ビデオ、グロスアノテーション、テキストが含まれています。
したがって、データは効果的な手話翻訳モデルの訓練のボトルネックとなる。
この単純なベースラインは、2つの手話翻訳ベンチマークで過去の最先端の結果を上回っている。
論文 参考訳(メタデータ) (2022-03-08T18:59:56Z) - Context Matters: Self-Attention for Sign Language Recognition [1.005130974691351]
本稿では,継続的署名言語認識の課題に対する注目ネットワークを提案する。
符号言語のモダリティをモデル化するために、データの共依存ストリームを利用する。
モデルが支配的な手と顔の領域の周りを回転する重要な手話コンポーネントを識別することができることがわかります。
論文 参考訳(メタデータ) (2021-01-12T17:40:19Z) - TSPNet: Hierarchical Feature Learning via Temporal Semantic Pyramid for
Sign Language Translation [101.6042317204022]
手話翻訳(SLT)は、手話のシーケンスをテキストベースの自然言語文に解釈することを目的としている。
既存のSLTモデルは通常、手話の視覚的特徴をフレーム的に表現する。
我々は,TSPNetと呼ばれる時間的意味ピラミッドネットワークを用いて,新しい階層的な手話ビデオ特徴学習手法を開発した。
論文 参考訳(メタデータ) (2020-10-12T05:58:09Z) - Watch, read and lookup: learning to spot signs from multiple supervisors [99.50956498009094]
孤立した手話のビデオが与えられた場合、我々のタスクは、連続的かつ協調的な手話ビデオで署名されたか、どこで署名されたかを特定することである。
我々は,(1)既存の粗末なラベル付き映像を見ること,(2)追加の弱スーパービジョンを提供する関連字幕を読むこと,(3)視覚手話辞書で単語を検索すること,の3つを用いて,利用可能な複数のタイプの監督手法を用いてモデルを訓練する。
これらの3つのタスクは、ノイズコントラスト推定と多重インスタンス学習の原則を用いて統合学習フレームワークに統合される。
論文 参考訳(メタデータ) (2020-10-08T14:12:56Z) - Transferring Cross-domain Knowledge for Video Sign Language Recognition [103.9216648495958]
単語レベルの手話認識(WSLR)は手話解釈の基本課題である。
ドメイン不変の視覚概念を学習し、サブタイトルのニュースサインの知識を伝達することでWSLRモデルを肥大化させる新しい手法を提案する。
論文 参考訳(メタデータ) (2020-03-08T03:05:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。