論文の概要: Linguistically Motivated Sign Language Segmentation

• arxiv url: http://arxiv.org/abs/2310.13960v2
• Date: Mon, 30 Oct 2023 13:51:39 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-01 22:14:14.139684
• Title: Linguistically Motivated Sign Language Segmentation
• Title（参考訳）: 言語的動機づけによる手話セグメンテーション
• Authors: Amit Moryossef, Zifan Jiang, Mathias M\"uller, Sarah Ebling, Yoav Goldberg
• Abstract要約: 個々の記号へのセグメンテーションとフレーズへのセグメンテーションという2種類のセグメンテーションを考える。 本手法は手話コーパスで観察される言語的手がかりによって動機付けられている。 私たちは、主要なIOタグ付けスキームをBIOタグに置き換えて、継続的な署名を可能にします。
• 参考スコア（独自算出の注目度）: 51.06873383204105
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Sign language segmentation is a crucial task in sign language processing systems. It enables downstream tasks such as sign recognition, transcription, and machine translation. In this work, we consider two kinds of segmentation: segmentation into individual signs and segmentation into phrases, larger units comprising several signs. We propose a novel approach to jointly model these two tasks. Our method is motivated by linguistic cues observed in sign language corpora. We replace the predominant IO tagging scheme with BIO tagging to account for continuous signing. Given that prosody plays a significant role in phrase boundaries, we explore the use of optical flow features. We also provide an extensive analysis of hand shapes and 3D hand normalization. We find that introducing BIO tagging is necessary to model sign boundaries. Explicitly encoding prosody by optical flow improves segmentation in shallow models, but its contribution is negligible in deeper models. Careful tuning of the decoding algorithm atop the models further improves the segmentation quality. We demonstrate that our final models generalize to out-of-domain video content in a different signed language, even under a zero-shot setting. We observe that including optical flow and 3D hand normalization enhances the robustness of the model in this context.
• Abstract（参考訳）: 手話セグメンテーションは手話処理システムにおいて重要なタスクである。 これは、サイン認識、転写、機械翻訳などの下流タスクを可能にする。 本研究では,個々の記号への分割と,複数の記号からなる大きな単位からなる句への分割という2種類の分割について考察する。 これら2つのタスクを協調的にモデル化する新しい手法を提案する。 本手法は手話コーパスに見られる言語的手がかりに動機づけられている。 我々は、主要なIOタグ付けスキームをBIOタグに置き換えて、継続的な署名を行う。 句境界において韻律が重要な役割を果たすことを考慮し,光フロー機能の利用について検討する。 また,手形と3次元手形正規化の広範囲な解析を行う。 署名境界のモデル化には,BIOタグの導入が必要である。 オプティカルフローによるプロソディの明示的にエンコーディングは、浅いモデルのセグメンテーションを改善するが、深いモデルではその貢献は無視できる。 モデル上における復号アルゴリズムの注意深いチューニングは、セグメンテーション品質をさらに向上させる。 最終モデルは、ゼロショット設定下であっても、異なる署名付き言語でドメイン外のビデオコンテンツに一般化されることを実証する。 光流と3次元ハンド正規化を含め、この文脈でモデルのロバスト性を高めることが観察される。

関連論文リスト

• SignAttention: On the Interpretability of Transformer Models for Sign Language Translation [2.079808290618441]
  本稿では,トランスフォーマーを用いた手話翻訳モデルの最初の包括的解釈可能性解析について述べる。 モデル内の注意機構について検討し,視覚入力を逐次グルースで処理・調整する方法について考察する。 この研究はSLTモデルのより深い理解に寄与し、より透明で信頼性の高い翻訳システムを開発するための道を開いた。
  論文  参考訳（メタデータ） (2024-10-18T14:38:37Z)
• MS2SL: Multimodal Spoken Data-Driven Continuous Sign Language Production [93.32354378820648]
  我々は,手話と非手話のユーザ間のコミュニケーションを緩和する,連続手話生成のための統一フレームワークを提案する。 テキストや音声から抽出した埋め込みを利用したシーケンス拡散モデルを作成し、段階的にサイン予測を生成する。 How2SignとPHOENIX14Tデータセットの実験により、手話生成において、我々のモデルが競合性能を達成することを示す。
  論文  参考訳（メタデータ） (2024-07-04T13:53:50Z)
• T2S-GPT: Dynamic Vector Quantization for Autoregressive Sign Language Production from Text [59.57676466961787]
  本稿では,手話における情報密度に基づいて符号化長を調整できる新しい動的ベクトル量子化(DVA-VAE)モデルを提案する。 PHOENIX14Tデータセットを用いて実験を行い,提案手法の有効性を示した。 我々は,486時間の手話ビデオ,音声,文字起こしテキストを含むドイツ語手話データセットPHOENIX-Newsを提案する。
  論文  参考訳（メタデータ） (2024-06-11T10:06:53Z)
• SignMusketeers: An Efficient Multi-Stream Approach for Sign Language Translation at Scale [22.49602248323602]
  手話ビデオ処理における永続的な課題は、手話表現の学習方法である。 提案手法は,シグナーの顔,手,体姿勢など,署名ビデオの最も関連性の高い部分のみに焦点を当てる。 我々のアプローチは、個々のフレームから(ビデオシーケンスではなく)学習することに基づいており、手話事前学習よりもずっと効率的である。
  論文  参考訳（メタデータ） (2024-06-11T03:00:41Z)
• SignBLEU: Automatic Evaluation of Multi-channel Sign Language Translation [3.9711029428461653]
  マルチチャネル手話翻訳(MCSLT)という新しいタスクを導入する。 本稿では,複数の信号チャネルを捕捉する新しい測度であるSignBLEUを提案する。 SignBLEUは、競合する指標よりも、人間の判断と常に相関していることがわかった。
  論文  参考訳（メタデータ） (2024-06-10T05:01:26Z)
• Diffusion Models for Open-Vocabulary Segmentation [79.02153797465324]
  OVDiffは、教師なしオープン語彙セグメンテーションに生成テキストから画像への拡散モデルを利用する新しい手法である。 トレーニング済みのコンポーネントのみに依存し、トレーニングなしで合成セグメンタを直接出力する。
  論文  参考訳（メタデータ） (2023-06-15T17:51:28Z)
• Signing at Scale: Learning to Co-Articulate Signs for Large-Scale Photo-Realistic Sign Language Production [43.45785951443149]
  手話は視覚言語であり、語彙は話し言葉と同じくらい豊かである。 現在の深層学習に基づく手話生成(SLP)モデルでは、アンダーアーティキュレートされたスケルトンポーズシーケンスが生成される。 我々は,辞書記号間の協調処理を学習することで,大規模SLPに取り組む。 また,ポーズ条件付き人間の合成モデルであるSignGANを提案する。
  論文  参考訳（メタデータ） (2022-03-29T08:51:38Z)
• TSPNet: Hierarchical Feature Learning via Temporal Semantic Pyramid for Sign Language Translation [101.6042317204022]
  手話翻訳(SLT)は、手話のシーケンスをテキストベースの自然言語文に解釈することを目的としている。 既存のSLTモデルは通常、手話の視覚的特徴をフレーム的に表現する。 我々は,TSPNetと呼ばれる時間的意味ピラミッドネットワークを用いて,新しい階層的な手話ビデオ特徴学習手法を開発した。
  論文  参考訳（メタデータ） (2020-10-12T05:58:09Z)
• Watch, read and lookup: learning to spot signs from multiple supervisors [99.50956498009094]
  孤立した手話のビデオが与えられた場合、我々のタスクは、連続的かつ協調的な手話ビデオで署名されたか、どこで署名されたかを特定することである。 我々は,(1)既存の粗末なラベル付き映像を見ること,(2)追加の弱スーパービジョンを提供する関連字幕を読むこと,(3)視覚手話辞書で単語を検索すること,の3つを用いて,利用可能な複数のタイプの監督手法を用いてモデルを訓練する。 これらの3つのタスクは、ノイズコントラスト推定と多重インスタンス学習の原則を用いて統合学習フレームワークに統合される。
  論文  参考訳（メタデータ） (2020-10-08T14:12:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。