論文の概要: Reconsidering Sentence-Level Sign Language Translation

• arxiv url: http://arxiv.org/abs/2406.11049v1
• Date: Sun, 16 Jun 2024 19:19:54 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-18 19:13:27.051899
• Title: Reconsidering Sentence-Level Sign Language Translation
• Title（参考訳）: 文レベル手話翻訳の再検討
• Authors: Garrett Tanzer, Maximus Shengelia, Ken Harrenstien, David Uthus,
• Abstract要約: サンプル中の33%の文に対して,流用なDeafシグナ・アノテータは談話レベルの文脈から,クリップのキー部分のみを理解できた。 これらの結果は、機械学習を新しいドメインに適用する際の理解と健全性検査の重要性を浮き彫りにしている。
• 参考スコア（独自算出の注目度）: 2.099922236065961
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Historically, sign language machine translation has been posed as a sentence-level task: datasets consisting of continuous narratives are chopped up and presented to the model as isolated clips. In this work, we explore the limitations of this task framing. First, we survey a number of linguistic phenomena in sign languages that depend on discourse-level context. Then as a case study, we perform the first human baseline for sign language translation that actually substitutes a human into the machine learning task framing, rather than provide the human with the entire document as context. This human baseline -- for ASL to English translation on the How2Sign dataset -- shows that for 33% of sentences in our sample, our fluent Deaf signer annotators were only able to understand key parts of the clip in light of additional discourse-level context. These results underscore the importance of understanding and sanity checking examples when adapting machine learning to new domains.
• Abstract（参考訳）: 歴史的に、手話機械翻訳は文レベルのタスクとして提示され、連続的な物語からなるデータセットが切り上げられ、孤立したクリップとしてモデルに提示される。 本研究では,この課題の限界について検討する。 まず、談話レベルの文脈に依存する手話言語における多くの言語現象を調査する。 そして、事例研究として、文書全体をコンテキストとして人間に提供するのではなく、実際に人間を機械学習タスクのフレーミングに置き換える手話翻訳のための最初の人間ベースラインを実行する。 この人間のベースライン – How2Signデータセット上のASLから英語への翻訳 – は、私たちのサンプルの33%の文に対して、流線型なDeafシグナアノテータは、追加の談話レベルのコンテキストを考慮して、クリップのキー部分のみを理解することができたことを示しています。 これらの結果は、機械学習を新しいドメインに適用する際の理解と健全性検査の重要性を浮き彫りにしている。

関連論文リスト

• A Tale of Two Languages: Large-Vocabulary Continuous Sign Language Recognition from Spoken Language Supervision [74.972172804514]
  我々は,署名された言語と音声のテキスト間の共同埋め込み空間において,署名シーケンスと出力を抽出できるマルチタスクトランスフォーマーモデルCSLR2を導入する。 新しいデータセットアノテーションは、6時間のテストビデオに対して、連続的なサインレベルアノテーションを提供する。 私たちのモデルは、両方のタスクにおいて、過去の技術状況よりも大幅に優れています。
  論文  参考訳（メタデータ） (2024-05-16T17:19:06Z)
• LSA-T: The first continuous Argentinian Sign Language dataset for Sign Language Translation [52.87578398308052]
  手話翻訳(SLT)は、人間とコンピュータの相互作用、コンピュータビジョン、自然言語処理、機械学習を含む活発な研究分野である。 本稿では,最初の連続的アルゼンチン手話(LSA)データセットを提案する。 このビデオには、CN Sordos YouTubeチャンネルから抽出されたLCAの14,880の文レベルのビデオと、各署名者のためのラベルとキーポイントアノテーションが含まれている。
  論文  参考訳（メタデータ） (2022-11-14T14:46:44Z)
• Topic Detection in Continuous Sign Language Videos [23.43298383445439]
  本稿では,手話話題検出の新しい課題について紹介する。 複数のセマンティックドメインにまたがる大規模ビデオデータセットであるHow2Signについて実験を行った。
  論文  参考訳（メタデータ） (2022-09-01T19:17:35Z)
• Building Korean Sign Language Augmentation (KoSLA) Corpus with Data Augmentation Technique [0.0]
  我々は手話翻訳のためのコーパスの効率的なフレームワークを提案する。 手話の言語的特徴を考慮することで,提案するフレームワークは,マルチモーダル手話拡張コーパスを構築するための最初の,ユニークな試みである。
  論文  参考訳（メタデータ） (2022-07-12T02:12:36Z)
• Keypoint based Sign Language Translation without Glosses [7.240731862549344]
  署名者の骨格点に基づく翻訳を行うための新しいキーポイント正規化法を提案する。 身体部分に応じてカスタマイズされた正規化法により性能改善に寄与した。 本手法は,グルースを使わずにデータセットに適用可能な方法で,様々なデータセットに適用することができる。
  論文  参考訳（メタデータ） (2022-04-22T05:37:56Z)
• WLASL-LEX: a Dataset for Recognising Phonological Properties in American Sign Language [2.814213966364155]
  我々は6つの異なる音韻特性を付加したアメリカ手話記号の大規模データセットを構築した。 データ駆動のエンドツーエンドと機能ベースのアプローチが、これらの特性を自動認識するために最適化できるかどうかを検討する。
  論文  参考訳（メタデータ） (2022-03-11T17:21:24Z)
• A Simple Multi-Modality Transfer Learning Baseline for Sign Language Translation [54.29679610921429]
  既存の手話データセットには、約10K-20Kの手話ビデオ、グロスアノテーション、テキストが含まれています。 したがって、データは効果的な手話翻訳モデルの訓練のボトルネックとなる。 この単純なベースラインは、2つの手話翻訳ベンチマークで過去の最先端の結果を上回っている。
  論文  参考訳（メタデータ） (2022-03-08T18:59:56Z)
• Leveraging Pre-trained Language Model for Speech Sentiment Analysis [58.78839114092951]
  本研究では、事前学習された言語モデルを用いて、文章の感情情報を学習し、音声の感情分析を行う。 本稿では,言語モデルを用いた擬似ラベルに基づく半教師付き訓練戦略を提案する。
  論文  参考訳（メタデータ） (2021-06-11T20:15:21Z)
• Multilingual Neural RST Discourse Parsing [24.986030179701405]
  本稿では,多言語ベクトル表現とセグメントレベルの翻訳によるニューラル言語間対話を確立するための2つの手法について検討する。 実験結果から,両手法は訓練データに制限があっても有効であり,言語横断的,文書レベルの談話解析における最先端性能を実現することができることがわかった。
  論文  参考訳（メタデータ） (2020-12-03T05:03:38Z)
• Watch, read and lookup: learning to spot signs from multiple supervisors [99.50956498009094]
  孤立した手話のビデオが与えられた場合、我々のタスクは、連続的かつ協調的な手話ビデオで署名されたか、どこで署名されたかを特定することである。 我々は,(1)既存の粗末なラベル付き映像を見ること,(2)追加の弱スーパービジョンを提供する関連字幕を読むこと,(3)視覚手話辞書で単語を検索すること,の3つを用いて,利用可能な複数のタイプの監督手法を用いてモデルを訓練する。 これらの3つのタスクは、ノイズコントラスト推定と多重インスタンス学習の原則を用いて統合学習フレームワークに統合される。
  論文  参考訳（メタデータ） (2020-10-08T14:12:56Z)
• Sign Language Transformers: Joint End-to-end Sign Language Recognition and Translation [59.38247587308604]
  本稿では,連続手話認識と翻訳を共同で学習するトランスフォーマーアーキテクチャを提案する。 RWTH-PHOENIX-Weather-2014Tデータセットの認識と翻訳性能の評価を行った。 我々の翻訳ネットワークは、動画を音声言語に、光沢を音声言語翻訳モデルに、どちらよりも優れています。
  論文  参考訳（メタデータ） (2020-03-30T21:35:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。