論文の概要: signwriting-evaluation: Effective Sign Language Evaluation via SignWriting
- arxiv url: http://arxiv.org/abs/2410.13668v1
- Date: Thu, 17 Oct 2024 15:28:45 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-10-18 13:20:01.872533
- Title: signwriting-evaluation: Effective Sign Language Evaluation via SignWriting
- Title（参考訳）: signwriting-evaluation:SignWritingによる効果的な手書き言語評価
- Authors: Amit Moryossef, Rotem Zilberman, Ohad Langer,
- Abstract要約: 本稿では,SignWritingに特化して設計された評価指標を総合的に紹介する。
シングルサインの評価と継続的署名の課題に対処する。
以上の結果から,各指標の長所と短所が明らかとなり,今後の進歩に有意義な洞察が得られた。
- 参考スコア（独自算出の注目度）: 3.484261625026626
- License:
- Abstract: The lack of automatic evaluation metrics tailored for SignWriting presents a significant obstacle in developing effective transcription and translation models for signed languages. This paper introduces a comprehensive suite of evaluation metrics specifically designed for SignWriting, including adaptations of standard metrics such as \texttt{BLEU} and \texttt{chrF}, the application of \texttt{CLIPScore} to SignWriting images, and a novel symbol distance metric unique to our approach. We address the distinct challenges of evaluating single signs versus continuous signing and provide qualitative demonstrations of metric efficacy through score distribution analyses and nearest-neighbor searches within the SignBank corpus. Our findings reveal the strengths and limitations of each metric, offering valuable insights for future advancements using SignWriting. This work contributes essential tools for evaluating SignWriting models, facilitating progress in the field of sign language processing. Our code is available at \url{https://github.com/sign-language-processing/signwriting-evaluation}.
- Abstract（参考訳）: SignWriting用に調整された自動評価指標の欠如は、署名言語のための効果的な転写および翻訳モデルを開発する上で、大きな障害となる。
本稿では,SignWritingに特化して設計された評価指標の包括的スイートについて紹介する。例えば, \texttt{BLEU} や \texttt{chrF} などの標準メトリクスの適応, SignWriting 画像への \texttt{CLIPScore} の適用, および我々のアプローチに特有の新しいシンボル距離メートル法などである。
我々は,シングルサインの評価と連続署名の課題に対処し,スコア分布分析やSignBankコーパス内の最寄りの検索を通じて,メトリクスの有効性の質的な実証を行う。
以上の結果から,各指標の強度と限界が明らかとなり,SignWritingを用いた今後の進歩に対する貴重な洞察が得られた。
この研究は、手話処理の分野における進歩を促進するために、手話モデルを評価するための重要なツールに貢献する。
私たちのコードは \url{https://github.com/sign- language-processing/signwriting-evaluation} で利用可能です。
関連論文リスト
- MS2SL: Multimodal Spoken Data-Driven Continuous Sign Language Production [93.32354378820648]
我々は,手話と非手話のユーザ間のコミュニケーションを緩和する,連続手話生成のための統一フレームワークを提案する。
テキストや音声から抽出した埋め込みを利用したシーケンス拡散モデルを作成し、段階的にサイン予測を生成する。
How2SignとPHOENIX14Tデータセットの実験により、手話生成において、我々のモデルが競合性能を達成することを示す。
論文 参考訳（メタデータ） (2024-07-04T13:53:50Z) - SignMusketeers: An Efficient Multi-Stream Approach for Sign Language Translation at Scale [22.49602248323602]
手話ビデオ処理における永続的な課題は、手話表現の学習方法である。
提案手法は,シグナーの顔,手,体姿勢など,署名ビデオの最も関連性の高い部分のみに焦点を当てる。
我々のアプローチは、個々のフレームから(ビデオシーケンスではなく)学習することに基づいており、手話事前学習よりもずっと効率的である。
論文 参考訳（メタデータ） (2024-06-11T03:00:41Z) - Autoregressive Sign Language Production: A Gloss-Free Approach with Discrete Representations [8.254354613959224]
グロスフリー手話生成(SLP)は、手話文を直接手話に翻訳する。
本稿では、ベクトル量子化を利用して、符号ポーズ列から離散表現を導出する新しいSLP手法を提案する。
論文 参考訳（メタデータ） (2023-09-21T15:46:01Z) - Multiscale Feature Learning Using Co-Tuplet Loss for Offline Handwritten Signature Verification [0.0]
我々は,MultiScale Signature Feature Learning Network (MS-SigNet)を紹介した。
MS-SigNetは、複数の空間スケールからグローバルと地域両方の署名機能を学び、特徴の識別を強化する。
また、この言語のための堅牢なシステム開発を支援するため、大規模な中国語署名データセットであるHanSigも提示する。
論文 参考訳（メタデータ） (2023-08-01T10:14:43Z) - On the Importance of Signer Overlap for Sign Language Detection [65.26091369630547]
我々は,手話検出のための現在のベンチマークデータセットは,一般化が不十分な過度に肯定的な結果であると主張している。
我々は、現在の符号検出ベンチマークデータセットに対するシグナ重なりの影響を詳細に分析することでこれを定量化する。
我々は、重複のない新しいデータセット分割を提案し、より現実的なパフォーマンス評価を可能にします。
論文 参考訳（メタデータ） (2023-03-19T22:15:05Z) - Automatic dense annotation of large-vocabulary sign language videos [85.61513254261523]
自動アノテーションの密度を大幅に高めるための,シンプルでスケーラブルなフレームワークを提案する。
これらのアノテーションは手話研究コミュニティをサポートするために公開されています。
論文 参考訳（メタデータ） (2022-08-04T17:55:09Z) - Read and Attend: Temporal Localisation in Sign Language Videos [84.30262812057994]
我々は,連続署名ストリームを取り込み,一連の文書トークンを出力するトランスフォーマーモデルを訓練する。
入力シーケンス内の符号インスタンスの大規模な語彙に出席する能力を得て,その局所化を可能にすることを示す。
論文 参考訳（メタデータ） (2021-03-30T16:39:53Z) - Watch, read and lookup: learning to spot signs from multiple supervisors [99.50956498009094]
孤立した手話のビデオが与えられた場合、我々のタスクは、連続的かつ協調的な手話ビデオで署名されたか、どこで署名されたかを特定することである。
我々は,(1)既存の粗末なラベル付き映像を見ること,(2)追加の弱スーパービジョンを提供する関連字幕を読むこと,(3)視覚手話辞書で単語を検索すること,の3つを用いて,利用可能な複数のタイプの監督手法を用いてモデルを訓練する。
これらの3つのタスクは、ノイズコントラスト推定と多重インスタンス学習の原則を用いて統合学習フレームワークに統合される。
論文 参考訳（メタデータ） (2020-10-08T14:12:56Z) - BSL-1K: Scaling up co-articulated sign language recognition using
mouthing cues [106.21067543021887]
ビデオデータから高品質なアノテーションを得るために,シグナリングキューの使い方を示す。
BSL-1Kデータセット(英: BSL-1K dataset)は、イギリス手話(英: British Sign Language, BSL)の集合体である。
論文 参考訳（メタデータ） (2020-07-23T16:59:01Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。