論文の概要: Seeing, Signing, and Saying: A Vision-Language Model-Assisted Pipeline for Sign Language Data Acquisition and Curation from Social Media

• arxiv url: http://arxiv.org/abs/2510.25413v1
• Date: Wed, 29 Oct 2025 11:29:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-30 15:50:45.482665
• Title: Seeing, Signing, and Saying: A Vision-Language Model-Assisted Pipeline for Sign Language Data Acquisition and Curation from Social Media
• Title（参考訳）: ヴィジュアルランゲージモデルを用いた手話データ取得とソーシャルメディアからのキュレーション
• Authors: Shakib Yazdani, Yasser Hamidullah, Cristina España-Bonet, Josef van Genabith,
• Abstract要約: 視覚言語モデル(VLM)は評価器やリアルタイムアシスタントとして強力な能力を示している。 データ品質を保ちながら手作業への依存を減らすためにVLMを利用した最初の自動アノテーションとフィルタリングフレームワークを導入する。 提案手法は,8つの手話のTikTokビデオと,ドイツ語手話におけるすでに編集済みのYouTube-SL-25データセットに適用した。
• 参考スコア（独自算出の注目度）: 14.920401718793643
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Most existing sign language translation (SLT) datasets are limited in scale, lack multilingual coverage, and are costly to curate due to their reliance on expert annotation and controlled recording setup. Recently, Vision Language Models (VLMs) have demonstrated strong capabilities as evaluators and real-time assistants. Despite these advancements, their potential remains untapped in the context of sign language dataset acquisition. To bridge this gap, we introduce the first automated annotation and filtering framework that utilizes VLMs to reduce reliance on manual effort while preserving data quality. Our method is applied to TikTok videos across eight sign languages and to the already curated YouTube-SL-25 dataset in German Sign Language for the purpose of additional evaluation. Our VLM-based pipeline includes a face visibility detection, a sign activity recognition, a text extraction from video content, and a judgment step to validate alignment between video and text, implementing generic filtering, annotation and validation steps. Using the resulting corpus, TikTok-SL-8, we assess the performance of two off-the-shelf SLT models on our filtered dataset for German and American Sign Languages, with the goal of establishing baselines and evaluating the robustness of recent models on automatically extracted, slightly noisy data. Our work enables scalable, weakly supervised pretraining for SLT and facilitates data acquisition from social media.
• Abstract（参考訳）: 既存の手話翻訳(SLT)データセットの多くは、スケールに制限があり、多言語カバレッジが欠如しており、専門家のアノテーションや制御された記録設定に依存するため、計算に費用がかかる。 近年,視覚言語モデル (VLM) は評価器やリアルタイムアシスタントとして強力な能力を発揮している。 これらの進歩にもかかわらず、その潜在能力は手話データセットの獲得という文脈では未解決のままである。 このギャップを埋めるために、VLMを利用した最初の自動アノテーションとフィルタリングフレームワークを導入し、データ品質を維持しながら手作業への依存を減らす。 本手法は,8つの手話にまたがるTikTokビデオと,ドイツ語手話におけるすでに編集済みのYouTube-SL-25データセットに適用し,さらなる評価を目的とした。 私たちのVLMベースのパイプラインは、顔の可視性検出、サインアクティビティ認識、ビデオコンテンツからのテキスト抽出、およびビデオとテキストのアライメントを検証するための判定ステップを含み、汎用的なフィルタリング、アノテーション、バリデーション手順を実装しています。 得られたコーパスであるTikTok-SL-8を用いて、ドイツとアメリカの手話のためのフィルタデータセット上での2つの既製のSLTモデルの性能を評価する。 当社の作業は、スケーラブルで弱教師付き事前学習を可能にし、ソーシャルメディアからのデータ取得を容易にする。

関連論文リスト

• Logos as a Well-Tempered Pre-train for Sign Language Recognition [75.42794328290088]
  本稿では,ロシア語 Sign Language (RSL) データセットであるLogosについて述べる。 Logosデータセットに事前トレーニングされたモデルが,他の言語SLRタスクのユニバーサルエンコーダとして使用できることを示す。 視覚的に類似した標識を明示的にラベル付けすることで、下流タスクのためのビジュアルエンコーダとして訓練されたモデル品質が向上することを示す。
  論文  参考訳（メタデータ） (2025-05-15T16:31:49Z)
• Lost in Translation, Found in Context: Sign Language Translation with Contextual Cues [56.038123093599815]
  我々の目的は、連続手話から音声言語テキストへの翻訳である。 署名ビデオと追加のコンテキストキューを組み込む。 文脈的アプローチが翻訳の質を著しく向上させることを示す。
  論文  参考訳（メタデータ） (2025-01-16T18:59:03Z)
• A Tale of Two Languages: Large-Vocabulary Continuous Sign Language Recognition from Spoken Language Supervision [74.972172804514]
  我々は,署名された言語と音声のテキスト間の共同埋め込み空間において,署名シーケンスと出力を抽出できるマルチタスクトランスフォーマーモデルCSLR2を導入する。 新しいデータセットアノテーションは、6時間のテストビデオに対して、連続的なサインレベルアノテーションを提供する。 私たちのモデルは、両方のタスクにおいて、過去の技術状況よりも大幅に優れています。
  論文  参考訳（メタデータ） (2024-05-16T17:19:06Z)
• Toward Informal Language Processing: Knowledge of Slang in Large Language Models [16.42982896928428]
  我々は,スラングの自動処理に関連するタスクセットの評価を支援するデータセットを構築した。 評価と微調整の両面で,2つのコアアプリケーションにおけるデータセットの有効性を示す。 GPT-4のようなLCMはゼロショット設定で優れた性能を発揮するが、我々のデータセットで微調整された小さなBERTのようなモデルは同等の性能を得る。
  論文  参考訳（メタデータ） (2024-04-02T21:50:18Z)
• LSA-T: The first continuous Argentinian Sign Language dataset for Sign Language Translation [52.87578398308052]
  手話翻訳(SLT)は、人間とコンピュータの相互作用、コンピュータビジョン、自然言語処理、機械学習を含む活発な研究分野である。 本稿では,最初の連続的アルゼンチン手話(LSA)データセットを提案する。 このビデオには、CN Sordos YouTubeチャンネルから抽出されたLCAの14,880の文レベルのビデオと、各署名者のためのラベルとキーポイントアノテーションが含まれている。
  論文  参考訳（メタデータ） (2022-11-14T14:46:44Z)
• ASL-Homework-RGBD Dataset: An annotated dataset of 45 fluent and non-fluent signers performing American Sign Language homeworks [32.3809065803553]
  このデータセットには、American Sign Language (ASL) を使用した、流動的で非流動的なシグナのビデオが含まれている。 受講生は45名、受講生は45名、受講生は45名であった。 データは、文法的特徴や非マニュアルマーカーを含む署名のいくつかの側面を特定するために注釈付けされている。
  論文  参考訳（メタデータ） (2022-07-08T17:18:49Z)
• WLASL-LEX: a Dataset for Recognising Phonological Properties in American Sign Language [2.814213966364155]
  我々は6つの異なる音韻特性を付加したアメリカ手話記号の大規模データセットを構築した。 データ駆動のエンドツーエンドと機能ベースのアプローチが、これらの特性を自動認識するために最適化できるかどうかを検討する。
  論文  参考訳（メタデータ） (2022-03-11T17:21:24Z)
• A Simple Multi-Modality Transfer Learning Baseline for Sign Language Translation [54.29679610921429]
  既存の手話データセットには、約10K-20Kの手話ビデオ、グロスアノテーション、テキストが含まれています。 したがって、データは効果的な手話翻訳モデルの訓練のボトルネックとなる。 この単純なベースラインは、2つの手話翻訳ベンチマークで過去の最先端の結果を上回っている。
  論文  参考訳（メタデータ） (2022-03-08T18:59:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。