論文の概要: Isharah-Selfie: Continuous Sign Language Recognition Dataset for One-handed Signing
- arxiv url: http://arxiv.org/abs/2610.33200v1
- Date: Fri, 23 Oct 2026 18:48:25 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-27 22:27:13.269564
- Title: Isharah-Selfie: Continuous Sign Language Recognition Dataset for One-handed Signing
- Title（参考訳）: Isharah-Selfie: 片手署名のための連続手話認識データセット
- Abstract要約: Isharah-Selfie(イシャラ・セルフィー)は、前面カメラを用いた大規模なアラビア手話(ArSL)データセットである。
データセットは、16人の署名者が1,493件のユニークな文章で実行した8,997本のビデオクリップで構成されており、医療、教育、交通などいくつかの領域をカバーする。
- 参考スコア（独自算出の注目度）: 20.19760590948487
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Current sign language recognition and translation benchmarks are commonly collected in controlled settings using fixed or studio-style cameras, particularly limiting their ability to reflect how signers communicate in everyday mobile scenarios. As such, this gap becomes increasingly evident when considering the Arabic Sign Language (ArSL), which is a primary sign language used across Arab countries. In this work, we introduce Isharah-Selfie, a large-scale ArSL dataset collected entirely using front-facing smartphone cameras under unconstrained selfie conditions. The dataset comprises 8,997 video clips performed by 16 signers across 1,493 unique sentences, covering several domains such as healthcare, education, and transportation. Unlike conventional datasets dominated by fixed-camera, two-handed signing, Isharah-Selfie captures realistic mobile communication characterized by one-handed signing, close-range viewpoints, partial body visibility, camera motion, unconstrained environments, and heterogeneous device resolutions. Each video is annotated with both gloss sequences for continuous sign language recognition (CSLR) and Arabic sentence translations for sign language translation (SLT). Moreover, we define signer-independent and unseen-sentences evaluation protocols to assess generalization across unseen signers and novel sentence compositions. Extensive benchmarks using RGB-based and pose-based data show that current CSLR and SLT methods remain challenged by selfie-style signing conditions, particularly under unseen-sentence evaluation, where compositional generalization remains weak. By releasing Isharah-Selfie, we aim to support research toward robust, user-centered sign language technologies that operate reliably in realistic smartphone-based communication settings. The Isharah-Selfie dataset is available on https://isharah-selfie.github.io/.
- Abstract（参考訳）: 現在の手話認識および翻訳ベンチマークは、固定またはスタジオスタイルのカメラを使用して制御された設定で一般的に収集される。
このように、アラブ諸国で使われる主要な手話であるアラビア手話(ArSL)を考えると、このギャップはますます明らかになる。
本研究では,正面カメラを用いた大規模ARSLデータセットであるIsharah-Selfieを紹介する。
データセットは、16人の署名者が1,493件のユニークな文章で実行した8,997本のビデオクリップで構成されており、医療、教育、交通などいくつかの領域をカバーする。
Isharah-Selfieは、固定カメラ、両手署名で支配される従来のデータセットとは異なり、片手署名、近距離視点、部分的な身体の視認性、カメラモーション、制約のない環境、異種デバイス解像度を特徴とするリアルなモバイル通信をキャプチャする。
各ビデオは、連続手話認識のためのグロスシーケンス(CSLR)と手話翻訳のためのアラビア語文翻訳(SLT)の両方で注釈付けされる。
さらに,未知のシグナと新規文合成を対象とする一般化を評価するために,シグナ非依存および未知の文評価プロトコルを定義した。
RGBとポーズに基づくデータを用いた大規模なベンチマークでは、現在のCSLRとSLTの手法は、特に合成一般化が弱い自撮りスタイルの署名条件によって依然として挑戦されていることが示されている。
Isharah-Selfieをリリースすることによって、現実的なスマートフォンベースのコミュニケーション設定で確実に動作する堅牢でユーザ中心の手話技術に向けた研究を支援することを目指している。
Isharah-Selfieデータセットはhttps://isharah-selfie.github.io/で公開されている。
関連論文リスト
- The In-Car Sign Language Corpus (ICSL): A Multi-Modal Resource for Constrained-Space Sign Language Recognition [32.52475813485339]
In-Car Sign Language (ICSL) dataset for Brazil Sign Language (Libras)
In-Car Sign Language (ICSL) dataset for Brazil Sign Language (Libras)
論文 参考訳（メタデータ） (2026-07-13T10:03:46Z) - Towards Continuous Sign Language Conversation from Isolated Signs [15.139358499214529]
本稿では,これまでで最大のラベル付き孤立符号語彙であるSignaVox-Wと,連続的な3次元手話データセットであるSignaVox-Uを紹介する。
得られたデータを用いて、サイン・ツー・サインの直接対話モデルであるSignaVoxをトレーニングし、事前の署名コンテキストから3次元の身体、手、顔の動き応答を生成する。
論文 参考訳（メタデータ） (2026-05-14T11:22:27Z) - Dual-view Spatio-Temporal Feature Fusion with CNN-Transformer Hybrid Network for Chinese Isolated Sign Language Recognition [7.212104558068557]
本稿では,NationalCSL-DPという手話認識のための2視点手話データセットを提案する。
データセットは、2つの垂直ビューに対して10人の署名者が記録した134140のサインビデオで構成されている。
また、CNNトランスフォーマーネットワークは強力なベースラインであり、予測のための極めて単純だが効果的な融合戦略として提案されている。
論文 参考訳（メタデータ） (2025-06-08T02:04:29Z) - Isharah: A Large-Scale Multi-Scene Dataset for Continuous Sign Language Recognition [5.772467856207932]
本稿では,連続SLRのための大規模マルチシーンデータセットであるIsharahを紹介する。
データセットは18人の聴覚障害者とプロのシグナーによる3万本のビデオクリップで構成されている。
また,複数の手話理解ベンチマークを導入し,手話に依存しないCSLRについて述べる。
論文 参考訳（メタデータ） (2025-06-04T06:48:21Z) - SHuBERT: Self-Supervised Sign Language Representation Learning via Multi-Stream Cluster Prediction [65.1590372072555]
SHuBERT (Sign Hidden-Unit BERT) は、アメリカの手話ビデオ1,000時間から学習した自己教師付き文脈表現モデルである。
SHuBERTは、マスクされたトークン予測目標をマルチストリームの視覚手話入力に適用し、クラスタ化された手、顔、身体のポーズストリームに対応する複数のターゲットを予測することを学習する。
SHuBERTは手話翻訳、手話認識、指先検出など、複数のタスクで最先端のパフォーマンスを実現する。
論文 参考訳（メタデータ） (2024-11-25T03:13:08Z) - EvSign: Sign Language Recognition and Translation with Streaming Events [59.51655336911345]
イベントカメラは、動的手の動きを自然に知覚し、手話作業のための豊富な手作業の手がかりを提供する。
イベントベースSLRおよびSLTタスクのための効率的なトランスフォーマーベースフレームワークを提案する。
計算コストは0.34%に過ぎず,既存の最先端手法に対して良好に機能する。
論文 参考訳（メタデータ） (2024-07-17T14:16:35Z) - Enhancing Brazilian Sign Language Recognition through Skeleton Image Representation [2.6311088262657907]
本研究は、身体、手、顔のランドマークを時間を通して抽出し、2次元画像として符号化する、分離手話認識(ISLR)アプローチを提案する。
ブラジル手話(LIBRAS)における2つの広く認識されているデータセットの性能指標から,本手法が最先端の指標を上回ったことを示す。
より正確であることに加えて、より単純なネットワークアーキテクチャに依存し、入力としてのみRGBデータに依存するため、我々の手法はより時間効率が高く、訓練が容易である。
論文 参考訳（メタデータ） (2024-04-29T23:21:17Z) - Skeleton Based Sign Language Recognition Using Whole-body Keypoints [71.97020373520922]
手話は聴覚障害者や言語障害者のコミュニケーションに使用される。
また,RGB-D法と組み合わせて最先端の性能を実現することで,Skeletonに基づく音声認識が普及しつつある。
近年のボディポーズ推定用citejin 2020wholeの開発に触発されて,全身キーポイントと特徴に基づく手話認識を提案する。
論文 参考訳（メタデータ） (2021-03-16T03:38:17Z) - Transferring Cross-domain Knowledge for Video Sign Language Recognition [103.9216648495958]
単語レベルの手話認識(WSLR)は手話解釈の基本課題である。
ドメイン不変の視覚概念を学習し、サブタイトルのニュースサインの知識を伝達することでWSLRモデルを肥大化させる新しい手法を提案する。
論文 参考訳（メタデータ） (2020-03-08T03:05:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。