論文の概要: SignSeek: Learning Transferable Representations for Sign Dictionary Retrieval
- arxiv url: http://arxiv.org/abs/2609.03695v1
- Date: Thu, 03 Sep 2026 11:31:47 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-04 18:28:39.041858
- Title: SignSeek: Learning Transferable Representations for Sign Dictionary Retrieval
- Title（参考訳）: SignSeek:手話検索のための手話表現の学習
- Abstract要約: textbfSignSeekは、手話によるクロスコーパス検索において、最先端のパフォーマンスを新たに設定する。
全く見えないBritish Sign Language (BSL) へのゼロショットの一般化を実現している。
- 参考スコア（独自算出の注目度）: 20.105725837533722
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Sign language dictionaries are essential resources for sign language learners, yet automatically retrieving a sign from a dictionary, given only a query video, remains a challenging problem due to the natural variability between signers. Existing sign representation learning methods are built for closed-set recognition, producing embeddings that do not generalise to the open-set, signer-independent setting that retrieval demands. \textbf{SignSeek} closes this gap by contrastively learning sign representations with saliency-guided articulator masking. A contrastive objective aligns same-gloss signs across signers, while our Articulator Saliency-Guided Masking (ASGM) pinpoints the single most critical articulator per sign. This drives two complementary objectives, a masked contrastive alignment (MAC) loss that sees the sign through a single articulator and a masked prediction (MAP) loss that reconstructs it in latent space from the surrounding spatio-temporal context. Pretrained on 266K samples ($\sim$5,700 glosses) across multiple sign languages, \textbf{SignSeek} sets a new state-of-the-art performance in cross-corpus retrieval on ASL-Citizen, WLASL, and NMFs-CSL without any downstream fine-tuning. Strikingly, it achieves zero-shot generalisation to an entirely unseen British Sign Language (BSL), surpassing methods explicitly trained on BSL, and transfers seamlessly to isolated sign recognition and subtitle alignment, outperforming prior skeleton-based methods.
- Abstract（参考訳）: 手話辞書は手話学習者にとって必須のリソースであるが、クエリビデオのみを前提として辞書から手話を自動的に検索することは、手話間の自然変動のため、依然として困難な問題である。
既存の手話表現学習法は、クローズドセット認識のために構築され、検索要求であるオープンセットのシグナーに依存しない設定に一般化しない埋め込みを生成する。
\textbf{SignSeek} はこのギャップを埋め、Salliency-guided articulator masking を用いた手話表現を対照的に学習する。
対照的な目的はシグナー間で同じ声門の記号を並べることであり、アーティキュレーターのSaliency-Guided Masking(ASGM)はサインごとに最も重要な調音器をピンポイントにしている。
これは2つの相補的な目標を駆動する: マスク付きコントラストアライメント(MAC)損失は1つの調音器を通してサインを見ることができ、マスク付き予測(MAP)損失は周囲の時空間から潜時空間でそれを再構成する。
ASL-Citizen、WLASL、NMFs-CSL上のクロスコーパス検索において、ダウンストリームの微調整なしで、新しい最先端のパフォーマンスを設定できる。
ストライクに言うと、全く見えないBritish Sign Language(BSL)へのゼロショットの一般化を実現し、BSLで明示的に訓練されたメソッドを超越し、分離された手話認識とサブタイトルアライメントにシームレスに移行し、以前の骨格ベースの手法よりも優れた性能を発揮する。
関連論文リスト
- SignMatch: Matching Dictionary Signs to Continuous Sign Language Video [61.094493488504845]
我々は,各学習可能なプロトタイプが手話クラスに対応する連続的なビデオから,手話の組込み空間を学習する。
分離された辞書ビデオは、このサインスペースにマッピングされ、辞書の例えと連続的なサインインスタンスのマッチングを可能にする。
論文 参考訳（メタデータ） (2026-09-01T21:33:33Z) - Bridging the Gap Between Semantics and Reconstruction:Unifying Sign Language Translation and Production [16.56134410439223]
手話研究の最近の進歩は、複数の手話理解サブタスクを統合する傾向を示している。
言語理解と生産をひとつのフレームワークに統合することは可能か?
統合されたフレームワークは、2つの重要な課題に対処しなければならない。
論文 参考訳（メタデータ） (2026-08-10T02:50:07Z) - Recognising BSL Fingerspelling in Continuous Signing Sequences [48.21890372724633]
FingerspellingはBritish Sign Language(BSL)の重要なコンポーネントである
既存のBSLフィンガースペルデータセットは、規模が小さいか、時間的にも文字的にも不正確である。
我々は,反復的アノテーションフレームワークを用いて構築した大規模BSLフィンガースペルデータセットFS23Kを紹介する。
論文 参考訳（メタデータ） (2026-03-19T23:29:31Z) - Pose-Based Sign Language Spotting via an End-to-End Encoder Architecture [0.4083182125683813]
本稿では,手話検索への第一歩として,問合せ手話ビデオの存在や欠如を検出するという課題に対処する。
中間光沢認識やテキストベースのマッチングに依存する従来の手法とは異なり、手話ビデオから抽出したポーズキーポイントを直接操作するエンドツーエンドモデルを提案する。
アーキテクチャでは,エンコーダのみのバックボーンとバイナリ分類ヘッドを用いて,クエリサインがターゲットシーケンス内に現れるかどうかを判定する。
論文 参考訳（メタデータ） (2025-12-09T15:49:23Z) - Sign Spotting Disambiguation using Large Language Models [29.79050316749927]
本稿では,Large Language Models(LLMs)を統合して,符号スポッティング品質を大幅に向上させる,学習自由フレームワークを提案する。
提案手法は,グローバル・テンポラル・ハンド形状の特徴を抽出し,その特徴を大規模手話辞書と照合する。
この辞書ベースのマッチングは本質的に、モデルの再訓練を必要とせず、より優れた語彙の柔軟性を提供する。
論文 参考訳（メタデータ） (2025-07-04T16:38:09Z) - Signs as Tokens: A Retrieval-Enhanced Multilingual Sign Language Generator [55.94334001112357]
テキスト入力から3Dサインアバターを自動回帰的に生成できる多言語手話モデルSigns as Tokens(SOKE)を導入する。
単語レベルの正確な記号を提供するために,外部記号辞書を組み込んだ検索強化SLG手法を提案する。
論文 参考訳（メタデータ） (2024-11-26T18:28:09Z) - Self-Supervised Representation Learning with Spatial-Temporal Consistency for Sign Language Recognition [96.62264528407863]
本研究では,空間的時間的整合性を通じてリッチな文脈を探索する自己教師付きコントラスト学習フレームワークを提案する。
動きと関節のモーダル性の相補性に着想を得て,手話モデルに一階動作情報を導入する。
提案手法は,4つの公開ベンチマークの広範な実験により評価され,新しい最先端性能と顕著なマージンを実現している。
論文 参考訳（メタデータ） (2024-06-15T04:50:19Z) - Improving Continuous Sign Language Recognition with Cross-Lingual Signs [29.077175863743484]
本稿では,多言語手話コーパスを用いた連続手話認識の実現可能性について検討する。
まず、2つのデータセットに現れる独立した記号を含む2つの手話辞書を構築します。
次に、適切に最適化された手話認識モデルを用いて、2つの手話間の手話間の手話マッピングを同定する。
論文 参考訳（メタデータ） (2023-08-21T15:58:47Z) - BSL-1K: Scaling up co-articulated sign language recognition using
mouthing cues [106.21067543021887]
ビデオデータから高品質なアノテーションを得るために,シグナリングキューの使い方を示す。
BSL-1Kデータセット(英: BSL-1K dataset)は、イギリス手話(英: British Sign Language, BSL)の集合体である。
論文 参考訳（メタデータ） (2020-07-23T16:59:01Z) - Transferring Cross-domain Knowledge for Video Sign Language Recognition [103.9216648495958]
単語レベルの手話認識(WSLR)は手話解釈の基本課題である。
ドメイン不変の視覚概念を学習し、サブタイトルのニュースサインの知識を伝達することでWSLRモデルを肥大化させる新しい手法を提案する。
論文 参考訳（メタデータ） (2020-03-08T03:05:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。