論文の概要: SignMatch: Matching Dictionary Signs to Continuous Sign Language Video

• arxiv url: http://arxiv.org/abs/2609.01886v1
• Date: Tue, 01 Sep 2026 21:33:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-03 17:53:17.988964
• Title: SignMatch: Matching Dictionary Signs to Continuous Sign Language Video
• Title（参考訳）: SignMatch: 連続手話ビデオにマッチする辞書
• Abstract要約: 我々は,各学習可能なプロトタイプが手話クラスに対応する連続的なビデオから,手話の組込み空間を学習する。 分離された辞書ビデオは、このサインスペースにマッピングされ、辞書の例えと連続的なサインインスタンスのマッチングを可能にする。
• 参考スコア（独自算出の注目度）: 61.094493488504845
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: The objective of this paper is to match dictionary sign videos to corresponding signs in continuous signing videos, where a match is defined by the visual similarity alone - the handshape and motion relative to the body. To achieve this, we learn a prototype-structured sign embedding space from continuous video annotated with signs, where each learnable prototype corresponds to a sign class. Isolated dictionary videos are then mapped into this sign space, enabling the matching between dictionary exemplars and continuous sign instances. This design supports direct dictionary-guided sign matching through embedding similarity and naturally extends to unseen signs using only dictionary exemplars. Experiments on ASL-Citizen dictionary retrieval, ChaLearn OSLWL dictionary-to-continuous sign matching, and using BOBSL's CSLR2 evaluation for automatic sign annotation demonstrate strong generalisation across datasets, tasks and sign languages. Without benchmark-specific supervision, the learned representation transfers effectively across American, British, and Spanish Sign Languages, outperforming prior methods on all three benchmarks. Project page: https://www.robots.ox.ac.uk/~vgg/research/signmatch/
• Abstract（参考訳）: 本研究の目的は、連続署名ビデオにおける辞書のサインビデオと対応する記号とをマッチングすることであり、その一致は、身体に対する手形と動きの視覚的類似性のみで定義される。 これを実現するために,各学習可能なプロトタイプが手話クラスに対応する連続的なビデオからプロトタイプ構造付き手話埋め込み空間を学習する。 分離された辞書ビデオは、このサインスペースにマッピングされ、辞書の例えと連続的なサインインスタンスのマッチングを可能にする。 この設計は、類似性を埋め込んで直接辞書誘導符号マッチングをサポートし、辞書例のみを用いて自然に未知の記号に拡張する。 ASL-Citizen辞書検索、ChaLearn OSLWL辞書連続手話マッチング、自動手話アノテーションに対するBOBSLのCSLR2評価を用いた実験は、データセット、タスク、手話言語間の強力な一般化を示している。 ベンチマーク固有の監督がなければ、学習された表現は、アメリカ、イギリス、スペイン手話の間で効果的に伝達され、3つのベンチマークで先行した手法よりも優れている。 プロジェクトページ: https://www.robots.ox.uk/~vgg/research/signmatch/

関連論文リスト

• SignSeek: Learning Transferable Representations for Sign Dictionary Retrieval [20.105725837533722]
  textbfSignSeekは、手話によるクロスコーパス検索において、最先端のパフォーマンスを新たに設定する。 全く見えないBritish Sign Language (BSL) へのゼロショットの一般化を実現している。
  論文  参考訳（メタデータ） (2026-09-03T11:31:47Z)
• New Capability to Look Up an ASL Sign from a Video Example [4.992008196032313]
  ASL符号のビデオの検索を可能にするために,Web上で公開された新しいシステムについて述べる。 ユーザは分析のためにビデオを提出し、最も可能性の高い5つのサインマッチが提示される。 このビデオ検索は、ASLビデオデータの言語アノテーションを容易にするために、最新のSignStreamソフトウェアに統合されています。
  論文  参考訳（メタデータ） (2024-07-18T15:14:35Z)
• Improving Continuous Sign Language Recognition with Cross-Lingual Signs [29.077175863743484]
  本稿では,多言語手話コーパスを用いた連続手話認識の実現可能性について検討する。 まず、2つのデータセットに現れる独立した記号を含む2つの手話辞書を構築します。 次に、適切に最適化された手話認識モデルを用いて、2つの手話間の手話間の手話マッピングを同定する。
  論文  参考訳（メタデータ） (2023-08-21T15:58:47Z)
• Learnt Contrastive Concept Embeddings for Sign Recognition [33.72708697077754]
  我々は手話と話し言葉のギャップを埋める手話埋め込みを明示的に作成することに注力する。 我々は手話ビデオの言語ラベルに基づく埋め込みの語彙を訓練する。 我々は,NLP法から単語埋め込みを活用可能な概念的類似性損失を開発し,音声言語対応に優れた手話を含む手話埋め込みを生成する。
  論文  参考訳（メタデータ） (2023-08-18T12:47:18Z)
• Weakly-supervised Fingerspelling Recognition in British Sign Language Videos [85.61513254261523]
  従来の指スペル認識法は、British Sign Language (BSL) に焦点を絞っていない 従来の手法とは対照的に,本手法はトレーニング用字幕の弱いアノテーションのみを使用する。 本稿では,このタスクに適応したTransformerアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2022-11-16T15:02:36Z)
• Scaling up sign spotting through sign language dictionaries [99.50956498009094]
  この作業の焦点は、$textitsign spotting$ - 分離されたサインのビデオの場合、$textitwwhere$ と $textitwhere$ の識別が、連続的かつ協調的な手話ビデオで署名されている。 我々は,(1) $textitwatching$既存の映像を口コミでスムーズにラベル付けする,(2) $textitreading$ associated subtitles that provide additional translations of the signed content。 アプローチの有効性を低く検証する。
  論文  参考訳（メタデータ） (2022-05-09T10:00:03Z)
• Read and Attend: Temporal Localisation in Sign Language Videos [84.30262812057994]
  我々は,連続署名ストリームを取り込み,一連の文書トークンを出力するトランスフォーマーモデルを訓練する。 入力シーケンス内の符号インスタンスの大規模な語彙に出席する能力を得て,その局所化を可能にすることを示す。
  論文  参考訳（メタデータ） (2021-03-30T16:39:53Z)
• Watch, read and lookup: learning to spot signs from multiple supervisors [99.50956498009094]
  孤立した手話のビデオが与えられた場合、我々のタスクは、連続的かつ協調的な手話ビデオで署名されたか、どこで署名されたかを特定することである。 我々は,(1)既存の粗末なラベル付き映像を見ること,(2)追加の弱スーパービジョンを提供する関連字幕を読むこと,(3)視覚手話辞書で単語を検索すること,の3つを用いて,利用可能な複数のタイプの監督手法を用いてモデルを訓練する。 これらの3つのタスクは、ノイズコントラスト推定と多重インスタンス学習の原則を用いて統合学習フレームワークに統合される。
  論文  参考訳（メタデータ） (2020-10-08T14:12:56Z)
• Transferring Cross-domain Knowledge for Video Sign Language Recognition [103.9216648495958]
  単語レベルの手話認識(WSLR)は手話解釈の基本課題である。 ドメイン不変の視覚概念を学習し、サブタイトルのニュースサインの知識を伝達することでWSLRモデルを肥大化させる新しい手法を提案する。
  論文  参考訳（メタデータ） (2020-03-08T03:05:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。