論文の概要: A Reverse Sign Language Dictionary: Open-Vocabulary Sign Recognition from Continuous Signing via Video Captioning and Description Retrieval
- arxiv url: http://arxiv.org/abs/2609.03788v1
- Date: Thu, 03 Sep 2026 12:59:40 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-04 18:28:39.061086
- Title: A Reverse Sign Language Dictionary: Open-Vocabulary Sign Recognition from Continuous Signing via Video Captioning and Description Retrieval
- Title（参考訳）: 逆手話辞書:ビデオキャプションと記述検索による連続手話からの開語彙手話認識
- Abstract要約: 孤立手話認識(ISLR)は、伝統的にグロスラベルよりもクローズセットの分類として用いられる。
1) 署名レベルのクリップを自由形式の手続き記述にキャプションすることで, 連続署名から抽出した記号を認識する。
また、多言語文エンコーダを用いて、ターゲット記述の語彙から最も近いエントリを検索する。
- 参考スコア（独自算出の注目度）: 12.401695577371056
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Isolated Sign Language Recognition (ISLR) is conventionally cast as closed-set classification over gloss labels, which cannot generalize to signs unseen in training and ties every deployment to a gloss-annotated lexicon. We instead recognize signs extracted from continuous signing by (1) captioning a sign-level clip into a free-form procedural description of the articulation with an open-weight vision-language model, and (2) retrieving the closest entry from a vocabulary of target descriptions with a multilingual sentence encoder: a reverse sign language dictionary that needs no gloss supervision and admits an open vocabulary. On 1,300 sign-level segments from a Japanese Sign Language (JSL) dialogue corpus annotated with procedural descriptions (against a 2% top-10 chance floor over the 503-entry target vocabulary), fine-tuning the captioner substantially improves seen-class retrieval: language and vision tower fine-tuning raises top-10 retrieval on seen classes from 4.5% (untrained) to 49%, becoming statistically indistinguishable from a standard supervised closed-set classifier (I3D) on two of the three test sets where a closed-set classifier can be evaluated at all. More importantly, unseen-class retrieval also improves significantly over the untrained pipeline (11.5% -> 21.0% top-10, p=0.0094), a regime in which the closed-set classifier cannot participate. A matcher-side empirical upper-bound analysis shows the sentence encoder already recovers close to 100% of paraphrased gold descriptions, locating a gap in captioning quality that we aim to address in future work. To our knowledge this is the first description-based, open-vocabulary sign lookup from continuous signing without gloss supervision, and the first for JSL.
- Abstract（参考訳）: 孤立手話認識(ISLR)は、通常、グロスラベルよりもクローズセットの分類として使われており、トレーニングで見えない記号に一般化することはできず、すべての配置をグロス注釈のレキシコンに結び付ける。
その代わりに,(1) 符号レベルのクリップをオープンウェイトな視覚言語モデルで記述した自由形式のプロシージャ記述にキャプションし,(2) 多言語文エンコーダによる目的記述の語彙から最も近い入力を検索する。
日本語手話(JSL)対話コーパスからの1,300のサインレベルセグメントに、手続き的記述(503-エントリ対象語彙の2%のトップ10のチャンスフロア)を付加し、キャプタの微調整により、目に見えるクラス検索が大幅に改善される:言語と視覚タワーの微調整は、目に見えるクラスにおけるトップ10の検索を4.5%(トレーニングなし)から49%に引き上げ、クローズドセット分類器(I3D)と統計的に区別できないようになる。
さらに重要なことは、未学習のパイプライン(11.5% -> 21.0% top-10, p=0.0094)よりも、未学習のクラス検索が大幅に改善され、クローズドセットの分類器は参加できない。
マーカサイドの実証的な上行分析では、文エンコーダはパラフレーズ付きゴールド記述の100%近くを回復しており、将来の作業で解決しようとしているキャプション品質のギャップを埋めている。
私たちの知る限り、これは記述に基づくオープン語彙のサインアップとしては初めてで、光沢な監督なしに継続的署名から始まり、JSLにとって初めてのものです。
関連論文リスト
- SignSeek: Learning Transferable Representations for Sign Dictionary Retrieval [20.105725837533722]
textbfSignSeekは、手話によるクロスコーパス検索において、最先端のパフォーマンスを新たに設定する。
全く見えないBritish Sign Language (BSL) へのゼロショットの一般化を実現している。
論文 参考訳（メタデータ） (2026-09-03T11:31:47Z) - SignMatch: Matching Dictionary Signs to Continuous Sign Language Video [61.094493488504845]
我々は,各学習可能なプロトタイプが手話クラスに対応する連続的なビデオから,手話の組込み空間を学習する。
分離された辞書ビデオは、このサインスペースにマッピングされ、辞書の例えと連続的なサインインスタンスのマッチングを可能にする。
論文 参考訳（メタデータ） (2026-09-01T21:33:33Z) - Pose-Based Sign Language Spotting via an End-to-End Encoder Architecture [0.4083182125683813]
本稿では,手話検索への第一歩として,問合せ手話ビデオの存在や欠如を検出するという課題に対処する。
中間光沢認識やテキストベースのマッチングに依存する従来の手法とは異なり、手話ビデオから抽出したポーズキーポイントを直接操作するエンドツーエンドモデルを提案する。
アーキテクチャでは,エンコーダのみのバックボーンとバイナリ分類ヘッドを用いて,クエリサインがターゲットシーケンス内に現れるかどうかを判定する。
論文 参考訳（メタデータ） (2025-12-09T15:49:23Z) - Representing Signs as Signs: One-Shot ISLR to Facilitate Functional Sign Language Technologies [6.403291706982091]
独立した手話認識は、スケーラブルな言語技術にとって不可欠である。
言語をまたいで一般化し,語彙を進化させるワンショット学習手法を提案する。
我々は、異なる言語から10,235のユニークな記号を含む大きな辞書上で50.8%のワンショットMRRを含む最先端の結果を得る。
論文 参考訳（メタデータ） (2025-02-27T15:07:51Z) - Learnt Contrastive Concept Embeddings for Sign Recognition [33.72708697077754]
我々は手話と話し言葉のギャップを埋める手話埋め込みを明示的に作成することに注力する。
我々は手話ビデオの言語ラベルに基づく埋め込みの語彙を訓練する。
我々は,NLP法から単語埋め込みを活用可能な概念的類似性損失を開発し,音声言語対応に優れた手話を含む手話埋め込みを生成する。
論文 参考訳（メタデータ） (2023-08-18T12:47:18Z) - Automatic dense annotation of large-vocabulary sign language videos [85.61513254261523]
自動アノテーションの密度を大幅に高めるための,シンプルでスケーラブルなフレームワークを提案する。
これらのアノテーションは手話研究コミュニティをサポートするために公開されています。
論文 参考訳（メタデータ） (2022-08-04T17:55:09Z) - Prefix Conditioning Unifies Language and Label Supervision [84.11127588805138]
学習した表現の一般化性を低減することにより,データセットのバイアスが事前学習に悪影響を及ぼすことを示す。
実験では、この単純な手法により、ゼロショット画像認識精度が向上し、画像レベルの分布シフトに対するロバスト性が向上することを示した。
論文 参考訳（メタデータ） (2022-06-02T16:12:26Z) - Scaling up sign spotting through sign language dictionaries [99.50956498009094]
この作業の焦点は、$textitsign spotting$ - 分離されたサインのビデオの場合、$textitwwhere$ と $textitwhere$ の識別が、連続的かつ協調的な手話ビデオで署名されている。
我々は,(1) $textitwatching$既存の映像を口コミでスムーズにラベル付けする,(2) $textitreading$ associated subtitles that provide additional translations of the signed content。
アプローチの有効性を低く検証する。
論文 参考訳（メタデータ） (2022-05-09T10:00:03Z) - Read and Attend: Temporal Localisation in Sign Language Videos [84.30262812057994]
我々は,連続署名ストリームを取り込み,一連の文書トークンを出力するトランスフォーマーモデルを訓練する。
入力シーケンス内の符号インスタンスの大規模な語彙に出席する能力を得て,その局所化を可能にすることを示す。
論文 参考訳（メタデータ） (2021-03-30T16:39:53Z) - Watch, read and lookup: learning to spot signs from multiple supervisors [99.50956498009094]
孤立した手話のビデオが与えられた場合、我々のタスクは、連続的かつ協調的な手話ビデオで署名されたか、どこで署名されたかを特定することである。
我々は,(1)既存の粗末なラベル付き映像を見ること,(2)追加の弱スーパービジョンを提供する関連字幕を読むこと,(3)視覚手話辞書で単語を検索すること,の3つを用いて,利用可能な複数のタイプの監督手法を用いてモデルを訓練する。
これらの3つのタスクは、ノイズコントラスト推定と多重インスタンス学習の原則を用いて統合学習フレームワークに統合される。
論文 参考訳（メタデータ） (2020-10-08T14:12:56Z) - BSL-1K: Scaling up co-articulated sign language recognition using
mouthing cues [106.21067543021887]
ビデオデータから高品質なアノテーションを得るために,シグナリングキューの使い方を示す。
BSL-1Kデータセット(英: BSL-1K dataset)は、イギリス手話(英: British Sign Language, BSL)の集合体である。
論文 参考訳（メタデータ） (2020-07-23T16:59:01Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。