論文の概要: SignDino: Self-Supervised Sign Language Representation Learning via Temporal-Axis Self-Distillation
- arxiv url: http://arxiv.org/abs/2609.06296v1
- Date: Sat, 05 Sep 2026 23:08:37 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-12 06:08:47.707099
- Title: SignDino: Self-Supervised Sign Language Representation Learning via Temporal-Axis Self-Distillation
- Title（参考訳）: SignDino: 時間軸自己蒸留による手話表現学習
- Abstract要約: SignDinoは、DINOv3の学生と教師のレシピを画像作物の空間的領域から追跡されたサインストリームの時間的領域に移す、セルフ教師付きサインビデオエンコーダである。
凍結されたDINOv3 ViT-B/16は、各フレーム単位の解剖学的作物を埋め込むが、イメージバックボーンではなく、軽量の一時的なトランスフォーマーは、学生とEMAの教師を形成する。
我々は,手話翻訳,単独手話認識,指打ち検出ベンチマークについて検討した。
- 参考スコア（独自算出の注目度）: 7.6857608541189215
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Self-supervised sign language representation learning must model two properties not central to natural-image SSL: signs are produced by a small set of anatomically distinct articulators, and their meaning depends on the temporal organisation of those articulators. We introduce SignDino, a self-supervised sign-video encoder that moves the DINOv3 student--teacher recipe from the spatial domain of image crops to the temporal domain of tracked sign streams. Each video is decomposed into left-hand, right-hand, and face streams by a detector-first YOLOv8n+ByteTrack pipeline. A frozen DINOv3 ViT-B/16 embeds each per-frame anatomical crop, while lightweight temporal Transformers, not the image backbone, form the student and EMA teacher. They are trained by temporal DINO self-distillation, frame-level masked-token prediction in the style of iBOT, KoLeo feature spreading, and Gram anchoring of the frame-to-frame similarity structure. This design keeps strong image-level visual primitives fixed and learns only how articulator states evolve across time. We evaluate on sign-to-English translation, isolated sign recognition, and fingerspelling detection benchmarks. Across these tasks, SignDino provides a strong public self-supervised representation and shows competitive or state-of-the-art performance under matched downstream evaluation.
- Abstract（参考訳）: 自己教師型手話表現学習は、自然像のSSLの中心ではない2つの特性をモデル化しなければならない。
本稿では,DINOv3学生の授業レシピを画像作物の空間領域から追跡された手話ストリームの時間領域に移動させる自己教師型手話エンコーダSignDinoを紹介する。
各ビデオは、検出器ファーストのYOLOv8n+ByteTrackパイプラインによって、左、右、顔のストリームに分解される。
凍結されたDINOv3 ViT-B/16は、各フレーム単位の解剖学的作物を埋め込むが、イメージバックボーンではなく、軽量の一時的なトランスフォーマーは、学生とEMAの教師を形成する。
それらは、時間的DINO自己蒸留、iBOTスタイルのフレームレベルのマスクトケン予測、KoLeo機能展開、フレーム間類似構造のグラムアンカーなどによって訓練される。
この設計では、強い画像レベルの視覚的プリミティブを固定し、時間の経過とともに調音状態がどのように進化するかを学習する。
我々は,手話翻訳,単独手話認識,指打ち検出ベンチマークについて検討した。
これらのタスク全体にわたって、SignDinoは強力な公開自己監督型表現を提供し、マッチした下流評価の下での競争力や最先端のパフォーマンスを示している。
関連論文リスト
- SignSeek: Learning Transferable Representations for Sign Dictionary Retrieval [20.105725837533722]
textbfSignSeekは、手話によるクロスコーパス検索において、最先端のパフォーマンスを新たに設定する。
全く見えないBritish Sign Language (BSL) へのゼロショットの一般化を実現している。
論文 参考訳（メタデータ） (2026-09-03T11:31:47Z) - SHuBERT: Self-Supervised Sign Language Representation Learning via Multi-Stream Cluster Prediction [65.1590372072555]
SHuBERT (Sign Hidden-Unit BERT) は、アメリカの手話ビデオ1,000時間から学習した自己教師付き文脈表現モデルである。
SHuBERTは、マスクされたトークン予測目標をマルチストリームの視覚手話入力に適用し、クラスタ化された手、顔、身体のポーズストリームに対応する複数のターゲットを予測することを学習する。
SHuBERTは手話翻訳、手話認識、指先検出など、複数のタスクで最先端のパフォーマンスを実現する。
論文 参考訳（メタデータ） (2024-11-25T03:13:08Z) - Self-Supervised Representation Learning with Spatial-Temporal Consistency for Sign Language Recognition [96.62264528407863]
本研究では,空間的時間的整合性を通じてリッチな文脈を探索する自己教師付きコントラスト学習フレームワークを提案する。
動きと関節のモーダル性の相補性に着想を得て,手話モデルに一階動作情報を導入する。
提案手法は,4つの公開ベンチマークの広範な実験により評価され,新しい最先端性能と顕著なマージンを実現している。
論文 参考訳（メタデータ） (2024-06-15T04:50:19Z) - SignBERT+: Hand-model-aware Self-supervised Pre-training for Sign
Language Understanding [132.78015553111234]
手の動きは手話の表現において重要な役割を担っている。
現在,手話理解(SLU)の深層学習手法は,手話データ資源の不足により過度に適合する傾向にある。
モデル認識ハンドを組み込んだ初の自己教師型事前学習型SignBERT+フレームワークを提案する。
論文 参考訳（メタデータ） (2023-05-08T17:16:38Z) - SignBERT: Pre-Training of Hand-Model-Aware Representation for Sign
Language Recognition [94.30084702921529]
手振りは手話において重要な役割を担っている。
現在の深層学習に基づく手話認識手法は、解釈可能性に欠ける可能性がある。
SLRに先立って手を入れた初の自己教師型事前訓練型SignBERTを導入する。
論文 参考訳（メタデータ） (2021-10-11T16:18:09Z) - Context Matters: Self-Attention for Sign Language Recognition [1.005130974691351]
本稿では,継続的署名言語認識の課題に対する注目ネットワークを提案する。
符号言語のモダリティをモデル化するために、データの共依存ストリームを利用する。
モデルが支配的な手と顔の領域の周りを回転する重要な手話コンポーネントを識別することができることがわかります。
論文 参考訳（メタデータ） (2021-01-12T17:40:19Z) - Pose-based Sign Language Recognition using GCN and BERT [0.0]
単語レベルの手話認識(WSLR)は手話を理解し解釈するための最初の重要なステップである。
ビデオからサインを認識することは、単語の意味が微妙な身体の動き、手の動き、その他の動きの組み合わせに依存するため、難しい作業である。
W SLRの最近のポーズベースアーキテクチャは、異なるフレーム内のポーズ間の空間的および時間的依存関係を同時にモデル化するか、空間的情報を完全に活用せずに時間的情報のみをモデル化する。
本稿では,空間的・時間的情報を別々に捉え,遅延融合を行う新しいポーズベースアプローチを用いて,W SLRの課題に取り組む。
論文 参考訳（メタデータ） (2020-12-01T19:10:50Z) - TSPNet: Hierarchical Feature Learning via Temporal Semantic Pyramid for
Sign Language Translation [101.6042317204022]
手話翻訳(SLT)は、手話のシーケンスをテキストベースの自然言語文に解釈することを目的としている。
既存のSLTモデルは通常、手話の視覚的特徴をフレーム的に表現する。
我々は,TSPNetと呼ばれる時間的意味ピラミッドネットワークを用いて,新しい階層的な手話ビデオ特徴学習手法を開発した。
論文 参考訳（メタデータ） (2020-10-12T05:58:09Z) - Transferring Cross-domain Knowledge for Video Sign Language Recognition [103.9216648495958]
単語レベルの手話認識(WSLR)は手話解釈の基本課題である。
ドメイン不変の視覚概念を学習し、サブタイトルのニュースサインの知識を伝達することでWSLRモデルを肥大化させる新しい手法を提案する。
論文 参考訳（メタデータ） (2020-03-08T03:05:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。