論文の概要: SMART: MLLM-guided Temporal Alignment for Unifying Sign Language Recognition and Spotting
- arxiv url: http://arxiv.org/abs/2608.25493v2
- Date: Mon, 31 Aug 2026 05:15:36 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-01 15:47:04.127493
- Title: SMART: MLLM-guided Temporal Alignment for Unifying Sign Language Recognition and Spotting
- Title（参考訳）: SMART:手話認識とスポッティングの統合のためのMLLM誘導時間アライメント
- Abstract要約: MLLM誘導による手話認識とスポッティングのための時間的アライメントフレームワークを提案する。
SMARTは、動作記述を補助的なセマンティックキューとして使用し、小さなバッチトレーニングで安定したビデオテキストアライメントを実行する。
4つの手話ベンチマークの実験では、認識タスクとスポッティングタスクの両方でSMARTの有効性が示されている。
- 参考スコア（独自算出の注目度）: 1.3287545480967504
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Continuous sign language recognition (CSLR) aims to recognize gloss sequences from unsegmented sign videos under weak sequence-level supervision. However, existing methods rely on sentence-level gloss annotations, providing limited temporal and semantic guidance for fine-grained representation learning. Conventional video-text alignment also requires large batch sizes, making it inefficient for memory-intensive sign language video training. In this work, we propose SMART, an MLLM-guided temporal alignment framework for joint sign recognition and spotting. SMART uses MLLMgenerated motion descriptions as auxiliary semantic cues and performs stable videotext alignment under small-batch training. To improve temporal representation learning, we introduce a Multi-Scale Temporal Adapter that models temporal interactions during transformer encoding. For dense temporal localization, SMART incorporates CSFormer, a CSLR-guided spotting module that injects recognition-derived gloss evidence into a boundary-aware spotting network. This unified framework enables CSLR features to benefit spotting, while spotting supervision complements weak CTC-based recognition. Experiments on four sign language benchmarks, including PHOENIX14-T, CSL-Daily, Large-scale KSL, and Disaster and Safety KSL datasets, demonstrate the effectiveness of SMART across both recognition and spotting tasks.
- Abstract（参考訳）: 連続手話認識(continuous sign language recognition, CSLR)は, アンセグメンテーションされた手話ビデオからグロスシーケンスを認識することを目的としている。
しかし、既存の手法は文レベルの光沢アノテーションに依存しており、微粒な表現学習のための時間的・意味的なガイダンスが限られている。
従来のビデオテキストアライメントも大きなバッチサイズを必要とするため、メモリ集約型手話ビデオトレーニングでは非効率である。
本研究では,MLLM誘導による手話認識とスポッティングのための時間的アライメントフレームワークSMARTを提案する。
SMARTはMLLM生成した動作記述を補助的なセマンティックキューとして使用し、小さなバッチトレーニングで安定したビデオテキストアライメントを実行する。
時間的表現学習を改善するために,変換器符号化時の時間的相互作用をモデル化するマルチスケールテンポラルアダプタを提案する。
密集した時間的局所化のために、SMARTはCSLR誘導スポッティングモジュールCSFormerを組み込み、認識由来の光沢証拠を境界対応スポッティングネットワークに注入する。
この統合フレームワークにより、CSLR機能はスポッティングの恩恵を受け、監督の発見はCTCベースの弱い認識を補完する。
PHOENIX14-T、CSL-Daily、大規模KSL、災害安全KSLデータセットを含む4つの手話ベンチマークの実験は、認識タスクとスポッティングタスクの両方でSMARTの有効性を実証している。
関連論文リスト
- RAIDAL: Redundancy-Aware Information Density Active Learning for CTC-Based Continuous Sign Language Recognition [7.186818726913181]
RAIDALはCTCデコーダを再利用し,表現に基づくスコアリングをデコーダ対応の光沢領域に制限する。
RAIDALは、大規模で予算制限のある設定において、競合するベースラインよりも強力なデータ効率向上を実現している。
論文 参考訳（メタデータ） (2026-09-06T21:39:17Z) - One Patch Is Enough: Reinforcement-Optimized Visual Token Grounding for MLLM-Based Scene Text Spotting [51.09550363815034]
シーンテキストスポッティングはテキスト認識と空間的局所化の間に高精度なアライメントを必要とする。
本研究では,個々のテキストインスタンスを単一のアンカー視覚トークンでルーティングする視覚中心のフレームワークであるSingle-Patch Text Spotting (SPaTS)を提案する。
SPaTS はフロンティアのクローズドソースMLLM と OCR MLLM の両方で一貫した性能を示し,その性能を著しく向上させる。
論文 参考訳（メタデータ） (2026-07-30T09:17:48Z) - CanonSLR: Canonical-View Guided Multi-View Continuous Sign Language Recognition [63.88956818363774]
CanonSLRは、多視点連続言語認識のための標準ビューガイド付きフレームワークである。
本稿では,前向き視点で学習した教師ネットワークが,すべての視点で学習した学生ネットワークに対して,標準的時間的監視を提供する,前向き視点の教師学生学習戦略を紹介する。
また,従来のシングルビューRGB動画を意味的に一貫性があり,時間的に一貫性があり,視点制御可能な手話ビデオに変換する,ユニバーサルな多視点手話データ構築パイプラインも開発している。
論文 参考訳（メタデータ） (2026-04-20T12:39:02Z) - USTM: Unified Spatial and Temporal Modeling for Continuous Sign Language Recognition [3.8100688074986095]
連続手話認識は、ビデオ中のジェスチャーのシーケンスを正確に認識するために、正確なモデリング時間を必要とする。
これらの技術は、細かな手や顔の手がかりを捉えたり、長距離の時間的依存をモデル化するのに失敗する。
これらの制約に対処する統一S時間モデリング(USTM)フレームワークを提案する。
本フレームワークは,複数ストリーム入力や補助モダリティを必要とせずに,RGBビデオからの手話認識を頑健に行えるようにし,時間的・短時間の空間的特徴を捉える。
論文 参考訳（メタデータ） (2025-12-15T15:05:16Z) - Sign Spotting Disambiguation using Large Language Models [29.79050316749927]
本稿では,Large Language Models(LLMs)を統合して,符号スポッティング品質を大幅に向上させる,学習自由フレームワークを提案する。
提案手法は,グローバル・テンポラル・ハンド形状の特徴を抽出し,その特徴を大規模手話辞書と照合する。
この辞書ベースのマッチングは本質的に、モデルの再訓練を必要とせず、より優れた語彙の柔軟性を提供する。
論文 参考訳（メタデータ） (2025-07-04T16:38:09Z) - Contrastive Localized Language-Image Pre-Training [60.4967533101887]
コントラスト言語-画像事前学習(CLIP)は、画像/テキスト表現を生成するために視覚エンコーダを訓練するための著名な方法である。
本稿では,CLIPとリージョンテキストのコントラッシブな損失とモジュールを補完することにより,CLOC(Contrastive Localized Language- Image Pre-Trening)を提案する。
CLOCは画像領域認識および検索タスクのための高品質な地域埋め込みを可能にする。
論文 参考訳（メタデータ） (2024-10-03T17:56:09Z) - A Tale of Two Languages: Large-Vocabulary Continuous Sign Language Recognition from Spoken Language Supervision [74.972172804514]
我々は,署名された言語と音声のテキスト間の共同埋め込み空間において,署名シーケンスと出力を抽出できるマルチタスクトランスフォーマーモデルCSLR2を導入する。
新しいデータセットアノテーションは、6時間のテストビデオに対して、連続的なサインレベルアノテーションを提供する。
私たちのモデルは、両方のタスクにおいて、過去の技術状況よりも大幅に優れています。
論文 参考訳（メタデータ） (2024-05-16T17:19:06Z) - SignVTCL: Multi-Modal Continuous Sign Language Recognition Enhanced by
Visual-Textual Contrastive Learning [51.800031281177105]
SignVTCLは、視覚・テキストのコントラスト学習によって強化された連続手話認識フレームワークである。
マルチモーダルデータ(ビデオ、キーポイント、光学フロー)を同時に統合し、統一された視覚バックボーンをトレーニングする。
従来の方法と比較して最先端の結果が得られます。
論文 参考訳（メタデータ） (2024-01-22T11:04:55Z) - Denoising-Contrastive Alignment for Continuous Sign Language Recognition [22.800767994061175]
連続手話認識は,手話ビデオからテキストグルースへの符号認識を目的としている。
現在のクロスモダリティアライメントパラダイムは、ビデオ表現を導くためにテキスト文法の役割を無視することが多い。
本稿では,映像の表現性を高めるために,Denoising-Contrastive Alignmentパラダイムを提案する。
論文 参考訳（メタデータ） (2023-05-05T15:20:27Z) - TSPNet: Hierarchical Feature Learning via Temporal Semantic Pyramid for
Sign Language Translation [101.6042317204022]
手話翻訳(SLT)は、手話のシーケンスをテキストベースの自然言語文に解釈することを目的としている。
既存のSLTモデルは通常、手話の視覚的特徴をフレーム的に表現する。
我々は,TSPNetと呼ばれる時間的意味ピラミッドネットワークを用いて,新しい階層的な手話ビデオ特徴学習手法を開発した。
論文 参考訳（メタデータ） (2020-10-12T05:58:09Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。