論文の概要: Seeing Semantic Shift: Difference-Aware Sentence-Level Temporal Segmentation of Sign Language Videos

• arxiv url: http://arxiv.org/abs/2609.31148v1
• Date: Fri, 25 Sep 2026 11:40:43 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-28 18:27:51.366093
• Title: Seeing Semantic Shift: Difference-Aware Sentence-Level Temporal Segmentation of Sign Language Videos
• Title（参考訳）: 意味的変化を見る:手話ビデオの差分文レベル時間分割
• Abstract要約: 私たちは挑戦的で現実的な設定にフォーカスする:ビジュアルのみの文レベル手話(Vis-SSLS) Vis-SSLSは、連続手話動画をキャプションの助けなしに、重複しない文レベルセグメントに分割する。 フレーム間特徴変動を明示的にモデル化する差分認識セグメンテーションフレームワークである textbfSignShift を提案する。
• 参考スコア（独自算出の注目度）: 16.01402212564324
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent advances in sign language understanding have achieved impressive success on short, single-sentence videos, yet their performance drops sharply when applied to long, continuous sign language videos. To bridge this gap, we focus on a challenging and realistic setting: Visual-only Sentence-level Sign Language Segmentation (Vis-SSLS), which aims to partition continuous sign language videos into non-overlapping sentence-level segments without any caption assistance, serving as a crucial prerequisite for downstream recognition and translation tasks. However, sentence transitions in sign language are often smooth and visually ambiguous, lacking explicit pauses or posture resets. As a result, static frame representations may fail to capture the subtle temporal changes that indicate sentence boundaries. To address this challenge, we propose \textbf{SignShift}, a difference-aware segmentation framework that explicitly models frame-to-frame feature variation as semantic cues for sentence boundary detection. First, to model the feature variation, we design a Temporal Difference Module, which incorporates full-frame, facial, and hand cues, and employs inter-frame differencing to learn multi-scale temporal variations that capture both fine-grained local kinematics and global semantic transitions. Second, to mitigate over- and under-segmentation issues, we design a Segment Count Prediction module, which predicts the number of sentences to guide boundary selection. Extensive experiments on benchmark datasets demonstrate that SignShift substantially outperforms existing methods, validating its effectiveness.
• Abstract（参考訳）: 最近の手話理解の進歩は、短い単文ビデオで顕著な成功を収めたが、長い連続した手話ビデオに適用すると、その性能は急激に低下した。 このギャップを埋めるために、我々は、挑戦的で現実的な設定に焦点をあてる: ビジュアルオンリーのSentenceレベル手話セグメンテーション(Vis-SSLS)。 しかし、手話における文の遷移は、しばしば滑らかで視覚的に曖昧であり、明示的なポーズや姿勢のリセットが欠如している。 その結果、静的フレーム表現は、文境界を示す微妙な時間的変化をキャプチャできない可能性がある。 この課題に対処するために,文境界検出のための意味的手がかりとしてフレーム間特徴変動を明示的にモデル化する差分認識セグメンテーションフレームワークである \textbf{SignShift} を提案する。 まず、特徴変動をモデル化するために、フルフレーム、顔、手動のキューを組み込んだ時間差分モジュールを設計し、フレーム間差分を用いて、微粒な局所運動学と大域的な意味遷移の両方を捉えるマルチスケールの時間変動を学習する。 第2に、過剰および過小区分の問題を軽減するために、境界選択を導く文数を予測するセグメンションカウント予測モジュールを設計する。 ベンチマークデータセットに関する大規模な実験では、SignShiftが既存のメソッドを大幅に上回り、その有効性を検証することが示されている。

関連論文リスト

• Seeing Before Synthesizing: VLM-Guided Transition Event Discovery for Weakly-Supervised Dense Video Captioning [8.547456564908423]
  Weakly-Supervised Video Captioningは、ビデオごとのイベントレベルのキャプションのみを順序付けした未トリミングビデオ内の複数のイベントをローカライズし、記述することを目的としている。 最近の研究は、LCMを介して補助的な遷移キャプションを合成し、視覚言語アライメントを提供するが、これらのキャプションは視覚的接地を欠いている。 SBS(Seeeing Before Synthesizing)は,視覚的基盤を持つ言語指導を保証された場所のみに適応的に提供するフレームワークである。
  論文  参考訳（メタデータ） (2026-09-03T17:58:02Z)
• StgcDiff: Spatial-Temporal Graph Condition Diffusion for Sign Language Transition Generation [33.695308849489784]
  離散符号間のスムーズな遷移を生成するグラフベースの条件拡散フレームワークStgcDiffを提案する。 具体的には、エンコーダ・デコーダアーキテクチャをトレーニングし、空間的時間的骨格の構造認識表現を学習する。 我々は,その空間的特徴を効果的にモデル化する,Sign-GCNモジュールをフレームワークのキーコンポーネントとして設計する。
  論文  参考訳（メタデータ） (2025-06-16T07:09:51Z)
• Collaborative Temporal Consistency Learning for Point-supervised Natural Language Video Localization [129.43937834515688]
  我々は,ビデオ言語アライメントを強化するために,新しいコラボラティブ・テンポラル・コンポジション・ラーニング(COTEL)フレームワークを提案する。 具体的には、まずフレームとセグメントレベルの時間一貫性学習(TCL)モジュールを設計し、フレームサリエンシと文-モーメントペア間のセマンティックアライメントをモデル化する。
  論文  参考訳（メタデータ） (2025-03-22T05:04:12Z)
• Co-Speech Gesture Detection through Multi-Phase Sequence Labeling [3.924524252255593]
  本稿では,タスクをマルチフェーズシーケンスラベリング問題として再編成する新しいフレームワークを提案する。 本稿では,タスク指向の対面対話における多様な音声ジェスチャーのデータセットについて検討する。
  論文  参考訳（メタデータ） (2023-08-21T12:27:18Z)
• Modeling Motion with Multi-Modal Features for Text-Based Video Segmentation [56.41614987789537]
  テキストベースのビデオセグメンテーションは、対象のオブジェクトを記述文に基づいてビデオに分割することを目的としている。 本研究では, 正確なセグメンテーションを実現するために, 外観, 動き, 言語的特徴を融合, 整合させる手法を提案する。
  論文  参考訳（メタデータ） (2022-04-06T02:42:33Z)
• Single-Stream Multi-Level Alignment for Vision-Language Pretraining [103.09776737512078]
  モーダルを複数のレベルで整列させる単一ストリームモデルを提案する。 対称的相互モダリティ再構築と擬似ラベル付きキーワード予測という2つの新しいタスクを用いてこれを実現する。 我々は、ゼロショット/ファインチューニングされた画像/テキスト検索、参照表現、VQAといった一連の視覚言語タスクにおいて、トップパフォーマンスを示す。
  論文  参考訳（メタデータ） (2022-03-27T21:16:10Z)
• Weakly Supervised Temporal Adjacent Network for Language Grounding [96.09453060585497]
  本稿では,時間的言語接地のための新しい教師付き時間的隣接ネットワーク(WSTAN)を提案する。 WSTANは、複数のインスタンス学習(MIL)パラダイムにおいて、時間的隣接ネットワークを活用することで、モーダル間のセマンティックアライメントを学習する。 MILブランチと補完ブランチの両方で、自己監督による意味的識別を強化するために、追加の自己識別損失が考案された。
  論文  参考訳（メタデータ） (2021-06-30T15:42:08Z)
• TSPNet: Hierarchical Feature Learning via Temporal Semantic Pyramid for Sign Language Translation [101.6042317204022]
  手話翻訳(SLT)は、手話のシーケンスをテキストベースの自然言語文に解釈することを目的としている。 既存のSLTモデルは通常、手話の視覚的特徴をフレーム的に表現する。 我々は,TSPNetと呼ばれる時間的意味ピラミッドネットワークを用いて,新しい階層的な手話ビデオ特徴学習手法を開発した。
  論文  参考訳（メタデータ） (2020-10-12T05:58:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。