論文の概要: BEACON: Distilled Begin/End-Aware Structured Decoding for Continuous Sign Language Segmentation
- arxiv url: http://arxiv.org/abs/2610.39553v2
- Date: Sat, 31 Oct 2026 06:03:12 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-14 11:32:01.666962
- Title: BEACON: Distilled Begin/End-Aware Structured Decoding for Continuous Sign Language Segmentation
- Title(参考訳): BEACON: 連続手話セグメンテーションのためのBegin/End-Aware構造化デコーディング
- Abstract要約: BEACONは、4種類のOutside/Begin/Inside/Endラベリングを組み合わせた、開始/終了対応セグメンタです。
検証ベースのモデル選択による厳密なノーカット評価の下で、BEACONはセグメントF1を14.58/14.59ポイント、バウンダリF1を2.17/1.22ポイント改善する。
- 参考スコア(独自算出の注目度): 3.2115483315623354
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In segmentation-based continuous sign language recognition, an untrimmed video is first partitioned into lexical units; segmentation is therefore a means to an end---downstream recognition. However, segmenters are usually judged by local boundary detection rather than by the quality of the lexical segments and the recognition they enable. We present BEACON, a begin/end-aware segmenter that combines four-class Outside/Begin/Inside/End (BIOE) labeling, constrained Viterbi decoding over eight legal transitions, and boundary knowledge distilled from a binary teacher into a shared student. Under strict no-cut evaluation with validation-based model selection, BEACON improves segment-F1 by 14.58/14.59 points and boundary-F1 by 2.17/1.22 points, and reduces the downstream word error rate (WER) by 9.10/4.15 points relative to the state-of-the-art in the PHOENIX-14/BSL Corpus. To examine which segmentation metric better reflects downstream recognition, we evaluated five distinct architecture families. Segment-F1 aligns more consistently with lower WER than boundary-F1 in both corpora (Spearman $ρ=-1.0/-0.9$ versus $-0.9/-0.8$). These results support evaluating sign language segmentation in terms of segment quality and downstream recognition utility rather than local boundary accuracy alone.
- Abstract(参考訳): セグメント化に基づく連続手話認識では、未トリミングされたビデオはまず語彙単位に分割される。
しかし、セグメンタは通常、語彙セグメントの品質や認識によってではなく、局所的な境界検出によって判断される。
本稿では,4種類のOutside/Begin/Inside/End(BIOE)ラベル,8つの法的な移行に関する制限付きビタビ復号,および2進的な教師から共用する境界知識を組み合わせた,開始/終了対応セグメンタであるBEACONを紹介する。
検証ベースのモデル選択による厳密なノカット評価の下で、BEACONはセグメントF1を14.58/14.59ポイント、境界F1を2.17/1.22ポイント改善し、PHOENIX-14/BSLコーパスの最先端と比較して下流ワードエラー率(WER)を9.10/4.15ポイント削減する。
下流認識をよりよく反映するセグメンテーションの指標を検討するため、5つの異なるアーキテクチャファミリを評価した。
Segment-F1 は、両方のコーパス(Spearman $ρ=-1.0/-0.9$ 対 $-0.9/-0.8$)において境界 F1 よりも低い WER に一貫性がある。
これらの結果は,局所境界精度のみでなく,セグメント品質と下流認識ユーティリティの観点から手話セグメンテーションを評価することを支援する。
関連論文リスト
- When F1 Fails: Granularity-Aware Evaluation for Dialogue Topic Segmentation [0.0]
本稿では,ウィンドウ耐性F1(W-F1)とともに境界密度とセグメントアライメント診断(純度とカバレッジ)を報告する評価フレームワークを提案する。
境界選択から境界スコアを分離することにより, 1つの操作点ではなく, 密度レジーム間のセグメンテーション品質を評価する。
論文 参考訳(メタデータ) (2025-12-18T21:29:43Z) - Exploring Open-Vocabulary Semantic Segmentation without Human Labels [76.15862573035565]
我々は、既存の事前学習された視覚言語モデル(VL)を利用して意味的セグメンテーションモデルを訓練するZeroSegを提案する。
ZeroSegは、VLモデルで学んだ視覚概念をセグメントトークンの集合に蒸留することでこれを克服し、それぞれが対象画像の局所化領域を要約する。
提案手法は,他のゼロショットセグメンテーション法と比較して,同じトレーニングデータを用いた場合と比較して,最先端性能を実現する。
論文 参考訳(メタデータ) (2023-06-01T08:47:06Z) - TagCLIP: Improving Discrimination Ability of Open-Vocabulary Semantic Segmentation [53.974228542090046]
対照的に、CLIP(Contrastive Language- Image Pre-Training)は、最近、ピクセルレベルのゼロショット学習タスクにおいて大きな可能性を示している。
CLIPのテキストとパッチの埋め込みを利用してセマンティックマスクを生成する既存のアプローチは、しばしば目に見えないクラスから入力ピクセルを誤識別する。
この問題に対処するためにTagCLIP(Trusty-aware guideed CLIP)を提案する。
論文 参考訳(メタデータ) (2023-04-15T12:52:23Z) - Fully and Weakly Supervised Referring Expression Segmentation with
End-to-End Learning [50.40482222266927]
Referring Expression(RES)は、与えられた言語表現に従ってターゲットをローカライズし、セグメンテーションすることを目的としている。
そこで我々は,カーネル分割パイプラインを並列に構築し,より分離し,局所化とセグメント化のステップと相互作用する。
我々の手法は単純だが驚くほど効果的であり、完全に教師された設定と弱い設定において、従来の最先端のRES手法よりも優れている。
論文 参考訳(メタデータ) (2022-12-17T08:29:33Z) - Open Vocabulary Semantic Segmentation with Patch Aligned Contrastive
Learning [82.70453633641466]
Patch Aligned Contrastive Learning (PACL)を導入する。
PACLは画像レベルの予測にも適用可能であることを示し、CLIPバックボーンで使用すると、ゼロショット分類精度が全般的に向上することを示した。
論文 参考訳(メタデータ) (2022-12-09T17:23:00Z) - Smart Speech Segmentation using Acousto-Linguistic Features with
look-ahead [3.579111205766969]
本稿では,音響情報と言語情報を併用してセグメンテーションを改善するハイブリッド手法を提案する。
平均して、私たちのモデルはセグメンテーション-F0.5スコアをベースラインで9.8%改善します。
機械翻訳の下流タスクでは、BLEUスコアを平均1.05ポイント改善する。
論文 参考訳(メタデータ) (2022-10-26T03:36:31Z) - Evaluating Subtitle Segmentation for End-to-end Generation Systems [2.730149977692319]
字幕は、形式的制約(長さ)と構文的・意味論的基準に基づいて区切られた短いテキストとして画面に表示される。
標準セグメンテーションメトリクスは、システムが基準とは異なる出力を生成するときに適用できない。
セグメンテーション境界上のBLEUの近似上界から派生した新しい字幕スコアである$Sigma$を導入する。
論文 参考訳(メタデータ) (2022-05-19T07:38:13Z) - Perceptual Consistency in Video Segmentation [70.4434953097028]
近接する2つのビデオフレームが与えられた場合、知覚的一貫性は、セグメンテーション決定が一般的な知覚的特徴と一致するピクセル対応とどの程度一致しているかを測定する。
実験の結果,提案した知覚的一貫性は,映像分割の時間的一貫性をより正確に評価できることがわかった。
分類信頼性のみを使用する場合と比較して、ラベル付けされていないテストフレーム上でのセグメンテーションの精度をより確実に予測するのに役立つ。
論文 参考訳(メタデータ) (2021-10-24T08:08:49Z) - Visual Boundary Knowledge Translation for Foreground Segmentation [57.32522585756404]
視覚境界知識を明示的に考慮したモデルの構築を試みており、未確認カテゴリのセグメンテーションにおけるトレーニングの労力を減らそうとしている。
数十のラベル付きサンプルをガイダンスとして使うだけで、Trans-Netは完全な教師付きメソッドと同等のクローズな結果が得られる。
論文 参考訳(メタデータ) (2021-08-01T07:10:25Z) - Segmental Contrastive Predictive Coding for Unsupervised Word
Segmentation [33.35220574193796]
本稿では,信号構造を音素レベルでより高レベルにモデル化できるSCPC( segmental contrastive predictive coding)フレームワークを提案する。
微分可能な境界検出器は可変長のセグメントを見つけ、NCEを介してセグメントエンコーダを最適化する。
本稿では,TIMITおよびBuckeyeデータセットにおける既存の音素・単語分割手法より,単一モデルの方が優れていることを示す。
論文 参考訳(メタデータ) (2021-06-03T23:12:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。