論文の概要: Beyond Temporal Overlap: Consumer-Aware Evaluation of Sign-Language Segmentation across Three Corpora
- arxiv url: http://arxiv.org/abs/2611.00823v1
- Date: Sat, 31 Oct 2026 11:08:11 GMT
- ステータス: 情報取得中
- システム内更新日: 2026-11-03 19:36:17.187419
- Title: Beyond Temporal Overlap: Consumer-Aware Evaluation of Sign-Language Segmentation across Three Corpora
- Title(参考訳): 時間的オーバーラップを超えて:3コーパスにおける手話セグメンテーションの消費者意識評価
- Abstract要約: 符号言語セグメンテーションは連続的な署名をクリップに分割する。
既存のメトリクスは、予測されたクリップと手動の注釈付きバウンダリを比較します。
我々は、重複メトリクスとこのコンシューマが同じセグメンタを好むかどうか尋ねる。
- 参考スコア(独自算出の注目度): 3.2115483315623354
- License:
- Abstract: Sign-language segmentation divides continuous signing into clips. In this study, the downstream consumer is a frozen recognizer that assigns one sign label to each predicted clip. Existing metrics instead compare predicted clips with manually annotated boundaries. They do not directly measure whether a clip preserves the visual evidence needed by the recognizer or whether the segmenter produces too many clips. We therefore ask whether overlap metrics and this consumer prefer the same segmenter. We evaluate 27 outputs from three segmentation architectures, three random seeds, and three corpora. Controlled boundary edits separate the effect of removing sign evidence from that of adding surrounding context. Overlap predicts recognition on average, but it does not always determine model choice. At the same intersection-over-union, different recognizers can prefer the shorter or the longer clip. The real outputs reveal two operating regimes. On DGS, overlap, recognition, and sequence error select the same model. On BSL, recognition-based selection recovers and recognizes more reference signs but increases word error rate (WER). Dicta-Sign shows the reverse trade-off: WER selection reduces in-vocabulary WER by 31.17 points but misses more recognizable signs. Segmenters should therefore be evaluated on four axes: temporal agreement, reference recovery, clip recognition, and sequence error, rather than on overlap alone.
- Abstract(参考訳): 符号言語セグメンテーションは連続的な署名をクリップに分割する。
本研究では、下流の消費者は、予測された各クリップに1つの符号ラベルを割り当てる凍結認識器である。
既存のメトリクスは、予測されたクリップと手動でアノテートされたバウンダリを比較します。
彼らは、クリップが認識者が必要とする視覚的証拠を保存しているか、またはセグメンタがあまりに多くのクリップを生成するかを直接測定しない。
したがって、重複メトリクスとこのコンシューマは同じセグメンタを好むかどうかを問う。
3つのセグメンテーションアーキテクチャ,3つのランダムシード,3つのコーパスから27個のアウトプットを評価した。
制御された境界編集は、周囲のコンテキストを追加することから、サインエビデンスを取り除く効果を分離する。
Overlapは平均的に認識を予測するが、必ずしもモデル選択を決定するとは限らない。
同じ交差点で、異なる認識者は短いクリップまたは長いクリップを好むことができる。
実際のアウトプットは2つのオペレーティング・システマティクスを示す。
DGSでは、オーバーラップ、認識、シーケンスエラーは同じモデルを選択する。
BSLでは、認識に基づく選択が回復し、より多くの参照記号を認識するが、単語誤り率(WER)を増加させる。
WER選択は語彙内WERを31.17ポイント削減するが、より認識可能な符号を見逃す。
したがって、セグメンタは、重複のみではなく、時間的一致、参照回復、クリップ認識、シーケンスエラーの4つの軸で評価されるべきである。
関連論文リスト
- Seeing Semantic Shift: Difference-Aware Sentence-Level Temporal Segmentation of Sign Language Videos [16.01402212564324]
私たちは挑戦的で現実的な設定にフォーカスする:ビジュアルのみの文レベル手話(Vis-SSLS)
Vis-SSLSは、連続手話動画をキャプションの助けなしに、重複しない文レベルセグメントに分割する。
フレーム間特徴変動を明示的にモデル化する差分認識セグメンテーションフレームワークである textbfSignShift を提案する。
論文 参考訳(メタデータ) (2026-09-25T11:40:43Z) - Measuring the sensitivity of LLM-based structured extraction to prompt, model, and schema choices in clinical discharge summaries [0.0]
大規模言語モデルは、臨床自由テキストノートからの構造化抽出にますます利用されている。
本研究は、抽出タスクを固定し、一度に1つの選択を変更させることにより、人間に注釈を付さない感度を測定する。
クロスプロンプト合意は、ICD成層部分集合上のコーエンのカッパによって測定された。
論文 参考訳(メタデータ) (2026-06-04T10:14:12Z) - ClipTBP: Clip-Pair based Temporal Boundary Prediction with Boundary-Aware Learning for Moment Retrieval [56.989259812432]
境界認識学習に基づくクリップペア時間境界予測フレームワークであるClipTBPを提案する。
我々は,ClipTBPが既存モデルに適用された場合,一貫した性能向上を実現し,あいまいなクエリシナリオにおいても,より堅牢な境界予測性能を示すことを示す。
論文 参考訳(メタデータ) (2026-04-30T08:41:41Z) - LESS: Label-Efficient and Single-Stage Referring 3D Segmentation [55.06002976797879]
参照3Dは、クエリの文で記述された3Dポイントクラウドから、指定されたオブジェクトのすべてのポイントをセグメントする視覚言語タスクである。
本稿では,LESSと呼ばれるレファレンス3次元パイプラインを提案する。
ScanReferデータセット上での最先端のパフォーマンスは、バイナリラベルのみを使用して、以前の3.7% mIoUの手法を上回ります。
論文 参考訳(メタデータ) (2024-10-17T07:47:41Z) - Word separation in continuous sign language using isolated signs and
post-processing [47.436298331905775]
連続手話認識のための2段階モデルを提案する。
第1段階では、CNN、SVD、LSTMの組み合わせを含む予測モデルが、孤立した標識で訓練される。
第2段階では、モデルの最初の部分から得られたソフトマックス出力に後処理アルゴリズムを適用する。
論文 参考訳(メタデータ) (2022-04-02T18:34:33Z) - Word Segmentation on Discovered Phone Units with Dynamic Programming and
Self-Supervised Scoring [23.822788597966646]
教師なし音声セグメンテーションの最近の研究は、電話セグメンテーションモジュールと、共同で訓練された単語セグメンテーションモジュールを備えた自己教師型モデルを用いている。
本稿では,この共同手法と,まずボトムアップ電話のような単位探索を行い,その上で記号的単語セグメンテーションを行うという,従来の考え方と比較する。
具体的には、セグメントコストを与える自己監督型スコアリングネットワークを変更することで、電話や単語のセグメンテーションに使用可能な、期間金化動的プログラミング(DPDP)手順を具体的に記述する。
論文 参考訳(メタデータ) (2022-02-24T07:02:56Z) - Looking for the Signs: Identifying Isolated Sign Instances in Continuous
Video Footage [45.29710323525548]
ビデオクリップから時間的表現を抽出するために,SignLookupと呼ばれるトランスフォーマーベースのネットワークを提案する。
本モデルでは,ベンチマークデータセットの精度を96%にまで向上させる。
論文 参考訳(メタデータ) (2021-07-21T12:49:44Z) - Segmental Contrastive Predictive Coding for Unsupervised Word
Segmentation [33.35220574193796]
本稿では,信号構造を音素レベルでより高レベルにモデル化できるSCPC( segmental contrastive predictive coding)フレームワークを提案する。
微分可能な境界検出器は可変長のセグメントを見つけ、NCEを介してセグメントエンコーダを最適化する。
本稿では,TIMITおよびBuckeyeデータセットにおける既存の音素・単語分割手法より,単一モデルの方が優れていることを示す。
論文 参考訳(メタデータ) (2021-06-03T23:12:05Z) - Boosting Continuous Sign Language Recognition via Cross Modality
Augmentation [135.30357113518127]
連続手話認識は不整合のビデオテキストペアを扱う。
クロスモーダル拡張を用いた新しいアーキテクチャを提案する。
提案するフレームワークは、既存のCTCベースの連続SLRアーキテクチャに容易に拡張できる。
論文 参考訳(メタデータ) (2020-10-11T15:07:50Z) - Video-based Sign Language Recognition without Temporal Segmentation [88.03159640595187]
本稿では,時間分割の事前処理を不要とする新しい連続符号認識フレームワークを提案する。
提案するLS-HANは,映像特徴表現生成のための2ストリーム畳み込みニューラルネットワーク(CNN),意味ギャップブリッジのための潜時空間,潜在空間に基づく認識のための階層的注意ネットワーク(HAN)の3つのコンポーネントから構成される。
論文 参考訳(メタデータ) (2018-01-30T17:37:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。