論文の概要: Denoising-Contrastive Alignment for Continuous Sign Language Recognition

• arxiv url: http://arxiv.org/abs/2305.03614v5
• Date: Sun, 01 Dec 2024 12:06:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-03 20:23:09.994221
• Title: Denoising-Contrastive Alignment for Continuous Sign Language Recognition
• Title（参考訳）: 連続手話認識のためのデノジング・コントラストアライメント
• Authors: Leming Guo, Wanli Xue, Shengyong Chen,
• Abstract要約: 連続手話認識は,手話ビデオからテキストグルースへの符号認識を目的としている。 現在のクロスモダリティアライメントパラダイムは、ビデオ表現を導くためにテキスト文法の役割を無視することが多い。 本稿では,映像の表現性を高めるために,Denoising-Contrastive Alignmentパラダイムを提案する。
• 参考スコア（独自算出の注目度）: 22.800767994061175
• License:
• Abstract: Continuous sign language recognition (CSLR) aims to recognize signs in untrimmed sign language videos to textual glosses. A key challenge of CSLR is achieving effective cross-modality alignment between video and gloss sequences to enhance video representation. However, current cross-modality alignment paradigms often neglect the role of textual grammar to guide the video representation in learning global temporal context, which adversely affects recognition performance. To tackle this limitation, we propose a Denoising-Contrastive Alignment (DCA) paradigm. DCA creatively leverages textual grammar to enhance video representations through two complementary approaches: modeling the instance correspondence between signs and glosses from a discrimination perspective and aligning their global context from a generative perspective. Specifically, DCA accomplishes flexible instance-level correspondence between signs and glosses using a contrastive loss. Building on this, DCA models global context alignment between the video and gloss sequences by denoising the gloss representation from noise, guided by video representation. Additionally, DCA introduces gradient modulation to optimize the alignment and recognition gradients, ensuring a more effective learning process. By integrating gloss-wise and global context knowledge, DCA significantly enhances video representations for CSLR tasks. Experimental results across public benchmarks validate the effectiveness of DCA and confirm its video representation enhancement feasibility.
• Abstract（参考訳）: 連続手話認識 (continuous sign language recognition, CSLR) は、手話ビデオからテキストグルースへの符号認識を目的としている。 CSLRの重要な課題は、ビデオ表現を強化するために、ビデオシーケンスとグロスシーケンスの効果的な相互モダリティアライメントを実現することである。 しかしながら、現在の相互モダリティアライメントパラダイムは、認識性能に悪影響を及ぼすグローバルな時間的文脈の学習において、ビデオ表現を導くために、テキスト文法の役割を無視することが多い。 この制限に対処するため,我々はDCA(Denoising-Contrastive Alignment)パラダイムを提案する。 DCAはテキスト文法を創造的に活用し、2つの相補的なアプローチを通してビデオ表現を強化する。 具体的には、DCAは対照的な損失を用いて、符号とグルースの間の柔軟なインスタンスレベルの対応を達成する。 これに基づいて、DCAは、映像と光沢シーケンスのグローバルなコンテキストアライメントを、映像表現によって導かれるノイズから光沢表現を識別することによってモデル化する。 さらに、DCAは、アライメントと認識勾配を最適化するために勾配変調を導入し、より効果的な学習プロセスを確実にする。 DCAは、光沢な知識とグローバルなコンテキスト知識を統合することにより、CSLRタスクの映像表現を大幅に強化する。 公開ベンチマークによる実験結果から, DCAの有効性を検証し, 映像表現向上の実現可能性を確認した。

関連論文リスト

• Label-anticipated Event Disentanglement for Audio-Visual Video Parsing [61.08434062821899]
  我々は新しいデコードパラダイムであるアンダーライン・サンダーライン・エンダーライン・アンダーライン・インダーライン・プロジェクション(LEAP)を導入する。 LEAPは、音声/視覚セグメントの符号化された潜在機能を意味的に独立したラベル埋め込みに反復的に投影する。 LEAPパラダイムを促進するために,新しい音声・視覚的類似性損失関数を含むセマンティック・アウェア・最適化戦略を提案する。
  論文  参考訳（メタデータ） (2024-07-11T01:57:08Z)
• Unsupervised Modality-Transferable Video Highlight Detection with Representation Activation Sequence Learning [7.908887001497406]
  教師なしハイライト検出のためのクロスモーダル認識を用いた新しいモデルを提案する。 提案モデルでは,自己再構成タスクを通じて,画像と音声のペアデータから視覚レベルのセマンティクスを用いて表現を学習する。 実験結果から,提案手法は,他の最先端手法と比較して優れた性能を発揮することが示された。
  論文  参考訳（メタデータ） (2024-03-14T13:52:03Z)
• SignVTCL: Multi-Modal Continuous Sign Language Recognition Enhanced by Visual-Textual Contrastive Learning [51.800031281177105]
  SignVTCLは、視覚・テキストのコントラスト学習によって強化された連続手話認識フレームワークである。 マルチモーダルデータ(ビデオ、キーポイント、光学フロー)を同時に統合し、統一された視覚バックボーンをトレーニングする。 従来の方法と比較して最先端の結果が得られます。
  論文  参考訳（メタデータ） (2024-01-22T11:04:55Z)
• Improving Audio-Visual Speech Recognition by Lip-Subword Correlation Based Visual Pre-training and Cross-Modal Fusion Encoder [58.523884148942166]
  本稿では,事前学習および微調整訓練の枠組みの下で,音声視覚音声認識(AVSR)を改善するための2つの新しい手法を提案する。 まず, マンダリンにおける口唇形状と音節レベルサブワード単位の相関について検討し, 口唇形状から良好なフレームレベル音節境界を確立する。 次に,音声誘導型クロスモーダルフュージョンエンコーダ(CMFE)ニューラルネットワークを提案する。
  論文  参考訳（メタデータ） (2023-08-14T08:19:24Z)
• CVT-SLR: Contrastive Visual-Textual Transformation for Sign Language Recognition with Variational Alignment [42.10603331311837]
  手話認識(SLR)は、手話ビデオにテキストグルースとして注釈をつける弱い教師付きタスクである。 近年の研究では、大規模手話データセットの欠如による訓練不足がSLRの主なボトルネックとなっている。 視覚と言語の両方のモダリティの事前訓練された知識を十分に探求するために,SLR,-SLRのための新しいコントラッシブ・ビジュアル・トランスフォーメーションを提案する。
  論文  参考訳（メタデータ） (2023-03-10T06:12:36Z)
• CRIS: CLIP-Driven Referring Image Segmentation [71.56466057776086]
  エンドツーエンドのCLIP駆動参照画像フレームワーク(CRIS)を提案する。 CRISは、テキストとピクセルのアライメントを達成するために、視覚言語によるデコーディングとコントラスト学習に頼っている。 提案するフレームワークは, 後処理を伴わずに, 最先端の性能を著しく向上させる。
  論文  参考訳（メタデータ） (2021-11-30T07:29:08Z)
• DVCFlow: Modeling Information Flow Towards Human-like Video Captioning [163.71539565491113]
  既存の手法は主に個々のビデオセグメントからキャプションを生成するが、グローバルな視覚的コンテキストへの適応が欠如している。 映像のシーケンスやキャプションによって変化するプログレッシブな情報をモデル化するために,情報フローの概念を導入する。 提案手法は, 競争基準を著しく上回り, 主観的, 客観的なテストにより, より人間的なテキストを生成する。
  論文  参考訳（メタデータ） (2021-11-19T10:46:45Z)
• Visual-aware Attention Dual-stream Decoder for Video Captioning [12.139806877591212]
  現在のビデオキャプション方式の注意機構は、各フレームに重みを割り当てることを学び、デコーダを動的に推進する。 これは、シーケンスフレームで抽出された視覚的特徴の相関と時間的コヒーレンスを明示的にモデル化するものではない。 本稿では,単語の時間的シーケンスフレームの変化を前回のモーメントで統一する,新しい視覚認識注意(VA)モデルを提案する。 VADD(Visual-Aware Attention Dual-stream Decoder)の有効性を示す。
  論文  参考訳（メタデータ） (2021-10-16T14:08:20Z)
• Contrastive Transformation for Self-supervised Correspondence Learning [120.62547360463923]
  野生のラベルのない動画を用いて,視覚的対応の自己監督学習について検討する。 本手法は,信頼性の高い対応推定のための映像内および映像間表現関連を同時に検討する。 我々のフレームワークは、近年の視覚的タスクにおける自己監督型対応手法よりも優れています。
  論文  参考訳（メタデータ） (2020-12-09T14:05:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。