論文の概要: Uncertainty-aware sign language video retrieval with probability distribution modeling

• arxiv url: http://arxiv.org/abs/2405.19689v1
• Date: Thu, 30 May 2024 05:04:01 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-31 18:06:52.657589
• Title: Uncertainty-aware sign language video retrieval with probability distribution modeling
• Title（参考訳）: 確率分布モデルを用いた不確かさ認識手話ビデオ検索
• Authors: Xuan Wu, Hongxiang Li, Yuanjiang Luo, Xuxin Cheng, Xianwei Zhuang, Meng Cao, Keren Fu,
• Abstract要約: 手話ビデオ検索は、聴覚障害者コミュニティの情報アクセスを促進する上で重要な役割を担っている。 我々は、新しい不確実性認識確率分布検索法(UPRet)を提案する。 How2Sign (59.1%)、ENIX-2014T (72.0%)、CSL-Daily (78.4%) の最先端結果を示す実験を行った。
• 参考スコア（独自算出の注目度）: 26.721591880539783
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Sign language video retrieval plays a key role in facilitating information access for the deaf community. Despite significant advances in video-text retrieval, the complexity and inherent uncertainty of sign language preclude the direct application of these techniques. Previous methods achieve the mapping between sign language video and text through fine-grained modal alignment. However, due to the scarcity of fine-grained annotation, the uncertainty inherent in sign language video is underestimated, limiting the further development of sign language retrieval tasks. To address this challenge, we propose a novel Uncertainty-aware Probability Distribution Retrieval (UPRet), that conceptualizes the mapping process of sign language video and text in terms of probability distributions, explores their potential interrelationships, and enables flexible mappings. Experiments on three benchmarks demonstrate the effectiveness of our method, which achieves state-of-the-art results on How2Sign (59.1%), PHOENIX-2014T (72.0%), and CSL-Daily (78.4%).
• Abstract（参考訳）: 手話ビデオ検索は、聴覚障害者コミュニティの情報アクセスを促進する上で重要な役割を担っている。 ビデオテキスト検索の大幅な進歩にもかかわらず、手話の複雑さと固有の不確実性は、これらの技法の直接適用を妨げる。 従来は手話ビデオとテキストのマッピングを微粒なモーダルアライメントによって実現していた。 しかし、微粒なアノテーションが不足しているため、手話ビデオに固有の不確実性は過小評価され、手話検索タスクのさらなる発展が制限される。 この課題に対処するために,手話ビデオとテキストのマッピングプロセスを確率分布の観点から概念化し,それらの潜在的な相互関係を探究し,柔軟なマッピングを可能にする,不確実性対応確率分布検索法(UPRet)を提案する。 How2Sign (59.1%)、PHOENIX-2014T (72.0%)、CSL-Daily (78.4%) の3つのベンチマークで実験を行った。

関連論文リスト

• Sign Language Recognition Based On Facial Expression and Hand Skeleton [2.5879170041667523]
  我々は手と表情の骨格的特徴を統合した手話認識ネットワークを提案する。 表情情報を取り入れることで、手話認識の精度と堅牢性が向上する。
  論文  参考訳（メタデータ） (2024-07-02T13:02:51Z)
• Self-Supervised Representation Learning with Spatial-Temporal Consistency for Sign Language Recognition [96.62264528407863]
  本研究では,空間的時間的整合性を通じてリッチな文脈を探索する自己教師付きコントラスト学習フレームワークを提案する。 動きと関節のモーダル性の相補性に着想を得て,手話モデルに一階動作情報を導入する。 提案手法は,4つの公開ベンチマークの広範な実験により評価され,新しい最先端性能と顕著なマージンを実現している。
  論文  参考訳（メタデータ） (2024-06-15T04:50:19Z)
• SignMusketeers: An Efficient Multi-Stream Approach for Sign Language Translation at Scale [22.49602248323602]
  手話ビデオ処理における永続的な課題は、手話表現の学習方法である。 提案手法は,シグナーの顔,手,体姿勢など,署名ビデオの最も関連性の高い部分のみに焦点を当てる。 我々のアプローチは、個々のフレームから(ビデオシーケンスではなく)学習することに基づいており、手話事前学習よりもずっと効率的である。
  論文  参考訳（メタデータ） (2024-06-11T03:00:41Z)
• Multi-Stream Keypoint Attention Network for Sign Language Recognition and Translation [3.976851945232775]
  現在の手話認識のアプローチは、背景のゆらぎに弱いRGBビデオ入力に依存している。 本稿では,容易に利用可能なキーポイント推定器によって生成されるキーポイントのシーケンスを記述するためのマルチストリームキーポイントアテンションネットワークを提案する。 我々は、Phoenix-2014、Phoenix-2014T、CSL-Dailyといった有名なベンチマークで包括的な実験を行い、方法論の有効性を実証した。
  論文  参考訳（メタデータ） (2024-05-09T10:58:37Z)
• DiffSLVA: Harnessing Diffusion Models for Sign Language Video Anonymization [33.18321022815901]
  テキスト誘導手話ビデオ匿名化のための新しい手法であるDiffSLVAを紹介する。 我々は,署名された言語で言語情報を伝達するために重要な,表情をキャプチャーする専用のモジュールを開発する。 この革新的な方法論は、初めて、現実世界のアプリケーションに使用できる言語ビデオの匿名化を可能にする。
  論文  参考訳（メタデータ） (2023-11-27T18:26:19Z)
• Cross-modality Data Augmentation for End-to-End Sign Language Translation [66.46877279084083]
  エンドツーエンド手話翻訳(SLT)は、手話動画を中間表現なしで直接音声言語テキストに変換することを目的としている。 署名ビデオとテキスト間のモダリティのギャップとラベル付きデータの不足のため、これは難しい課題だった。 本稿では,強力な光沢からテキストへの翻訳機能をエンドツーエンドの手話翻訳に変換するための,新しいクロスモダリティデータ拡張(XmDA)フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-05-18T16:34:18Z)
• Expectation-Maximization Contrastive Learning for Compact Video-and-Language Representations [54.62547989034184]
  我々は,コンパクトなビデオ・言語表現を学習するために,予測最大化コントラスト学習(EMCL)を提案する。 具体的には、期待最大化アルゴリズムを用いて、潜在空間のコンパクトな基底集合を求める。 3つのベンチマークテキスト・ビデオ検索データセットの実験により、EMCLはより識別力のあるビデオ・言語表現を学習できることが証明された。
  論文  参考訳（メタデータ） (2022-11-21T13:12:44Z)
• Learning to Decompose Visual Features with Latent Textual Prompts [140.2117637223449]
  視覚言語モデルを改善するために,Decomposed Feature Prompting (DeFo)を提案する。 我々の実証研究は、視覚言語モデルを改善する上でDeFoが重要であることを示している。
  論文  参考訳（メタデータ） (2022-10-09T15:40:13Z)
• Automatic dense annotation of large-vocabulary sign language videos [85.61513254261523]
  自動アノテーションの密度を大幅に高めるための,シンプルでスケーラブルなフレームワークを提案する。 これらのアノテーションは手話研究コミュニティをサポートするために公開されています。
  論文  参考訳（メタデータ） (2022-08-04T17:55:09Z)
• Sign Language Video Retrieval with Free-Form Textual Queries [19.29003565494735]
  本稿では,自由形式のテキストクエリを用いた手話検索の課題について紹介する。 目的は、書かれたクエリに最もよくマッチする、コレクション内の署名ビデオを見つけることである。 本研究では,SPOT-ALIGNを提案する。SPOT-ALIGNは,利用可能なトレーニングデータの範囲と規模を拡大するために,符号スポッティングと特徴アライメントの反復ラウンドをインターリーブするフレームワークである。
  論文  参考訳（メタデータ） (2022-01-07T15:22:18Z)
• SimulSLT: End-to-End Simultaneous Sign Language Translation [55.54237194555432]
  既存の手話翻訳手法では、翻訳を開始する前にすべてのビデオを読む必要がある。 我々は,最初のエンドツーエンド同時手話翻訳モデルであるSimulSLTを提案する。 SimulSLTは最新のエンドツーエンドの非同時手話翻訳モデルを超えるBLEUスコアを達成する。
  論文  参考訳（メタデータ） (2021-12-08T11:04:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。