論文の概要: SegSLR: Promptable Video Segmentation for Isolated Sign Language Recognition

• arxiv url: http://arxiv.org/abs/2509.10710v1
• Date: Fri, 12 Sep 2025 22:04:34 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-16 17:26:22.746642
• Title: SegSLR: Promptable Video Segmentation for Isolated Sign Language Recognition
• Title（参考訳）: SegSLR: 独立した手話認識のためのプロンプト可能なビデオセグメンテーション
• Authors: Sven Schreiber, Noha Sarhan, Simone Frintrop, Christian Wilms,
• Abstract要約: 孤立手話認識(I SLR)アプローチは主にRGBデータやシグナーのポーズ情報に依存する。 本稿では,RGBを組み合わせ,ゼロショット映像セグメント化による情報提供を行うI SLRシステムSeg SLRを提案する。 複雑なChaLearn249 IsoGDデータセットに対する評価は、Seg SLRが最先端の手法より優れていることを示している。
• 参考スコア（独自算出の注目度）: 3.861523667432406
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Isolated Sign Language Recognition (ISLR) approaches primarily rely on RGB data or signer pose information. However, combining these modalities often results in the loss of crucial details, such as hand shape and orientation, due to imprecise representations like bounding boxes. Therefore, we propose the ISLR system SegSLR, which combines RGB and pose information through promptable zero-shot video segmentation. Given the rough localization of the hands and the signer's body from pose information, we segment the respective parts through the video to maintain all relevant shape information. Subsequently, the segmentations focus the processing of the RGB data on the most relevant body parts for ISLR. This effectively combines RGB and pose information. Our evaluation on the complex ChaLearn249 IsoGD dataset shows that SegSLR outperforms state-of-the-art methods. Furthermore, ablation studies indicate that SegSLR strongly benefits from focusing on the signer's body and hands, justifying our design choices.
• Abstract（参考訳）: 孤立手話認識(ISLR)アプローチは主にRGBデータやシグナーのポーズ情報に依存する。 しかし、これらのモダリティを組み合わせることで、境界ボックスのような不正確な表現のために手の形や方向などの重要な詳細が失われることがしばしばある。 そこで本研究では,RGBと情報を組み合わせたISLRシステムSegSLRを提案する。 ポーズ情報から手とシグナーの身体の粗い位置を推定すると、各部位をビデオを通して分割し、関連する形状情報を全て保持する。 その後、このセグメンテーションは、ISLRの最も関連性の高いボディ部品にRGBデータの処理に焦点を当てる。 これにより、RGBと情報を効果的に組み合わせることができる。 複雑なChaLearn249 IsoGDデータセットに対する評価は、SegSLRが最先端の手法より優れていることを示している。 さらにアブレーション研究は、SegSLRが署名者の身体と手に焦点を当てることで、設計上の選択を正当化できることを示唆している。

関連論文リスト

• RGB-D Video Object Segmentation via Enhanced Multi-store Feature Memory [34.406308400305385]
  RGB-D (RGB-D) Video Object (VOS) は、RGBのきめ細かいテクスチャ情報を奥行きの幾何学的手がかりと統合することを目的としている。 本稿では,ロバストセグメンテーションのためのマルチストア機能メモリを用いた新しいRGB-D VOSを提案する。 本稿では,最新のRGB-D VOSベンチマークにおいて,提案手法の最先端性能を示す。
  論文  参考訳（メタデータ） (2025-04-23T07:31:37Z)
• Cross-Modal Consistency Learning for Sign Language Recognition [92.44927164283641]
  既存の事前学習方法は、コンパクトなポーズデータのみに焦点を当てている。 クロスモーダル一貫性学習フレームワーク(CCL-SLR)を提案する。 CCL-SLRはRGBから学習し、自己教師付き事前学習に基づいてモダリティをポーズする。
  論文  参考訳（メタデータ） (2025-03-16T12:34:07Z)
• SEDS: Semantically Enhanced Dual-Stream Encoder for Sign Language Retrieval [82.51117533271517]
  以前はRGBビデオをエンコードするだけで高レベルのセマンティックな特徴が得られていた。 既存のRGBベースの手話検索作業は、エンドツーエンドのトレーニングに埋め込まれた濃密な視覚データによる膨大なメモリコストに悩まされる。 本稿では,Semantically Enhanced Dual-Streamという手話表現フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-07-23T11:31:11Z)
• SAD: Segment Any RGBD [54.24917975958583]
  Segment Anything Model (SAM)は、2D RGB画像の任意の部分のセグメント化の有効性を実証している。 本稿では,画像から直接幾何学情報を抽出するSegment Any RGBD (SAD) モデルを提案する。
  論文  参考訳（メタデータ） (2023-05-23T16:26:56Z)
• Object discovery and representation networks [78.16003886427885]
  本研究では,事前に符号化された構造を自ら発見する自己教師型学習パラダイムを提案する。 Odinはオブジェクト発見と表現ネットワークを結合して意味のある画像のセグメンテーションを発見する。
  論文  参考訳（メタデータ） (2022-03-16T17:42:55Z)
• Sign Language Recognition via Skeleton-Aware Multi-Model Ensemble [71.97020373520922]
  手話は一般的に、聴覚障害者やミュート人がコミュニケーションするために使われる。 孤立手話認識(SLR)のためのGlobal Ensemble Model(GEM)を用いた新しいマルチモーダルフレームワークを提案する。 提案するSAM-SLR-v2 フレームワークは極めて有効であり,最先端の性能を高いマージンで達成している。
  論文  参考訳（メタデータ） (2021-10-12T16:57:18Z)
• Pose-based Sign Language Recognition using GCN and BERT [0.0]
  単語レベルの手話認識(WSLR)は手話を理解し解釈するための最初の重要なステップである。 ビデオからサインを認識することは、単語の意味が微妙な身体の動き、手の動き、その他の動きの組み合わせに依存するため、難しい作業である。 W SLRの最近のポーズベースアーキテクチャは、異なるフレーム内のポーズ間の空間的および時間的依存関係を同時にモデル化するか、空間的情報を完全に活用せずに時間的情報のみをモデル化する。 本稿では,空間的・時間的情報を別々に捉え,遅延融合を行う新しいポーズベースアプローチを用いて,W SLRの課題に取り組む。
  論文  参考訳（メタデータ） (2020-12-01T19:10:50Z)
• Bi-directional Cross-Modality Feature Propagation with Separation-and-Aggregation Gate for RGB-D Semantic Segmentation [59.94819184452694]
  深度情報はRGBD画像のセマンティックセグメンテーションにおいて有用であることが証明されている。 既存のほとんどの研究は、深度測定がRGBピクセルと正確で整合していると仮定し、問題をモーダルな特徴融合としてモデル化している。 本稿では,RGB特徴量応答を効果的に再検討するだけでなく,複数の段階を通して正確な深度情報を抽出し,代わりに2つの補正表現を集約する,統一的で効率的なクロスモダリティガイドを提案する。
  論文  参考訳（メタデータ） (2020-07-17T18:35:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。