論文の概要: An Efficient Sign Language Translation Using Spatial Configuration and Motion Dynamics with LLMs

• arxiv url: http://arxiv.org/abs/2408.10593v1
• Date: Tue, 20 Aug 2024 07:10:40 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-21 14:54:06.896635
• Title: An Efficient Sign Language Translation Using Spatial Configuration and Motion Dynamics with LLMs
• Title（参考訳）: LLMを用いた空間構成と運動ダイナミクスを用いた手話翻訳の効率化
• Authors: Eui Jun Hwang, Sukmin Cho, Junmyeong Lee, Jong C. Park,
• Abstract要約: グロスフリー手話翻訳(英: Gloss-free Sign Language Translation, SLT)は、手話の動画を直接言語文に変換する言語である。 本稿では手話に固有の空間的構成や動きのダイナミクスを捉えることの重要性を強調する。 本稿では,空間と運動に基づく手話翻訳(SpaMo)について紹介する。
• 参考スコア（独自算出の注目度）: 7.630967411418269
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Gloss-free Sign Language Translation (SLT) converts sign videos directly into spoken language sentences without relying on glosses. Recently, Large Language Models (LLMs) have shown remarkable translation performance in gloss-free methods by harnessing their powerful natural language generation capabilities. However, these methods often rely on domain-specific fine-tuning of visual encoders to achieve optimal results. By contrast, this paper emphasizes the importance of capturing the spatial configurations and motion dynamics inherent in sign language. With this in mind, we introduce Spatial and Motion-based Sign Language Translation (SpaMo), a novel LLM-based SLT framework. The core idea of SpaMo is simple yet effective. We first extract spatial and motion features using off-the-shelf visual encoders and then input these features into an LLM with a language prompt. Additionally, we employ a visual-text alignment process as a warm-up before the SLT supervision. Our experiments demonstrate that SpaMo achieves state-of-the-art performance on two popular datasets, PHOENIX14T and How2Sign.
• Abstract（参考訳）: グロスフリー手話翻訳(英: Gloss-free Sign Language Translation, SLT)は、手話の動画を直接言語文に変換する言語である。 近年,Large Language Models (LLMs) は,その強力な自然言語生成能力を活用して,グロスフリーな手法で顕著な翻訳性能を示した。 しかし、これらの手法は最適な結果を得るために、しばしばドメイン固有のビジュアルエンコーダの微調整に依存している。 対照的に,手話固有の空間的構成や動きのダイナミクスを捉えることの重要性を強調した。 このことを念頭に、新しいLSMベースのSLTフレームワークであるSpaMo(Spatment and Motion-based Sign Language Translation)を導入する。 SpaMoの中核となるアイデアはシンプルだが効果的だ。 まず,市販のビジュアルエンコーダを用いて空間的特徴と運動的特徴を抽出し,その特徴を言語プロンプトでLLMに入力する。 さらに,SLTの監督前におけるウォームアップとして,視覚テキストアライメントプロセスを用いる。 実験の結果,スパモはPHOENIX14TとHow2Signという2つの一般的なデータセット上で,最先端のパフォーマンスを実現していることがわかった。

関連論文リスト

• Leveraging the Power of MLLMs for Gloss-Free Sign Language Translation [6.688680877428467]
  そこで我々は,Gloss-free Multimodal Sign Language Translationフレームワークを提案する。 マルチモーダルな大言語モデルを用いて手話コンポーネントの詳細なテキスト記述を生成する。 提案手法は,ベンチマークデータセットPHOENIX14TとCSL-Dailyの最先端性能を実現する。
  論文  参考訳（メタデータ） (2024-11-25T09:01:41Z)
• EvSign: Sign Language Recognition and Translation with Streaming Events [59.51655336911345]
  イベントカメラは、動的手の動きを自然に知覚し、手話作業のための豊富な手作業の手がかりを提供する。 イベントベースSLRおよびSLTタスクのための効率的なトランスフォーマーベースフレームワークを提案する。 計算コストは0.34%に過ぎず,既存の最先端手法に対して良好に機能する。
  論文  参考訳（メタデータ） (2024-07-17T14:16:35Z)
• LLMs are Good Sign Language Translators [19.259163728870696]
  手話翻訳は,手話動画を音声言語に翻訳することを目的とした課題である。 本稿では,手話動画を言語的表現に変換する新しいSignLLMフレームワークを提案する。 広範に使用されている2つのSLTベンチマークにおいて、最先端のグロスフリーな結果が得られる。
  論文  参考訳（メタデータ） (2024-04-01T05:07:13Z)
• Factorized Learning Assisted with Large Language Model for Gloss-free Sign Language Translation [28.648494997132925]
  グロースフリー手話翻訳(SLT)のための大規模言語モデル(FLa-LLM)を用いた因子学習を提案する。 視覚初期化段階では、視覚エンコーダの後に軽量翻訳モデルを用いて、視覚エンコーダを事前訓練する。 LLMの微調整段階では、視覚エンコーダの取得した知識を凍結し、学習済みのLLMと統合し、LLMの翻訳電位を刺激する。
  論文  参考訳（メタデータ） (2024-03-19T09:00:23Z)
• Unified Language-Vision Pretraining in LLM with Dynamic Discrete Visual Tokenization [52.935150075484074]
  非言語的なイメージを外国語のような個別のトークン列に変換するために、よく設計されたビジュアルトークン化器を導入する。 結果として得られる視覚トークンは、単語に相応しいハイレベルな意味論を含み、画像から変化する動的シーケンス長もサポートする。 この統合によりLaVITは、マルチモーダルコンテンツの理解と生成を同時に行うための印象的な汎用インターフェースとして機能する。
  論文  参考訳（メタデータ） (2023-09-09T03:01:38Z)
• Gloss-free Sign Language Translation: Improving from Visual-Language Pretraining [56.26550923909137]
  Gloss-Free Sign Language Translation (SLT) はドメイン横断性のために難しい課題である。 視覚言語事前学習(GFSLT-)に基づく新しいGross-free SLTを提案する。 i) コントラスト言語-画像事前学習とマスク付き自己教師付き学習を統合して,視覚的表現とテキスト的表現のセマンティックギャップをブリッジするプレタスクを作成し,マスク付き文を復元すること,(ii) 事前訓練されたビジュアルおよびテキストデコーダのパラメータを継承するエンコーダ-デコーダ-のような構造を持つエンドツーエンドアーキテクチャを構築すること,である。
  論文  参考訳（メタデータ） (2023-07-27T10:59:18Z)
• Gloss Attention for Gloss-free Sign Language Translation [60.633146518820325]
  グロスアノテーションによって手話の翻訳が容易になることを示す。 次に,同じセマンティクスを持つビデオセグメント内で,モデルが注意を維持できるように,エンファングルースアテンションを提案する。 複数の大規模手話データセットに対する実験結果から,提案したGASLTモデルは既存手法よりも優れていた。
  論文  参考訳（メタデータ） (2023-07-14T14:07:55Z)
• A Simple Multi-Modality Transfer Learning Baseline for Sign Language Translation [54.29679610921429]
  既存の手話データセットには、約10K-20Kの手話ビデオ、グロスアノテーション、テキストが含まれています。 したがって、データは効果的な手話翻訳モデルの訓練のボトルネックとなる。 この単純なベースラインは、2つの手話翻訳ベンチマークで過去の最先端の結果を上回っている。
  論文  参考訳（メタデータ） (2022-03-08T18:59:56Z)
• SimulSLT: End-to-End Simultaneous Sign Language Translation [55.54237194555432]
  既存の手話翻訳手法では、翻訳を開始する前にすべてのビデオを読む必要がある。 我々は,最初のエンドツーエンド同時手話翻訳モデルであるSimulSLTを提案する。 SimulSLTは最新のエンドツーエンドの非同時手話翻訳モデルを超えるBLEUスコアを達成する。
  論文  参考訳（メタデータ） (2021-12-08T11:04:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。