論文の概要: Sign2GPT: Leveraging Large Language Models for Gloss-Free Sign Language Translation

• arxiv url: http://arxiv.org/abs/2405.04164v1
• Date: Tue, 7 May 2024 10:00:38 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-08 14:39:54.615352
• Title: Sign2GPT: Leveraging Large Language Models for Gloss-Free Sign Language Translation
• Title（参考訳）: Sign2GPT: グロスフリー手話翻訳のための大規模言語モデルの活用
• Authors: Ryan Wong, Necati Cihan Camgoz, Richard Bowden,
• Abstract要約: 我々は手話翻訳の新しいフレームワークSign2GPTを紹介する。 本稿では,自動抽出した擬似グルースから符号表現を学習するようエンコーダに指示する,新しい事前学習戦略を提案する。 我々は2つの公開ベンチマーク手話翻訳データセットに対するアプローチを評価した。
• 参考スコア（独自算出の注目度）: 30.008980708977095
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Automatic Sign Language Translation requires the integration of both computer vision and natural language processing to effectively bridge the communication gap between sign and spoken languages. However, the deficiency in large-scale training data to support sign language translation means we need to leverage resources from spoken language. We introduce, Sign2GPT, a novel framework for sign language translation that utilizes large-scale pretrained vision and language models via lightweight adapters for gloss-free sign language translation. The lightweight adapters are crucial for sign language translation, due to the constraints imposed by limited dataset sizes and the computational requirements when training with long sign videos. We also propose a novel pretraining strategy that directs our encoder to learn sign representations from automatically extracted pseudo-glosses without requiring gloss order information or annotations. We evaluate our approach on two public benchmark sign language translation datasets, namely RWTH-PHOENIX-Weather 2014T and CSL-Daily, and improve on state-of-the-art gloss-free translation performance with a significant margin.
• Abstract（参考訳）: 自動手話翻訳は、手話と音声言語の間のコミュニケーションギャップを効果的に橋渡しするために、コンピュータビジョンと自然言語処理の両方を統合する必要がある。 しかし,手話翻訳を支援するための大規模学習データの不足は,音声言語からのリソースを活用する必要があることを意味している。 本稿では,手話翻訳のための手話翻訳フレームワークSign2GPTを紹介する。 ライトウェイトアダプタは、限られたデータセットサイズと長い手話ビデオでトレーニングする際の計算要求によって課される制約のため、手話翻訳に不可欠である。 また,命令情報やアノテーションを必要とせずに,自動抽出した擬似グルースから符号表現を学習するようにエンコーダに指示する,新たな事前学習戦略を提案する。 我々は、RWTH-PHOENIX-Weather 2014TとCSL-Dailyという2つの公開ベンチマーク手話翻訳データセットに対するアプローチを評価し、最先端のグロスフリー翻訳性能を著しく改善した。

関連論文リスト

• Lost in Translation, Found in Context: Sign Language Translation with Contextual Cues [56.038123093599815]
  我々の目的は、連続手話から音声言語テキストへの翻訳である。 署名ビデオと追加のコンテキストキューを組み込む。 文脈的アプローチが翻訳の質を著しく向上させることを示す。
  論文  参考訳（メタデータ） (2025-01-16T18:59:03Z)
• LLaVA-SLT: Visual Language Tuning for Sign Language Translation [42.20090162339927]
  近年の手話翻訳(SLT)の進歩は将来性を示しているが、精度の面ではグロスベースのアプローチに大きく遅れていることが多い。 我々はLLaVA-SLTというLarge Multimodal Model (LMM) フレームワークを紹介した。 LLaVA-SLTは最先端の手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2024-12-21T08:01:08Z)
• Signs as Tokens: An Autoregressive Multilingual Sign Language Generator [55.94334001112357]
  テキスト入力から3Dサインアバターを自動回帰的に生成できる多言語手話モデルSigns as Tokens(SOKE)を導入する。 我々は,手話とLMを整合させるために,連続する記号を様々な身体部分を表すトークン列に識別する切り離されたトークン化器を開発した。 これらのサイントークンは、LMの生のテキスト語彙に統合され、手話データセットの教師付き微調整を可能にする。
  論文  参考訳（メタデータ） (2024-11-26T18:28:09Z)
• LLMs are Good Sign Language Translators [19.259163728870696]
  手話翻訳は,手話動画を音声言語に翻訳することを目的とした課題である。 本稿では,手話動画を言語的表現に変換する新しいSignLLMフレームワークを提案する。 広範に使用されている2つのSLTベンチマークにおいて、最先端のグロスフリーな結果が得られる。
  論文  参考訳（メタデータ） (2024-04-01T05:07:13Z)
• Is context all you need? Scaling Neural Sign Language Translation to Large Domains of Discourse [34.70927441846784]
  手話翻訳(SLT)は手話ビデオから音声言語文を生成することを目的とした課題である。 本稿では,翻訳タスクを人間と同じようにコンテキスト対応で処理する,新しいマルチモーダルトランスフォーマーアーキテクチャを提案する。 本稿では,文脈情報を用いた最先端翻訳性能の大幅な向上を報告し,ベースラインアプローチのBLEU-4スコアをほぼ倍増させた。
  論文  参考訳（メタデータ） (2023-08-18T15:27:22Z)
• Gloss-free Sign Language Translation: Improving from Visual-Language Pretraining [56.26550923909137]
  Gloss-Free Sign Language Translation (SLT) はドメイン横断性のために難しい課題である。 視覚言語事前学習(GFSLT-)に基づく新しいGross-free SLTを提案する。 i) コントラスト言語-画像事前学習とマスク付き自己教師付き学習を統合して,視覚的表現とテキスト的表現のセマンティックギャップをブリッジするプレタスクを作成し,マスク付き文を復元すること,(ii) 事前訓練されたビジュアルおよびテキストデコーダのパラメータを継承するエンコーダ-デコーダ-のような構造を持つエンドツーエンドアーキテクチャを構築すること,である。
  論文  参考訳（メタデータ） (2023-07-27T10:59:18Z)
• Soft Language Clustering for Multilingual Model Pre-training [57.18058739931463]
  本稿では,インスタンスを条件付きで符号化するためのフレキシブルガイダンスとして,コンテキスト的にプロンプトを検索するXLM-Pを提案する。 我々のXLM-Pは、(1)言語間における言語不変および言語固有知識の軽量なモデリングを可能にし、(2)他の多言語事前学習手法との容易な統合を可能にする。
  論文  参考訳（メタデータ） (2023-06-13T08:08:08Z)
• Explore More Guidance: A Task-aware Instruction Network for Sign Language Translation Enhanced with Data Augmentation [20.125265661134964]
  手話認識と翻訳は、まず認識モジュールを使用して手話ビデオからグルースを生成する。 本研究では,手話翻訳のためのタスク認識型命令ネットワークTIN-SLTを提案する。
  論文  参考訳（メタデータ） (2022-04-12T17:09:44Z)
• A Simple Multi-Modality Transfer Learning Baseline for Sign Language Translation [54.29679610921429]
  既存の手話データセットには、約10K-20Kの手話ビデオ、グロスアノテーション、テキストが含まれています。 したがって、データは効果的な手話翻訳モデルの訓練のボトルネックとなる。 この単純なベースラインは、2つの手話翻訳ベンチマークで過去の最先端の結果を上回っている。
  論文  参考訳（メタデータ） (2022-03-08T18:59:56Z)
• Sign Language Transformers: Joint End-to-end Sign Language Recognition and Translation [59.38247587308604]
  本稿では,連続手話認識と翻訳を共同で学習するトランスフォーマーアーキテクチャを提案する。 RWTH-PHOENIX-Weather-2014Tデータセットの認識と翻訳性能の評価を行った。 我々の翻訳ネットワークは、動画を音声言語に、光沢を音声言語翻訳モデルに、どちらよりも優れています。
  論文  参考訳（メタデータ） (2020-03-30T21:35:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。