Fugu-MT 論文翻訳(概要): Sign Language Translation from Instructional Videos

論文の概要: Sign Language Translation from Instructional Videos

arxiv url: http://arxiv.org/abs/2304.06371v2
Date: Fri, 14 Apr 2023 08:43:20 GMT
ステータス: 処理完了
システム内更新日: 2023-04-17 10:30:15.526559
Title: Sign Language Translation from Instructional Videos
Title（参考訳）: 授業ビデオからの手話翻訳
Authors: Laia Tarr\'es, Gerard I. G\'allego, Amanda Duarte, Jordi Torres, Xavier Gir\'o-i-Nieto
Abstract要約: I3Dビデオ機能に代えてTransformerをトレーニングし、BLEUスコアの代わりにBLEUを基準基準として評価する。我々はBLEUスコア8.03の結果を報告し、さらなる進歩を促進するためにその種のオープンソース実装を初めて公開する。
参考スコア（独自算出の注目度）: 3.7397161135760095
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: The advances in automatic sign language translation (SLT) to spoken languages have been mostly benchmarked with datasets of limited size and restricted domains. Our work advances the state of the art by providing the first baseline results on How2Sign, a large and broad dataset. We train a Transformer over I3D video features, using the reduced BLEU as a reference metric for validation, instead of the widely used BLEU score. We report a result of 8.03 on the BLEU score, and publish the first open-source implementation of its kind to promote further advances.
Abstract（参考訳）: 音声言語への自動手話翻訳(SLT)の進歩は主に、限られたサイズと制限されたドメインのデータセットでベンチマークされている。我々の研究は、大規模で広範なデータセットであるHow2Signの最初のベースライン結果を提供することで、最先端の技術の進歩を図っている。 i3dビデオ機能上のトランスフォーマーをトレーニングし、広く使用されているbleuスコアではなく、検証のための基準メトリクスとしてbleuを削減した。我々はBLEUスコア8.03の結果を報告し、さらなる進歩を促進するためにその種のオープンソース実装を初めて公開する。

関連論文リスト

Select and Reorder: A Novel Approach for Neural Sign Language Production [35.35777909051466]
手話は、しばしば低リソース言語に分類されるが、正確な翻訳を実現する上で大きな課題に直面している。本稿では,Select and Reorder(S&R)について紹介する。Gross Selection(GS)とGross Reordering(GR)の2つのステップに分割することで,データ不足に対処する新しいアプローチである。我々は,Meine DGS Annotated (mDGS)データセット上で,最先端のBLEUとRogeスコアを達成し,テキスト・トゥ・グロス(T2G)翻訳において37.88%のBLUE-1が大幅に改善されたことを示す。
論文参考訳（メタデータ） (2024-04-17T16:25:19Z)
Toward Informal Language Processing: Knowledge of Slang in Large Language Models [16.42982896928428]
我々は,スラングの自動処理に関連するタスクセットの評価を支援するデータセットを構築した。評価と微調整の両面で,2つのコアアプリケーションにおけるデータセットの有効性を示す。 GPT-4のようなLCMはゼロショット設定で優れた性能を発揮するが、我々のデータセットで微調整された小さなBERTのようなモデルは同等の性能を得る。
論文参考訳（メタデータ） (2024-04-02T21:50:18Z)
Improving Translation Faithfulness of Large Language Models via Augmenting Instructions [89.76691340615848]
SWIE(Segment-Weighted Instruction Embedding)と命令追従データセットOVERMISSを提案する。 SWIEは、以下の入力および応答表現に大域的な命令表現を追加することにより、モデル命令理解を改善する。 OVERMISSは、オーバー翻訳とミス翻訳の結果を正しい翻訳と比較することにより、モデルの忠実度を向上させる。
論文参考訳（メタデータ） (2023-08-24T09:32:29Z)
Cross-modality Data Augmentation for End-to-End Sign Language Translation [66.46877279084083]
エンドツーエンド手話翻訳(SLT)は、手話動画を中間表現なしで直接音声言語テキストに変換することを目的としている。署名ビデオとテキスト間のモダリティのギャップとラベル付きデータの不足のため、これは難しい課題だった。本稿では,強力な光沢からテキストへの翻訳機能をエンドツーエンドの手話翻訳に変換するための,新しいクロスモダリティデータ拡張(XmDA)フレームワークを提案する。
論文参考訳（メタデータ） (2023-05-18T16:34:18Z)
Tackling Low-Resourced Sign Language Translation: UPC at WMT-SLT 22 [4.382973957294345]
本稿では,機械翻訳ワークショップ2022手話翻訳タスクのためにカタルーニャ大学ポリテシカ校で開発されたシステムについて述べる。本研究では、Fairseqモデリングツールキットで実装されたTransformerモデルを用いる。我々は,語彙サイズ,データ拡張手法,ENIX-14Tデータセットを用いた事前学習実験を行った。
論文参考訳（メタデータ） (2022-12-02T12:42:24Z)
Scaling Back-Translation with Domain Text Generation for Sign Language Gloss Translation [36.40377483258876]
手話のグロス翻訳は、手話のグロスを音声のテキストに変換することを目的としている。 Back Translation (BT)は、ドメイン内の言語テキストを手話に翻訳することで、擬似並列データを生成する。本稿では, Prompt ベースのドメインテキスト生成 (PGEN) 手法を提案する。
論文参考訳（メタデータ） (2022-10-13T14:25:08Z)
Automatic dense annotation of large-vocabulary sign language videos [85.61513254261523]
自動アノテーションの密度を大幅に高めるための,シンプルでスケーラブルなフレームワークを提案する。これらのアノテーションは手話研究コミュニティをサポートするために公開されています。
論文参考訳（メタデータ） (2022-08-04T17:55:09Z)
Explore More Guidance: A Task-aware Instruction Network for Sign Language Translation Enhanced with Data Augmentation [20.125265661134964]
手話認識と翻訳は、まず認識モジュールを使用して手話ビデオからグルースを生成する。本研究では,手話翻訳のためのタスク認識型命令ネットワークTIN-SLTを提案する。
論文参考訳（メタデータ） (2022-04-12T17:09:44Z)
A Simple Multi-Modality Transfer Learning Baseline for Sign Language Translation [54.29679610921429]
既存の手話データセットには、約10K-20Kの手話ビデオ、グロスアノテーション、テキストが含まれています。したがって、データは効果的な手話翻訳モデルの訓練のボトルネックとなる。この単純なベースラインは、2つの手話翻訳ベンチマークで過去の最先端の結果を上回っている。
論文参考訳（メタデータ） (2022-03-08T18:59:56Z)
SimulSLT: End-to-End Simultaneous Sign Language Translation [55.54237194555432]
既存の手話翻訳手法では、翻訳を開始する前にすべてのビデオを読む必要がある。我々は,最初のエンドツーエンド同時手話翻訳モデルであるSimulSLTを提案する。 SimulSLTは最新のエンドツーエンドの非同時手話翻訳モデルを超えるBLEUスコアを達成する。
論文参考訳（メタデータ） (2021-12-08T11:04:52Z)
BBC-Oxford British Sign Language Dataset [64.32108826673183]
我々は,British Sign Language (BSL) の大規模ビデオコレクションである BBC-Oxford British Sign Language (BOBSL) データセットを紹介する。データセットのモチベーションと統計、利用可能なアノテーションについて説明する。我々は、手話認識、手話アライメント、手話翻訳のタスクのベースラインを提供する実験を行う。
論文参考訳（メタデータ） (2021-11-05T17:35:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。