論文の概要: SignAttention: On the Interpretability of Transformer Models for Sign Language Translation

• arxiv url: http://arxiv.org/abs/2410.14506v1
• Date: Fri, 18 Oct 2024 14:38:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-21 14:27:01.885476
• Title: SignAttention: On the Interpretability of Transformer Models for Sign Language Translation
• Title（参考訳）: SignAttention:手話翻訳のためのトランスフォーマーモデルの解釈可能性について
• Authors: Pedro Alejandro Dal Bianco, Oscar Agustín Stanchi, Facundo Manuel Quiroga, Franco Ronchetti, Enzo Ferrante,
• Abstract要約: 本稿では,トランスフォーマーを用いた手話翻訳モデルの最初の包括的解釈可能性解析について述べる。 モデル内の注意機構について検討し,視覚入力を逐次グルースで処理・調整する方法について考察する。 この研究はSLTモデルのより深い理解に寄与し、より透明で信頼性の高い翻訳システムを開発するための道を開いた。
• 参考スコア（独自算出の注目度）: 2.079808290618441
• License:
• Abstract: This paper presents the first comprehensive interpretability analysis of a Transformer-based Sign Language Translation (SLT) model, focusing on the translation from video-based Greek Sign Language to glosses and text. Leveraging the Greek Sign Language Dataset, we examine the attention mechanisms within the model to understand how it processes and aligns visual input with sequential glosses. Our analysis reveals that the model pays attention to clusters of frames rather than individual ones, with a diagonal alignment pattern emerging between poses and glosses, which becomes less distinct as the number of glosses increases. We also explore the relative contributions of cross-attention and self-attention at each decoding step, finding that the model initially relies on video frames but shifts its focus to previously predicted tokens as the translation progresses. This work contributes to a deeper understanding of SLT models, paving the way for the development of more transparent and reliable translation systems essential for real-world applications.
• Abstract（参考訳）: 本稿では,トランスフォーマーを用いた手話翻訳(SLT)モデルの最初の包括的解釈可能性解析を行い,ビデオベースのギリシャ手話からグロスやテキストへの翻訳に焦点を当てた。 ギリシャ手話データセットを利用して、モデル内の注意機構を調べ、それがどのように処理し、視覚入力を逐次グルースと整合させるかを理解する。 分析の結果,モデルが個々のフレームではなくフレームの集合に注意を払うことが明らかとなり,ポーズとグルースの対角方向のアライメントパターンが出現する。 また,各復号ステップにおけるクロスアテンションと自己アテンションの相対的寄与についても検討し,翻訳が進むにつれて,まずはビデオフレームに依存するが,それまで予測されていたトークンに焦点を移すことを見出した。 この研究はSLTモデルのより深い理解に寄与し、現実世界のアプリケーションに不可欠なより透明で信頼性の高い翻訳システムを開発するための道を開いた。

関連論文リスト

• Towards Visual Text Design Transfer Across Languages [49.78504488452978]
  マルチモーダル・スタイル翻訳(MuST-Bench)の新たな課題について紹介する。 MuST-Benchは、視覚テキスト生成モデルが様々な書き込みシステム間で翻訳を行う能力を評価するために設計されたベンチマークである。 そこで我々は,スタイル記述の必要性を解消する多モーダルなスタイル翻訳フレームワークであるSIGILを紹介した。
  論文  参考訳（メタデータ） (2024-10-24T15:15:01Z)
• Towards Interpreting Visual Information Processing in Vision-Language Models [24.51408101801313]
  VLM(Vision-Language Models)は、テキストや画像の処理と理解のための強力なツールである。 著名なVLMであるLLaVAの言語モデルコンポーネントにおける視覚トークンの処理について検討する。
  論文  参考訳（メタデータ） (2024-10-09T17:55:02Z)
• Gloss2Text: Sign Language Gloss translation using LLMs and Semantically Aware Label Smoothing [21.183453511034767]
  本稿では,事前学習された大言語モデル(LLM),データ拡張,ラベルの平滑化損失関数を活用することで,いくつかの進歩を提案する。 提案手法は,Em Gloss2Text翻訳における最先端性能を上回る。
  論文  参考訳（メタデータ） (2024-07-01T15:46:45Z)
• Linguistically Motivated Sign Language Segmentation [51.06873383204105]
  個々の記号へのセグメンテーションとフレーズへのセグメンテーションという2種類のセグメンテーションを考える。 本手法は手話コーパスで観察される言語的手がかりによって動機付けられている。 私たちは、主要なIOタグ付けスキームをBIOタグに置き換えて、継続的な署名を可能にします。
  論文  参考訳（メタデータ） (2023-10-21T10:09:34Z)
• Expedited Training of Visual Conditioned Language Generation via Redundancy Reduction [61.16125290912494]
  $textEVL_textGen$は、視覚条件付き言語生成モデルの事前トレーニング用に設計されたフレームワークである。 提案手法は,視覚言語モデルの学習を5倍に加速させるが,全体的な性能に顕著な影響を与えないことを示す。
  論文  参考訳（メタデータ） (2023-10-05T03:40:06Z)
• Unified Language-Vision Pretraining in LLM with Dynamic Discrete Visual Tokenization [52.935150075484074]
  非言語的なイメージを外国語のような個別のトークン列に変換するために、よく設計されたビジュアルトークン化器を導入する。 結果として得られる視覚トークンは、単語に相応しいハイレベルな意味論を含み、画像から変化する動的シーケンス長もサポートする。 この統合によりLaVITは、マルチモーダルコンテンツの理解と生成を同時に行うための印象的な汎用インターフェースとして機能する。
  論文  参考訳（メタデータ） (2023-09-09T03:01:38Z)
• Gloss-free Sign Language Translation: Improving from Visual-Language Pretraining [56.26550923909137]
  Gloss-Free Sign Language Translation (SLT) はドメイン横断性のために難しい課題である。 視覚言語事前学習(GFSLT-)に基づく新しいGross-free SLTを提案する。 i) コントラスト言語-画像事前学習とマスク付き自己教師付き学習を統合して,視覚的表現とテキスト的表現のセマンティックギャップをブリッジするプレタスクを作成し,マスク付き文を復元すること,(ii) 事前訓練されたビジュアルおよびテキストデコーダのパラメータを継承するエンコーダ-デコーダ-のような構造を持つエンドツーエンドアーキテクチャを構築すること,である。
  論文  参考訳（メタデータ） (2023-07-27T10:59:18Z)
• Neural Machine Translation with Dynamic Graph Convolutional Decoder [32.462919670070654]
  本稿では,グラフとシーケンス)構造入力から(グラフとシーケンス)出力への変換アーキテクチャを提案する。 我々は5つの広く知られている翻訳ベンチマークで広範な実験を行い、提案手法がベースラインや他の構文認識の変種よりも一貫した改善を実現することを検証した。
  論文  参考訳（メタデータ） (2023-05-28T11:58:07Z)
• Enhanced Modality Transition for Image Captioning [51.72997126838352]
  MTM(Modality Transition Module)を構築し、言語モデルに転送する前に視覚的機能をセマンティック表現に転送します。 トレーニング段階では、モダリティ遷移ネットワークは提案されたモダリティ損失によって最適化される。 提案手法の有効性を示すMS-COCOデータセットを用いて実験を行った。
  論文  参考訳（メタデータ） (2021-02-23T07:20:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。