論文の概要: VTaMo: Video-Text Alignment Model for Sign Language Translation

• arxiv url: http://arxiv.org/abs/2607.09126v1
• Date: Fri, 10 Jul 2026 06:30:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-13 14:47:12.799972
• Title: VTaMo: Video-Text Alignment Model for Sign Language Translation
• Title（参考訳）: VTaMo:手話翻訳のためのビデオテキストアライメントモデル
• Abstract要約: VTaMoは,3段階の明示的な多粒度アライメントを実現するフレームワークである。 Phoenix-2014T、CSL-Daily、How2Sign、OpenASLの実験は、一貫した最先端性能を示している。
• 参考スコア（独自算出の注目度）: 5.958007180153739
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Sign language translation (SLT) converts continuous sign videos into spoken language text. Gloss-free approaches leverage pre-trained visual encoders and language models but rely on implicit cross-modal alignment from translation supervision alone. We present VTaMo, a framework that introduces explicit multi-granularity alignment at three levels: (1) local alignment via entropy-regularized optimal transport with a learnable null token for fine-grained frame-to-token correspondences; (2) global alignment via a learnable orthogonal transformation that calibrates embedding space geometry through Earth Mover's Distance; and (3) position-aligned contrastive learning for discriminative token-level representations. Experiments on Phoenix-2014T, CSL-Daily, How2Sign, and OpenASL demonstrate consistent state-of-the-art performance, with ablations confirming the complementary contributions of each component. Code is available at https://github.com/junyi2005/vtamo.
• Abstract（参考訳）: 手話翻訳(SLT)は、連続的な手話動画を音声言語テキストに変換する。 グロスフリーアプローチは、事前訓練されたビジュアルエンコーダと言語モデルを活用するが、翻訳監督のみによる暗黙の相互アライメントに依存している。 本稿では,(1)細粒度フレーム・ツー・トケン対応のための学習可能なヌルトークンを用いたエントロピー規則化された最適輸送による局所アライメント,(2)アース・モーバー距離による空間幾何学を校正する学習可能な直交変換によるグローバルアライメント,(3)識別的トークンレベル表現のための位置整列コントラスト学習,の3段階で明示的な多粒度アライメントを導入するフレームワークであるVTaMoを提案する。 Phoenix-2014T、CSL-Daily、How2Sign、OpenASLの実験は、各コンポーネントの補完的なコントリビューションを確認するとともに、一貫した最先端のパフォーマンスを示している。 コードはhttps://github.com/junyi2005/vtamo.comで入手できる。

関連論文リスト

• SeRV: Semantic-Aligned Residual Vector Quantization for American Sign Language Generation [16.011600536846434]
  SeRVは、アメリカ手話生成のためのセマンティック・アラインなRVQトークンである。 文レベルの動作テキストアライメントとトークンレベルのテキストコンディショニングを組み合わせることで,意味的に構造化された残トークン空間を学習する。 テキストから直接意味的に一貫した3D ASLモーションを生成する。
  論文  参考訳（メタデータ） (2026-09-04T21:41:17Z)
• DINOde: Continuous Vision-Text Alignment for Open-Vocabulary Semantic Segmentation [53.011370226020695]
  DINOdeは、CLIPテキストの埋め込みをDINO視覚多様体と整合させるODEベースのフレームワークである。 提案手法では, (i) Semantic Text Flow (STF) と (ii) Global Context Flow (GCF) の2つの相補的要素を用いて, DINO の CLS トークンが持つ全体像表現を洗練する。 連続軌道としてアライメントをモデル化することにより、ディノドは離散射影に固有の絡み合いを回避し、より堅牢なクロスモーダルアライメントをもたらす。
  論文  参考訳（メタデータ） (2026-07-23T14:37:27Z)
• Lost in Translation, Found in Embeddings: Sign Language Translation and Alignment [84.39962912136525]
  我々は手話翻訳(SLT)と手話字幕アライメント(SSA)を実行する手話理解モデルを開発する。 i)人間のキーポイントと唇領域の画像から手動と非手動のキューをキャプチャする軽量な視覚バックボーン,(ii)連続的な視覚特徴を単語レベルの埋め込みに集約するスライディングパーシーバーマッピングネットワーク,(iii)SLTとSSAを協調的に最適化するマルチタスクスケーラブルなトレーニング戦略である。
  論文  参考訳（メタデータ） (2025-12-08T21:05:46Z)
• Interpretable Zero-Shot Learning with Locally-Aligned Vision-Language Model [56.573203512455706]
  大規模視覚言語モデル(VLM)は、大規模視覚テキストペアデータセットを活用することでゼロショット学習(ZSL)において顕著な成功を収めた。 この問題に対処する1つのアプローチは、言語を統合することで解釈可能なモデルを開発することである。 本稿では,ZSLを解釈可能な言語モデルであるLaZSLを提案する。
  論文  参考訳（メタデータ） (2025-06-30T13:14:46Z)
• Advanced Sign Language Video Generation with Compressed and Quantized Multi-Condition Tokenization [20.063863466319326]
  SignViPは、複数のきめ細かい条件を組み込んだ新しいフレームワークである。 SignViPは、ビデオ品質の時間的コヒーレンスやセマンティクスの忠実さなど、メトリクス間の最先端のパフォーマンスを実現している。
  論文  参考訳（メタデータ） (2025-06-19T02:56:06Z)
• LLMs are Good Sign Language Translators [19.259163728870696]
  手話翻訳は,手話動画を音声言語に翻訳することを目的とした課題である。 本稿では,手話動画を言語的表現に変換する新しいSignLLMフレームワークを提案する。 広範に使用されている2つのSLTベンチマークにおいて、最先端のグロスフリーな結果が得られる。
  論文  参考訳（メタデータ） (2024-04-01T05:07:13Z)
• Cross-modality Data Augmentation for End-to-End Sign Language Translation [66.46877279084083]
  エンドツーエンド手話翻訳(SLT)は、手話動画を中間表現なしで直接音声言語テキストに変換することを目的としている。 署名ビデオとテキスト間のモダリティのギャップとラベル付きデータの不足のため、これは難しい課題だった。 本稿では,強力な光沢からテキストへの翻訳機能をエンドツーエンドの手話翻訳に変換するための,新しいクロスモダリティデータ拡張(XmDA)フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-05-18T16:34:18Z)
• Dual-Alignment Pre-training for Cross-lingual Sentence Embedding [79.98111074307657]
  本稿では,言語間文埋め込みのためのDAP(Dual-alignment pre-training)フレームワークを提案する。 そこで本研究では,一方の文脈化トークン表現を用いて翻訳相手を再構成する,新しい表現翻訳学習(RTL)タスクを提案する。 我々の手法は文の埋め込みを大幅に改善できる。
  論文  参考訳（メタデータ） (2023-05-16T03:53:30Z)
• A Token-level Contrastive Framework for Sign Language Translation [9.185037439012952]
  手話翻訳は、聴覚障害者と聴覚障害者のコミュニケーションギャップを埋める有望な技術である。 トークンレベルの新しい ConSLT を提案する。 textbfSign textbfLanguage用のコントラスト学習フレームワーク。 textbf翻訳。
  論文  参考訳（メタデータ） (2022-04-11T07:33:26Z)
• SimulSLT: End-to-End Simultaneous Sign Language Translation [55.54237194555432]
  既存の手話翻訳手法では、翻訳を開始する前にすべてのビデオを読む必要がある。 我々は,最初のエンドツーエンド同時手話翻訳モデルであるSimulSLTを提案する。 SimulSLTは最新のエンドツーエンドの非同時手話翻訳モデルを超えるBLEUスコアを達成する。
  論文  参考訳（メタデータ） (2021-12-08T11:04:52Z)
• PiSLTRc: Position-informed Sign Language Transformer with Content-aware Convolution [0.42970700836450487]
  本稿では,2つの特徴を持つ新しいモデルアーキテクチャ,すなわちPiSLTRcを提案する。 我々は,新しいコンテンツ認識近傍収集手法を用いて,関連性のある特徴を明示的に選択する。 これらの特徴を、位置インフォームされた時間的畳み込み層で集約し、ロバストな近傍強調符号表現を生成する。 バニラトランスフォーマーモデルと比較して、我々のモデルは3つの大規模手話ベンチマークで一貫して性能が向上する。
  論文  参考訳（メタデータ） (2021-07-27T05:01:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。