論文の概要: SignFLIP: A Unified Model for Sign Language Translation and Generation via Stage-wise Alignment at Scale

• arxiv url: http://arxiv.org/abs/2609.35225v1
• Date: Mon, 28 Sep 2026 14:08:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-02 15:56:51.165014
• Title: SignFLIP: A Unified Model for Sign Language Translation and Generation via Stage-wise Alignment at Scale
• Title（参考訳）: SignFLIP: 段階的アライメントによる手話翻訳と生成の統一モデル
• Abstract要約: SignFLIPは、翻訳と生成のための統一LLM中心のフレームワークである。 テキストとサインの双方向マッピングを可能にするため、SignFLIPは大規模データ上に構築された段階的なトレーニング戦略とともに対称アーキテクチャを採用する。 複数のベンチマーク実験により、SignFLIPは、翻訳タスクと生成タスクの両方におけるタスク固有モデルと比較して、競合する性能を示した。
• 参考スコア（独自算出の注目度）: 11.486105152442667
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Sign language translation and generation share the goal of bidirectional alignment between text and sign representations. However, existing approaches either treat them as isolated tasks or are only verified on limited datasets, limiting effective modeling between modalities. In this paper, we propose SignFLIP, a unified LLM-centered framework for translation and generation. To enable bidirectional mapping between text and sign, SignFLIP adopts a symmetric architecture together with a stage-wise training strategy built on large-scale data. The shared sign--text representation is progressively refined: pre-alignment facilitates subsequent SLT, while the SLT-adapted representation further benefits SLG. Extensive experiments on multiple benchmarks show that SignFLIP shows competitive performance compared with task-specific models on both translation and generation tasks, as well as strong transferability to sign language recognition.
• Abstract（参考訳）: 手話の翻訳と生成は、テキストと手話表現の間の双方向のアライメントという目標を共有している。 しかし、既存のアプローチでは、それらを独立したタスクとして扱うか、限られたデータセットでのみ検証し、モダリティ間の効果的なモデリングを制限する。 本稿では,翻訳と生成のための統一LLM中心のフレームワークであるSignFLIPを提案する。 テキストとサインの双方向マッピングを可能にするため、SignFLIPは大規模データ上に構築された段階的なトレーニング戦略とともに対称アーキテクチャを採用する。 共有記号-テキスト表現は徐々に洗練され、事前アライメントはその後のSLTを促進する一方、SLT適応表現はSLGにさらに恩恵を与える。 複数のベンチマークでの大規模な実験により、SignFLIPは、翻訳タスクと生成タスクの両方におけるタスク固有モデルと競合する性能を示し、また、手話認識に対する強い伝達性を示している。

関連論文リスト

• SignGPT: Toward LLM-Mediated Sign Language Interaction through Gloss-Free Translation and Generation [30.411039363932407]
  我々は、Gloss-free SLTとSLGのための統合されたポーズベースのフレームワークSignGPTを提案する。 ベンチマーク比較により,How2Sign(ASL)とPhoenix-2014T(DGS)のSignGPTを評価する。 12個のDeaf ASLシグナーによる探索的研究は、LSMを介するサイン・ツー・サイン応答パイプラインを評価する。
  論文  参考訳（メタデータ） (2026-09-18T12:46:50Z)
• Bridging the Gap Between Semantics and Reconstruction:Unifying Sign Language Translation and Production [16.56134410439223]
  手話研究の最近の進歩は、複数の手話理解サブタスクを統合する傾向を示している。 言語理解と生産をひとつのフレームワークに統合することは可能か? 統合されたフレームワークは、2つの重要な課題に対処しなければならない。
  論文  参考訳（メタデータ） (2026-08-10T02:50:07Z)
• SIGNET: Motion-Level Knowledge Transfer for Cross-Language Sign Language Translation [20.105725837533722]
  textbf SIGNETは,言語間手話翻訳のための動作レベル知識を実現するフレームワークである。 私たちのキーは、手話言語は文法と語彙が異なるが、事前訓練されたモデルは、データセットや言語間で再利用可能な動きレベルの視覚パターンをキャプチャする。
  論文  参考訳（メタデータ） (2026-06-26T21:58:16Z)
• TextLDM: Language Modeling with Continuous Latent Diffusion [89.69255520673248]
  拡散変換器(DiT)は、VAEラテント空間におけるフローマッチングで訓練され、画像やビデオ間で統一された視覚生成を行う。 最小限のアーキテクチャ変更で視覚的潜伏拡散のレシピをテキスト生成に転送するTextLDMを提案する。
  論文  参考訳（メタデータ） (2026-05-08T13:54:34Z)
• Let ViT Speak: Generative Language-Image Pre-training [102.76320739909421]
  GenLIPはビジョントランスフォーマー(ViT)のための最小限の生成事前学習フレームワークである 標準言語モデリングの目的を使用して、視覚トークンから直接言語トークンを予測するために、ViTをトレーニングする。 様々なマルチモーダルベンチマークの競合や優れた結果が得られる。
  論文  参考訳（メタデータ） (2026-05-01T17:51:38Z)
• MaDiS: Taming Masked Diffusion Language Models for Sign Language Generation [78.75809158246723]
  本稿では,SLGのためのマスク付き拡散型言語モデルであるMaDiSについて述べる。 また,トークン・ラテント・ヘアリング・3次元空間の目的から共同で学習する3段階のクロスモーダル事前学習手法を導入する。 MaDiSはDTWエラーと新たに導入された2つのメトリクスであるSiBLEUとSiCLIPを含む複数のメトリクスで優れたパフォーマンスを実現し、推論レイテンシを30%近く削減している。
  論文  参考訳（メタデータ） (2026-01-27T13:06:47Z)
• Lost in Translation, Found in Embeddings: Sign Language Translation and Alignment [84.39962912136525]
  我々は手話翻訳(SLT)と手話字幕アライメント(SSA)を実行する手話理解モデルを開発する。 i)人間のキーポイントと唇領域の画像から手動と非手動のキューをキャプチャする軽量な視覚バックボーン,(ii)連続的な視覚特徴を単語レベルの埋め込みに集約するスライディングパーシーバーマッピングネットワーク,(iii)SLTとSSAを協調的に最適化するマルチタスクスケーラブルなトレーニング戦略である。
  論文  参考訳（メタデータ） (2025-12-08T21:05:46Z)
• MS2SL: Multimodal Spoken Data-Driven Continuous Sign Language Production [93.32354378820648]
  我々は,手話と非手話のユーザ間のコミュニケーションを緩和する,連続手話生成のための統一フレームワークを提案する。 テキストや音声から抽出した埋め込みを利用したシーケンス拡散モデルを作成し、段階的にサイン予測を生成する。 How2SignとPHOENIX14Tデータセットの実験により、手話生成において、我々のモデルが競合性能を達成することを示す。
  論文  参考訳（メタデータ） (2024-07-04T13:53:50Z)
• FLIP: Fine-grained Alignment between ID-based Models and Pretrained Language Models for CTR Prediction [49.510163437116645]
  クリックスルーレート(CTR)予測は、パーソナライズされたオンラインサービスにおいてコア機能モジュールとして機能する。 CTR予測のための従来のIDベースのモデルは、表形式の1ホットエンコードされたID特徴を入力として取る。 事前訓練された言語モデル(PLM)は、テキストのモダリティの文を入力として取る別のパラダイムを生み出した。 本稿では,CTR予測のためのIDベースモデルと事前学習言語モデル(FLIP)間の細粒度特徴レベルのアライメントを提案する。
  論文  参考訳（メタデータ） (2023-10-30T11:25:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。