論文の概要: Hybrid Autoregressive-Diffusion Model for Real-Time Streaming Sign Language Production

• arxiv url: http://arxiv.org/abs/2507.09105v1
• Date: Sat, 12 Jul 2025 01:34:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-15 18:48:22.454433
• Title: Hybrid Autoregressive-Diffusion Model for Real-Time Streaming Sign Language Production
• Title（参考訳）: リアルタイムストリーム手話生成のためのハイブリッド自己回帰拡散モデル
• Authors: Maoxiao Ye, Xinfeng Ye, Mano Manoharan,
• Abstract要約: 本稿では,自己回帰モデルと拡散モデルを組み合わせて手話生成(SLP)モデルを生成するハイブリッドアプローチを提案する。 細かな体の動きを捉えるため,異なるアーティストから細かな特徴を別々に抽出するマルチスケール・ポース表現モジュールを設計した。 また、連立レベルの信頼スコアを利用してポーズ生成過程を動的にガイドする信頼意識型因果注意機構も導入する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Earlier Sign Language Production (SLP) models typically relied on autoregressive methods that generate output tokens one by one, which inherently provide temporal alignment. Although techniques like Teacher Forcing can prevent model collapse during training, they still cannot solve the problem of error accumulation during inference, since ground truth is unavailable at that stage. In contrast, more recent approaches based on diffusion models leverage step-by-step denoising to enable high-quality generation. However, the iterative nature of these models and the requirement to denoise entire sequences limit their applicability in real-time tasks like SLP. To address it, we apply a hybrid approach combining autoregressive and diffusion models to SLP for the first time, leveraging the strengths of both models in sequential dependency modeling and output refinement. To capture fine-grained body movements, we design a Multi-Scale Pose Representation module that separately extracts detailed features from distinct articulators and integrates them via a Multi-Scale Fusion module. Furthermore, we introduce a Confidence-Aware Causal Attention mechanism that utilizes joint-level confidence scores to dynamically guide the pose generation process, improving accuracy and robustness. Extensive experiments on the PHOENIX14T and How2Sign datasets demonstrate the effectiveness of our method in both generation quality and real-time streaming efficiency.
• Abstract（参考訳）: 初期の手話生産(SLP)モデルは、本質的に時間的アライメントを提供する出力トークンを1つずつ生成する自己回帰的手法に依存していた。 教師強制のようなテクニックは、トレーニング中にモデルの崩壊を防げるが、その段階では根本真理が利用できないため、推論中にエラーの蓄積という問題を解決することはできない。 対照的に、拡散モデルに基づくより最近のアプローチは、高品質な生成を可能にするためにステップバイステップの復調を利用する。 しかしながら、これらのモデルの反復的な性質とシーケンス全体をノイズ化する要求は、SLPのようなリアルタイムタスクにおける適用性を制限している。 そこで我々は, 自己回帰モデルと拡散モデルを組み合わせたハイブリッド手法を初めてSLPに適用し, 逐次依存性モデリングと出力改善における両モデルの強みを生かした。 微粒な体の動きを捉えるために,異なる調音器から細かな特徴を別々に抽出し,それらを多スケール融合モジュールを介して統合する多スケールPose Representationモジュールを設計する。 さらに、連立レベルの信頼スコアを利用してポーズ生成プロセスを動的にガイドし、精度とロバスト性を向上させる信頼意識型因果注意機構を導入する。 PHOENIX14TとHow2Signデータセットの大規模な実験は、生成品質とリアルタイムストリーミング効率の両方において、我々の手法の有効性を実証している。

関連論文リスト

• Fast Autoregressive Models for Continuous Latent Generation [49.079819389916764]
  自己回帰モデルは、特にNLPにおいて、シーケンシャルなデータ生成において顕著な成功を収めている。 最近の研究で、マスク付き自己回帰モデル(MAR)は拡散ヘッドを用いて連続空間内のトーケン分布をモデル化することによって量子化をバイパスする。 本稿では,MARの拡散ヘッドを軽量ショートカットヘッドに置き換える新しいフレームワークであるFast AutoRegressive Model (FAR)を提案する。
  論文  参考訳（メタデータ） (2025-04-24T13:57:08Z)
• Unifying Autoregressive and Diffusion-Based Sequence Generation [2.3923884480793673]
  本稿では,拡散に基づく系列生成モデルの拡張について述べる。 個別のトークン位置に異なるノイズスケジュールを割り当てるハイパースケジューリングを導入する。 第2に,吸収過程と一様過程の間に介在する2つのハイブリッドトークン単位のノイズ発生過程を提案し,過去の誤りを解消する。
  論文  参考訳（メタデータ） (2025-04-08T20:32:10Z)
• One-Step Diffusion Model for Image Motion-Deblurring [85.76149042561507]
  本稿では,脱臭過程を1段階に短縮する新しいフレームワークである脱臭拡散モデル(OSDD)を提案する。 拡散モデルにおける忠実度損失に対処するために,構造復元を改善する改良された変分オートエンコーダ(eVAE)を導入する。 提案手法は,実測値と非参照値の両方で高い性能を達成する。
  論文  参考訳（メタデータ） (2025-03-09T09:39:57Z)
• Merging Models on the Fly Without Retraining: A Sequential Approach to Scalable Continual Model Merging [75.93960998357812]
  ディープモデルマージ(Deep Modelmerging)は、複数の微調整モデルを組み合わせて、さまざまなタスクやドメインにまたがる能力を活用する、新たな研究方向を示すものだ。 現在のモデルマージ技術は、全ての利用可能なモデルを同時にマージすることに集中しており、重量行列に基づく手法が主要なアプローチである。 本稿では,モデルを逐次処理するトレーニングフリーなプロジェクションベース連続マージ手法を提案する。
  論文  参考訳（メタデータ） (2025-01-16T13:17:24Z)
• Energy-Based Diffusion Language Models for Text Generation [126.23425882687195]
  エネルギーベース拡散言語モデル(Energy-based Diffusion Language Model, EDLM)は、拡散ステップごとに全シーケンスレベルで動作するエネルギーベースモデルである。 我々のフレームワークは、既存の拡散モデルよりも1.3$times$のサンプリングスピードアップを提供する。
  論文  参考訳（メタデータ） (2024-10-28T17:25:56Z)
• Self-Play Fine-Tuning of Diffusion Models for Text-to-Image Generation [59.184980778643464]
  ファインチューニング拡散モデル : 生成人工知能(GenAI)の最前線 本稿では,拡散モデル(SPIN-Diffusion)のための自己演奏ファインチューニングという革新的な手法を紹介する。 提案手法は従来の教師付き微調整とRL戦略の代替として,モデル性能とアライメントの両方を大幅に改善する。
  論文  参考訳（メタデータ） (2024-02-15T18:59:18Z)
• Latent Autoregressive Source Separation [5.871054749661012]
  本稿では,ベクトル量子化遅延自己回帰音源分離(入力信号を構成源にデミックスする)を導入する。 分離法は, 自己回帰モデルが先行するベイズ式に依拠し, 付加トークンの潜在和に対して離散的(非パラメトリック)確率関数を構築した。
  論文  参考訳（メタデータ） (2023-01-09T17:32:00Z)
• Your Autoregressive Generative Model Can be Better If You Treat It as an Energy-Based One [83.5162421521224]
  本稿では,自己回帰生成モデルの学習のための独自のE-ARM法を提案する。 E-ARMは、よく設計されたエネルギーベースの学習目標を活用する。 我々は、E-ARMを効率的に訓練でき、露光バイアス問題を緩和できることを示した。
  論文  参考訳（メタデータ） (2022-06-26T10:58:41Z)
• Symbolic Music Generation with Diffusion Models [4.817429789586127]
  本論文では,前訓練された可変オートエンコーダの連続潜空間における離散領域をパラメータ化することにより,連続データに対する拡散モデルを訓練する手法を提案する。 同じ連続埋め込み上で動作する自己回帰型言語モデルと比較して,強い無条件生成とポストホック条件付インフィル結果を示す。
  論文  参考訳（メタデータ） (2021-03-30T05:48:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。