論文の概要: The Impact of VAE Design on Latent Pose Representations for Diffusion-based Sign Language Production
- arxiv url: http://arxiv.org/abs/2606.22959v1
- Date: Mon, 22 Jun 2026 07:38:55 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-25 03:13:02.137774
- Title: The Impact of VAE Design on Latent Pose Representations for Diffusion-based Sign Language Production
- Title(参考訳): VAE設計が拡散型手話生成における潜時表現に及ぼす影響
- Abstract要約: サインポーズ符号化のための変分オートエンコーダにおける設計・訓練対象設計選択が潜在空間構造に与える影響について検討する。
Phoenix14Tデータセットを用いた実験により, 逆変換BLEUスコアを用いて測定した生成性能の変動は, VAE再構成精度単独よりも潜時空間特性の違いによりよく説明できることがわかった。
- 参考スコア(独自算出の注目度): 11.602070354264436
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Latent diffusion approaches to sign language production (SLP) rely on an initial stage that learns an encoding of sign pose sequences, enabling generative modeling in the resulting latent space. The autoencoder used in this stage is typically evaluated in terms of reconstruction quality using geometric metrics common in SLP. While informative, these metrics do not fully capture latent space properties that may influence the training and performance of the downstream generative model. In this work, we investigate how architectural and training objective design choices in a variational autoencoder (VAE) for sign pose encoding affect latent space structure, and how these differences translate into the performance of a latent diffusion model for text-to-sign generation. Our experiments on Phoenix14T dataset show that variations in generative performance, measured through back-translation BLEU scores, can sometimes be better explained by differences in latent space properties than by VAE reconstruction accuracy alone.
- Abstract(参考訳): 潜時拡散法による手話生成(SLP)は、手話列の符号化を学習する初期段階に依存しており、その結果の潜時空間における生成的モデリングを可能にする。
この段階で使用されるオートエンコーダは、SLPに共通する幾何学的指標を用いて、復元品質の観点から評価されるのが一般的である。
情報的ではあるが、これらの指標は下流生成モデルの訓練と性能に影響を与える可能性のある潜在空間特性を完全には捉えていない。
本研究では,符号ポーズ符号化のための変分オートエンコーダ(VAE)のアーキテクチャおよび学習対象設計選択が潜在空間構造にどのように影響するか,また,これらの違いがテキスト・ツー・サイン生成のための潜時拡散モデルの性能にどのように変換されるかを検討する。
Phoenix14Tデータセットを用いた実験により, 逆変換BLEUスコアを用いて測定した生成性能の変動は, VAE再構成の精度単独よりも潜時空間特性の違いによりよく説明できることがわかった。
関連論文リスト
- Self-Supervised Representation-Guided Generative Dataset Distillation [55.27114962330541]
自己監督型表現誘導型生成データセット蒸留(SRG)を提案する。
SRGはSSLの幾何学を拡散誘導に変換する。
複数のデータセットとIPC設定で評価された生成ベースラインを一貫して上回る。
論文 参考訳(メタデータ) (2026-08-04T06:51:45Z) - Probing Geospatial SSL Representations with Environmental Signals [51.908606610432194]
自己教師付き学習(SSL)は、単一のタスクに最適化された表現ではなく、汎用的で転送可能な表現を学ぶように設計されている。
SSL表現は、イメージングプロセスと共変する環境変数との統計的関連を保存しているか?
この問題に対処するために、我々は、物理的に一貫した環境変数のグローバルデータセットである共配置ERA5再解析変数を用いてSSL表現を探索する。
論文 参考訳(メタデータ) (2026-07-06T15:24:25Z) - Self-Evolving Spatial Reasoning in Vision Language Models via Geometric Logic Consistency [53.28076739140119]
本稿では,視覚・言語モデル(VLM)における論理的一貫性を幾何学的・言語的双対性演算によって実現する枠組みを提案する。
SAGEは、従来のGRPO法に比べてモデルに依存しず、データ効率が良く、既存のVLMに軽量な後学習段階として適用することができる。
ビデオおよび空間推論ベンチマークの実験では、強いベースラインよりも一貫した改善が示されている。
論文 参考訳(メタデータ) (2026-05-18T10:05:21Z) - A$^{2}$V-SLP: Alignment-Aware Variational Modeling for Disentangled Sign Language Production [0.9384603486206738]
A$2$V-SLPは、決定論的埋め込みよりも、調音的に非絡み合った潜在分布を学習する。
不整合変分オートコーダは、接地トラス符号ポーズシーケンスを符号化し、調音器固有の平均および分散ベクトルを抽出する。
論文 参考訳(メタデータ) (2026-02-12T12:07:32Z) - Towards Skeletal and Signer Noise Reduction in Sign Language Production via Quaternion-Based Pose Encoding and Contrastive Learning [7.740338361213371]
本稿では,標準プログレッシブトランスフォーマー(PT)アーキテクチャの2つの拡張を提案する。
まず,四元数空間における骨回転を用いたポーズを符号化し,ジオデシックな損失を生かし,角関節運動の精度と明瞭さを向上させる。
第2に、グロスオーバーラップまたはSBERTベースの文類似性を用いて、意味的類似性による構造デコーダの埋め込みに対照的な損失を導入する。
論文 参考訳(メタデータ) (2025-08-20T09:52:51Z) - When can isotropy help adapt LLMs' next word prediction to numerical domains? [53.98633183204453]
文脈埋め込み空間におけるLLM埋め込みの等方性は表現の基盤構造を保存することが示されている。
実験により、数値データとモデルアーキテクチャの異なる特性が等方性に異なる影響があることが示されている。
論文 参考訳(メタデータ) (2025-05-22T05:10:34Z) - Latent Thought Models with Variational Bayes Inference-Time Computation [52.63299874322121]
ラテント思考モデル(LTM)は、ラテント空間における明示的な事前モデルに従う明示的なラテント思考ベクトルを包含する。
LTMは自己回帰モデルや離散拡散モデルよりも優れたサンプルおよびパラメータ効率を示す。
論文 参考訳(メタデータ) (2025-02-03T17:50:34Z) - Exploring Representation-Aligned Latent Space for Better Generation [86.45670422239317]
生成性能を改善するために,セマンティックな事前情報を統合するReaLSを導入する。
本研究では、ReaLSでトレーニングされたDETとSiTが、FID測定値の15%改善を実現することを示す。
拡張されたセマンティック潜在空間は、セグメンテーションや深さ推定のようなより知覚的な下流タスクを可能にする。
論文 参考訳(メタデータ) (2025-02-01T07:42:12Z) - Graph-Induced Syntactic-Semantic Spaces in Transformer-Based Variational
AutoEncoders [5.037881619912574]
本稿では,トランスフォーマーを用いたVAEにおける構造構文注入のための潜時空間分離法について検討する。
具体的には、グラフベースおよびシーケンシャルモデルの統合により、符号化段階で構文構造をどのように活用するかを検討する。
我々の経験的評価は、自然言語文と数学的表現に基づいて行われ、提案したエンドツーエンドのVAEアーキテクチャにより、潜在空間の全体構造がより良くなることを示している。
論文 参考訳(メタデータ) (2023-11-14T22:47:23Z) - An Integral Projection-based Semantic Autoencoder for Zero-Shot Learning [0.46644955105516456]
ゼロショット学習(ZSL)分類は、トレーニングセットに含まれないクラス(ラベル)を分類または予測する(見えないクラス)。
近年の研究では、エンコーダが視覚的特徴空間をセマンティック空間に埋め込み、デコーダが元の視覚的特徴空間を再構成する、異なる意味的オートエンコーダ(SAE)モデルが提案されている。
本稿では,意味空間でベクトル化された視覚的特徴空間を潜在表現空間に投影する統合投影型セマンティックオートエンコーダ(IP-SAE)を提案する。
論文 参考訳(メタデータ) (2023-06-26T12:06:20Z) - Disentanglement via Latent Quantization [60.37109712033694]
本研究では,組織化された潜在空間からの符号化と復号化に向けた帰納的バイアスを構築する。
本稿では,基本データレコーダ (vanilla autoencoder) と潜時再構成 (InfoGAN) 生成モデルの両方に追加することで,このアプローチの広範な適用性を実証する。
論文 参考訳(メタデータ) (2023-05-28T06:30:29Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。