論文の概要: Sign Language Video Synthesis via Loss-Guided Multi-Expert GANs
- arxiv url: http://arxiv.org/abs/2608.13368v1
- Date: Thu, 13 Aug 2026 15:32:40 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-14 18:29:38.579111
- Title: Sign Language Video Synthesis via Loss-Guided Multi-Expert GANs
- Title（参考訳）: ロスガイド型マルチエキスパートGANによる手話ビデオ合成
- Abstract要約: 本稿では,GANを用いた手話音声合成のためのフレームワークを提案する。
グローバル、ハンド、ヘッドの3つの特殊識別器は、それぞれ、ジェネレータの対応する専門家ブランチを、異なる視覚領域に向けてガイドする。
このシステムは2025年の香港フロンティア技術サミットで披露された。
- 参考スコア（独自算出の注目度）: 5.455881292140741
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: This preliminary technical report presents a framework for sign language video synthesis using a loss-guided multi-expert Generative Adversarial Network (GAN) to enhance communication for individuals with hearing impairments. Three specialized discriminators -- global, hand, and head -- each guide a corresponding expert branch in the generator toward a distinct visual region, enabling implicit feature specialization without explicit diversity losses. To stabilize this multi-discriminator system, whose early-phase training otherwise exhibits chaotic dynamics, we introduce a United Loss consensus mechanism that regularizes each discriminator toward the ensemble average at a 10% weight. Each branch further adopts a dual-pathway convolutional-transformer design with learnable AdaptiveFeatureFusion, balancing the stability of convolutions against the detail of windowed self-attention. The generator is trained using an alternating three-mode schedule (discriminator, holistic generation, branch-specialized generation). On a custom 156GB dataset with a filtered test set that removes easy and repetitive samples, our 0.2B-parameter variant achieves 29.8 PSNR and the 1.3B-parameter variant achieves 30.7 PSNR, with inference VRAM footprints of 1.5 GB and 8 GB respectively, enabling deployment on consumer-grade hardware. Full ablation studies remain ongoing due to the 2-3 month training cycle on a single GPU. The system was showcased at the 2025 Hong Kong Frontier Technology Summit.
- Abstract（参考訳）: この予備的技術報告は、聴覚障害のある個人のためのコミュニケーションを強化するために、損失誘導マルチエキスパート生成適応ネットワーク(GAN)を用いた手話ビデオ合成のためのフレームワークを提案する。
グローバル、ハンド、ヘッドの3つの特殊識別器は、それぞれ、ジェネレータの対応する専門家ブランチを別個の視覚領域へと誘導し、明示的な多様性の損失を伴わずに、暗黙の特化を可能にする。
早期学習がカオス力学を呈するこの多識別器システムを安定化するために,各識別器を10%の重みでアンサンブル平均に向けて規則化する統一ロスコンセンサス機構を導入する。
各ブランチは、さらに、学習可能なAdaptiveFeatureFusionを備えたデュアルパスの畳み込み変換設計を採用し、コンボリューションの安定性と、ウィンドウ化された自己アテンションの詳細とのバランスをとる。
ジェネレータは、交互に3モードスケジュール(識別器、全体生成、分岐特殊生成)を使用して訓練される。
簡易かつ反復的なサンプルを除去するフィルタされたテストセットを備えた156GBのカスタムデータセットでは、0.2Bパラメータの変種は29.8 PSNRに達し、1.3Bパラメータの変種は30.7 PSNRに達し、それぞれ1.5GBと8GBのVRAMフットプリントが推測される。
単一のGPU上での2～3ヶ月のトレーニングサイクルのため、完全なアブレーション研究は継続している。
このシステムは2025年の香港フロンティア技術サミットで披露された。
関連論文リスト
- Multi-Modal Semantic Expansion with Constrained LLM Reranking for Conversational Music Recommendation [2.8110777003480654]
本稿では,ACM RecSys 2026 TalkPlayData Challengeに対するSemiintelligencnのソリューションについて紹介する。
提案システムでは,(1)高密度埋め込み空間を横断する減衰重み付きセントロイドを構成するマルチモーダル探索を行う。
差分進化により500セッション展開分割でRF重量を最適化し、MRRを+19.5%改善する。
論文 参考訳（メタデータ） (2026-08-24T16:48:50Z) - DiffusionGemma Technical Report [72.10570774996219]
DiffusionGemma(ディフュージョン・ジェマ)は、離散拡散を用いてテキストを生成する言語モデルである。
DiffusionGemmaは、一度に1つのトークンをデコードする代わりに、256個のトークンのブロックを並列に繰り返し洗練する。
私たちの計算効率の良い2段階トレーニングパイプラインは、開始したARモデルの総トレーニングトークン予算の10%未満を使用します。
論文 参考訳（メタデータ） (2026-07-31T16:11:46Z) - Scaling and Stabilizing Large-Scale Embedding-Based Retrieval [16.34687313227663]
我々は、信号品質とモデル進化の両方に対処する統合パイプラインをウォルマートに展開する。
ドメイン固有の専門知識をレガシモデルから新しいバックボーンに転送するワームスタート蒸留技術を導入する。
提案されたパイプラインは実運用で展開され、NDCG@5で+7.34%改善され、収益で+0.50%上昇した。
論文 参考訳（メタデータ） (2026-07-11T03:24:26Z) - Spectrally Regularized Latent Flow Matching for Turbulence Generation [0.0]
本稿では,スペクトル正規化圧縮ステージを備えた潜在フローマッチングフレームワークを提案する。
Re_f Approx 2250の2562 DNSデータセットでは、MSEで訓練されたVAEをゾーン重み付き対数スペクトルの目的に置き換えることで、スペクトルパワーが深い。
改良された潜在表現はまた、コスト-忠実性のトレードオフを著しく改善する。
論文 参考訳（メタデータ） (2026-06-10T06:09:51Z) - KC-3DGS: Kurtosis-Constrained Gaussian Splatting for High-Fidelity View Synthesis [28.10448224660243]
3D Gaussian Splatting(3DGS)は、シーンを差別化によって最適化された異方性ガウスのコレクションとして表現することで、リアルタイムなノベルビュー合成を可能にする。
標準画素空間損失(L1, SSIM)は、再構成エラーのみを集約し、周波数スケールでエラーを再分配する最適化を可能にする。
我々は,自然画像統計に基づくウェーブレットドメインによる3DGSトレーニングを強化するKC-3DGSを提案する。
論文 参考訳（メタデータ） (2026-06-02T04:04:24Z) - Compact Latent Manifold Translation: A Parameter-Efficient Foundation Model for Cross-Modal and Cross-Frequency Physiological Signal Synthesis [4.672369796753925]
既存の基礎モデルは、しばしば重度のモダリティの絡み合いに苦しむ連続潜在空間に依存している。
本稿では,これらのギャップを埋める高パラメータ効率(0.09B)統一フレームワークであるコンパクト潜時翻訳(CLMT)を提案する。
計算フットプリントのごく一部で生物学的信号の普遍的な離散言語を学習することにより、我々はエッジ展開可能な多要素医療基盤モデルのための新しい軌道を定めている。
論文 参考訳（メタデータ） (2026-05-13T09:31:36Z) - A Unified Foundation Model for All-in-One Multi-Modal Remote Sensing Image Restoration and Fusion with Language Prompting [3.2569765796445034]
言語条件付き大規模リモートセンシング復元モデル(LLaRS)を提案する。
LLaRSは、マルチモーダルおよびマルチタスクリモートセンシング低レベルビジョンのための最初の統合基盤モデルである。
実験では、LLaRSは7つの競争モデルより一貫して優れていた。
論文 参考訳（メタデータ） (2026-04-07T09:33:42Z) - DeepGen 1.0: A Lightweight Unified Multimodal Model for Advancing Image Generation and Editing [67.77471070868852]
DeepGen 1.0は、画像生成と編集のための軽量な5B統一モデルである。
わずか5000万のサンプルでトレーニングされており、WISEでは80BのHunyuan Imageを28%、UniREditBenchでは27BのQwen-Image-Editを37%上回っている。
トレーニングコード、ウェイト、データセットをオープンソース化することで、統合マルチモーダルリサーチを民主化する、効率的で高性能な代替手段を提供します。
論文 参考訳（メタデータ） (2026-02-12T17:44:24Z) - SSVP: Synergistic Semantic-Visual Prompting for Industrial Zero-Shot Anomaly Detection [55.54007781679915]
本稿では,多種多様な視覚的エンコーディングを効率よく融合させ,モデルの微粒化知覚を高めるSynergistic Semantic-Visual Prompting (SSVP)を提案する。
SSVPは、MVTec-AD上で93.0%のImage-AUROCと92.2%のPixel-AUROCで最先端のパフォーマンスを達成し、既存のゼロショットアプローチを著しく上回っている。
論文 参考訳（メタデータ） (2026-01-14T04:42:19Z) - From Feature Interaction to Feature Generation: A Generative Paradigm of CTR Prediction Models [81.43473418572567]
CTR(Click-Through Rate)予測は、レコメンデーションシステムにおける中核的なタスクである。
本稿では,埋め込み次元の崩壊と情報冗長性に対処する新しい生成フレームワークを提案する。
SFGは埋没崩壊を緩和し,情報冗長性を低減し,性能向上を図っている。
論文 参考訳（メタデータ） (2025-12-16T03:17:18Z) - Conditioning Trick for Training Stable GANs [70.15099665710336]
本稿では,GANトレーニング中の不安定性問題に対応するため,ジェネレータネットワークに正規性から逸脱する条件付け手法を提案する。
我々は、生成元をシュア分解のスペクトル領域で計算された実サンプルの正規化関数から逸脱するように強制する。
論文 参考訳（メタデータ） (2020-10-12T16:50:22Z) - When Relation Networks meet GANs: Relation GANs with Triplet Loss [110.7572918636599]
GAN(Generative Adversarial Network)の学習安定性はいまだに悩みの種である
本稿では,判別器のための関係ネットワークアーキテクチャについて検討し,より優れた一般化と安定性を実現する三重項損失を設計する。
ベンチマークデータセットの実験により、提案された関係判別器と新たな損失は、可変視覚タスクに大幅な改善をもたらすことが示された。
論文 参考訳（メタデータ） (2020-02-24T11:35:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。