論文の概要: MuViRL: Multimodal View-Invariant Visual Speech Representation Learning via Calibrated View Aggregation
- arxiv url: http://arxiv.org/abs/2611.16655v1
- Date: Thu, 12 Nov 2026 11:31:59 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-14 01:36:33.45795
- Title: MuViRL: Multimodal View-Invariant Visual Speech Representation Learning via Calibrated View Aggregation
- Title(参考訳): MuViRL: 校正されたビューアグリゲーションによるマルチモーダルビュー不変視覚音声表現学習
- Abstract要約: MuViRLは、ビュー不変の視覚表現学習のための自己教師型フレームワークである。
マルチモーダル決定モデルは教師の予測損失から相対ビューユーティリティを学習する。
実および合成マルチビューデータを用いた実験により、MuViRLはビュー間のマルチモーダル表現の整合性と視覚音声認識性能を向上させることが示された。
- 参考スコア(独自算出の注目度): 21.609263529831427
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Multimodal representation learning combines complementary signals to capture shared semantic information. For dynamic scenes, these representations need to remain consistent across views while preserving distinctions between temporal states. In visual speech representation learning, view variation changes the visibility and reliability of articulation cues, making it difficult to learn such representations from synchronized audio and video. To address this challenge, we propose MuViRL, a self-supervised framework for multimodal view-invariant visual speech representation learning via calibrated view aggregation. The framework combines synchronized 3D Gaussian view synthesis with multimodal self-supervision to learn consistent representations from real and synthesized data. A multimodal decision model learns relative view utility from teacher prediction losses, and its calibrated scores guide the aggregation of complementary information. Aggregation-to-Single Distillation transfers the aggregated predictions to a single branch. Real-synthetic alignment matches synchronized windows across views while preserving their temporal relations. Experiments on real and synthesized multiview data demonstrate that MuViRL improves multimodal representation consistency and visual speech recognition performance across views.
- Abstract(参考訳): マルチモーダル表現学習は、相補的な信号を組み合わせて、共有セマンティック情報をキャプチャする。
動的なシーンでは、これらの表現は時間的状態の区別を維持しながら、ビュー間で一貫性を保つ必要がある。
視覚的音声表現学習において、視線変化は調音手がかりの可視性と信頼性を変化させ、同期音声やビデオからそのような表現を学習することは困難である。
この課題に対処するために、校正されたビューアグリゲーションによるマルチモーダルなビュー不変の視覚音声表現学習のための自己教師付きフレームワーク MuViRL を提案する。
このフレームワークは、同期された3Dガウスビュー合成とマルチモーダルな自己スーパービジョンを組み合わせて、実データと合成データから一貫した表現を学習する。
マルチモーダル決定モデルは教師の予測損失から相対ビューユーティリティを学習し、その校正スコアは相補的な情報の集約を導く。
アグリゲーション・トゥ・シングル蒸留(Aggregation-to-Single Distillation)は、集約された予測を単一の分岐に転送する。
実合成アライメントは、時間的関係を維持しながら、ビューを横断する同期ウィンドウと一致します。
実および合成マルチビューデータを用いた実験により、MuViRLはビュー間のマルチモーダル表現の整合性と視覚音声認識性能を向上させることが示された。
関連論文リスト
- SyncRA: Learning Temporal Correspondence in Omni-Modal Models [4.652935587195116]
音声と視覚の時間的対応を強化する軽量なSyncRAを提案する。
5つの公開ビデオベンチマークで、異なるサイズとアーキテクチャにまたがる4つのオープンオムニモーダルモデルに対してSyncRAを評価した。
論文 参考訳(メタデータ) (2026-09-28T05:40:09Z) - VT-MUSE: Multimodal Unified Sequential Visuotactile Representation Learning for Manipulation [36.618694244481]
VT-MUSE は Visuotactilemanipulation のための表現学習フレームワークである。
2段階の表現学習フレームワークを通じて、両方の制限に対処する。
シミュレーションベンチマークでは、VT-MUSEは全タスクで評価された最強のベースラインを11ポイント上回っている。
論文 参考訳(メタデータ) (2026-08-21T16:50:02Z) - ViQ: Text-Aligned Visual Quantized Representations at Any Resolution [91.46185855575789]
本稿では,視覚的量子化表現フレームワークViQについて紹介する。
我々のアプローチは、量子化学習をテキスト整列事前学習と特徴分別という2つの段階に構成する。
マルチモーダル・タスクの実験では、ViQは最先端のマルチモーダル・ビジョン・エンコーダに比べて競争性能が高いことを示した。
論文 参考訳(メタデータ) (2026-06-25T17:29:27Z) - Kelix Technical Report [86.64551727600104]
我々は、完全離散自己回帰統一モデルであるKelixを紹介し、離散的および連続的な視覚表現間の理解ギャップを埋める。
最近の研究は、完全自己回帰型マルチモーダルモデリングを可能にするために、離散的な視覚的トークン化を探求している。
論文 参考訳(メタデータ) (2026-02-10T14:48:26Z) - TUNA: Taming Unified Visual Representations for Native Unified Multimodal Models [96.41974190202642]
統一マルチモーダルモデル(UMM)は,単一のフレームワーク内でのマルチモーダル理解と生成を共同で行うことを目的としている。
本稿では、VAEエンコーダを表現エンコーダでカスケードすることで、統一された連続的な視覚表現を構築するネイティブUMMであるTUNAを提案する。
論文 参考訳(メタデータ) (2025-12-01T18:59:51Z) - Hallo: Hierarchical Audio-Driven Visual Synthesis for Portrait Image Animation [29.87407471246318]
この研究は、顔の動きを同期させ、視覚的に魅力的で時間的に一貫したアニメーションを作成する複雑さを掘り下げている。
我々の革新的なアプローチは、エンドツーエンドの拡散パラダイムを採用し、階層的な音声駆動視覚合成モジュールを導入しています。
提案した階層型音声駆動視覚合成は、表現の適応的な制御と多様性のポーズを提供し、異なるアイデンティティに合わせてより効果的なパーソナライゼーションを可能にする。
論文 参考訳(メタデータ) (2024-06-13T04:33:20Z) - Disentangling Multi-view Representations Beyond Inductive Bias [32.15900989696017]
本稿では,表現の解釈可能性と一般化性を両立させる新しい多視点表現分離手法を提案する。
提案手法は,クラスタリングと分類性能において,12種類の比較手法より優れていることを示す。
論文 参考訳(メタデータ) (2023-08-03T09:09:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。