論文の概要: Pose Adaptive Dynamic FiLM Modulation for Visual Speech Recognition
- arxiv url: http://arxiv.org/abs/2609.29443v1
- Date: Thu, 24 Sep 2026 12:02:37 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-25 21:10:09.901286
- Title: Pose Adaptive Dynamic FiLM Modulation for Visual Speech Recognition
- Title（参考訳）: 視覚音声認識のためのPose Adaptive Dynamic FiLM Modulation
- Abstract要約: 動的Residual FiLM (DR-FiLM) 変調器を用いたPose Adaptive Dynamic FiLMフレームワークを提案する。
DR-FiLMは入力依存の重みを予測し、ポーズ条件変調の強度を適応的に制御する。
その結果、変調強度を動的に制御した場合、ポーズ条件付きFiLM回路のマージ効率が向上した。
- 参考スコア（独自算出の注目度）: 1.3686940157259604
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Head-pose variation introduces substantial appearance transformations in visual speech recognition (VSR), making pose-aware feature modulation desirable. However, performance degradation and unwanted feature interactions may result from using numerous Feature-wise Linear Modulation (FiLM) circuits with fixed modulation intensity. We propose a Pose Adaptive Dynamic FiLM framework with a Dynamic Residual FiLM (DR-FiLM) modulator that predicts input-dependent weights to adaptively control the strength of pose-conditioned modulation. Experiments on LRS2 and LRS3 demonstrate that unweighted multi-pathway modulation substantially degrades phoneme recognition, increasing PER to 20.33% and 29.42%, respectively, compared with 16.20% and 20.96% for the single ResFiLM configuration. In contrast, the proposed DR-FiLM with dynamic Deep-Res weighting reduces PER to 15.74% on LRS2 and 23.91% on LRS3, substantially mitigating the adverse effects of unweighted modulation. The analysis of the learned weights further reveals a consistent tendency to assign greater weight to the deeper FiLM pathway as head-pose variation increases. These results show that merging pose-conditioned FiLM circuits is more efficient when the modulation strength is dynamically controlled.
- Abstract（参考訳）: 頭部変化は、視覚音声認識(VSR)における実質的な外観変換を導入し、ポーズ認識の特徴変調を望ましいものにする。
しかし、性能劣化と不要な特徴相互作用は、固定変調強度を持つ多数の特徴量線形変調(FiLM)回路を使用することによって生じる可能性がある。
ポーズ条件変調の強度を適応的に制御するために、入力依存重みを予測できる動的残留FiLM変調器(DR-FiLM)を備えたPose Adaptive Dynamic FiLMフレームワークを提案する。
LRS2 と LRS3 の実験では、シングル ResFiLM の構成では 16.20% と 20.96% に対して PER は 20.33% と 29.42% に増加した。
対照的に、動的ディープレス重み付けによるDR-FiLMは、LPS2ではPERを15.74%、LSS3では23.91%に減少させ、未加重変調の悪影響を著しく軽減する。
学習した重みの分析により、重みが増大するにつれて、より深いFiLM経路に重みを割り当てる一貫した傾向が明らかになる。
これらの結果から,変調強度を動的に制御した場合,ポーズ条件付きFiLM回路のマージ効率が向上することが示唆された。
関連論文リスト
- Bio-SFT: Asymmetric Cortical Guidance and Retinal Adaptation for Robust HDR Reconstruction [61.07381300333128]
暗黒領域における極端輝度変化と厳密な量子化は、正確な再構築を困難にしている。
Bio-SFTは単一像HDR再構成のためのバイオインスパイアされたスパイク周波数変換器である。
HDRTV1Kの実験では、Bio-SFTは対称誘導パイプラインのアーティファクト伝搬を低減しつつ、HDR-VDP-3と$E_ITP$を一貫して改善している。
論文 参考訳（メタデータ） (2026-07-20T01:07:54Z) - Prompt2Effect: Training-Free Image-to-Video Model Specialization via LoRA Generation [71.45435100897093]
Prompt2Effectは、効果特異的なLoRA重みを1つの前方通過で直接合成することにより、効果ごとのトレーニングを改善できる、重量駆動型ハイパーネットワークである。
Prompt2Effect は従来の LoRA ファインタニングと比較してビデオ品質や効果アライメントに優れることを示した。
論文 参考訳（メタデータ） (2026-06-11T23:26:44Z) - Head-Pose-Aware Visual Speech Recognition with FiLM Modulation [1.3686940157259604]
本稿では,頭部情報を視覚的特徴抽出に明示的に組み込んだポーズ対応音素レベルフレームワークHP-VSR-ResFiLMを提案する。
我々は,HP-VSR-ResFiLMが,訓練データに頼らずに,それぞれ25.0%,33.2%の単語誤り率(WER)で競合性能を達成することを示す。
論文 参考訳（メタデータ） (2026-05-30T14:35:47Z) - How Noisy Poses Break Inverse Dynamics: Analysis and Mitigation for Video-Based Joint Torque Estimation [13.892833449431862]
本研究では,ポーズ推定ノイズが逆ダイナミクスパイプラインを通してどのように伝搬するかを系統的に解析する。
本研究は,(1)関節トルクの数値微分による計算において,ポーズノイズを約1000倍増幅し,(2)近位関節は遠位関節よりも騒音に最大10倍敏感であり,(3)低域通過フィルタは,この増幅を著しく低減する,という3つの重要な知見を提示する。
論文 参考訳（メタデータ） (2026-05-23T23:28:36Z) - A Flow Matching Framework for Soft-Robot Inverse Dynamics [13.045225329973617]
オープンループフィードフォワード制御のための逆力学フレームワークは、生成トランスポートマップとしてシステムの微分力学を学習する。
作業は、ソフトロボットシステムにおいて、微分逆ダイナミクスを学習するための堅牢で高性能なパラダイムとしてフローマッチングを実証する。
論文 参考訳（メタデータ） (2026-04-03T12:45:46Z) - Content Adaptive based Motion Alignment Framework for Learned Video Compression [72.13599533975413]
本稿では,コンテンツ適応型モーションアライメントフレームワークを提案する。
まず、粗いオフセット予測とマスク変調により動き補償を洗練させる2段階の流動誘導変形防止機構を導入する。
第2に,基準品質に基づいて歪み重みを調整するマルチ参照品質認識戦略を提案する。
第3に,スムーズな動き推定を得るために,フレームを大きさと解像度でダウンサンプルするトレーニングフリーモジュールを統合する。
論文 参考訳（メタデータ） (2025-12-15T02:51:47Z) - MSLoRA: Multi-Scale Low-Rank Adaptation via Attention Reweighting [6.335488846185043]
MSLoRAはバックボーンに依存しないパラメータ効率のよいアダプタで、バックボーンを再調整するのではなく、フィーチャーレスポンスを再重み付けする。
MSLoRAは、畳み込みニューラルネットワーク(CNN)と視覚変換器(ViT)の両方の適応を統一する
論文 参考訳（メタデータ） (2025-11-16T00:35:37Z) - MIORe & VAR-MIORe: Benchmarks to Push the Boundaries of Restoration [53.180212987726556]
動作回復ベンチマークの限界に対処する2つの新しいマルチタスクデータセットであるMIOReとVAR-MIOReを紹介する。
私たちのデータセットは、複雑なエゴカメラの動き、動的マルチオブジェクト相互作用、深さ依存のぼかし効果など、幅広い動きシナリオを捉えています。
論文 参考訳（メタデータ） (2025-09-08T15:34:31Z) - Enhancing Motion Dynamics of Image-to-Video Models via Adaptive Low-Pass Guidance [70.12690940725092]
アダプティブローパスガイダンス(ALG)は、よりダイナミックなビデオを生成するためのI2Vモデルサンプリング手順の簡単な修正である。
VBench-I2Vテストスイートでは、ALGはビデオ品質や画像の忠実度を大幅に低下させることなく、ダイナミック度の平均36%の改善を実現している。
論文 参考訳（メタデータ） (2025-06-10T05:23:46Z) - Making the unmodulated pyramid wavefront sensor smart II. First on-sky demonstration of extreme adaptive optics with deep learning [0.08121379264351831]
ピラミッド波面センサ(PWFS)は、現在および将来の極端適応光学(XAO)システムにおいて好まれる選択である。
ほぼ全ての機器は、有限線型性範囲を緩和するために、PWFSを変調形式で使用する。
我々は、変調されていないPWFSを用いたXAOの最初のオンスキーデモンストレーションを示す。
論文 参考訳（メタデータ） (2025-03-20T20:17:30Z) - Replay-Free Continual Low-Rank Adaptation with Dynamic Memory [62.85596937435928]
我々は、事前学習された視覚変換器(ViT)が、時間とともに新しい下流タスクを逐次微調整できる連続学習を再考する。
近年の研究では、CL技術とパラメータ効率の良い微調整の交差が強調されている。
DualLoRA (Dual Low-Rank Adaptation) と呼ばれる新しいPEFT-CL法を提案する。
論文 参考訳（メタデータ） (2024-11-01T14:28:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。