論文の概要: Quality-Aware Multimodal Fusion Reveals Implicit Identity in Valence-Arousal Features

• arxiv url: http://arxiv.org/abs/2607.21347v1
• Date: Thu, 23 Jul 2026 14:14:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-24 18:26:25.430188
• Title: Quality-Aware Multimodal Fusion Reveals Implicit Identity in Valence-Arousal Features
• Title（参考訳）: 品質に配慮したマルチモーダル核融合は, 有意義な特徴を示唆する
• Abstract要約: マルチモーダル表現力学は、静的な外観と相補的なアイデンティティ識別情報を運ぶ。 このような表現を学習するためのQAAF(Quality-Aware Adaptive Fusion)を提案する。 QAAFは、サンプルごと、モダリティごとの信頼性を推定し、学習したソフトゲーティングと品質に依存したドロップアウトを通じて各モダリティの貢献を適応する。
• 参考スコア（独自算出の注目度）: 3.8462586707917197
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Conventional face recognition relies on static appearance cues and degrades in unconstrained settings with expression variation, occlusion, and poor lighting. We hypothesize that audiovisual expression dynamics carry identity-discriminative information complementary to static appearance, and that extracting this signal requires multimodal representations robust to the variable input quality of in-the-wild video. To learn such representations, we cast multimodal valence-arousal (VA) estimation as a pretext task and propose Quality-Aware Adaptive Fusion (QAAF), which estimates per-sample, per-modality reliability and adapts each modality's contribution through learned soft gating and a quality-dependent dropout. For the problem of VA estimation, QAAF achieves an average Concordance Correlation Coefficient (CCC) of 0.472 via late fusion ensembling on Aff-wild2, improving over a baseline ensemble under the same setting (0.415) as well as a single-backbone baseline (0.288). Furthermore, the proposed QAAF demonstrates greater resilience to unavailable modalities, with only a 7.5-34.4% relative decrease in CCC when one modality is missing. We then probe whether these VA-trained features encode identity without identity-specific training. On AFEW-VA (67 actors) and YTF (1,595 subjects), VA-trained backbone features rank first among evaluated soft biometric methods, and score-level fusion with ArcFace lowers EER on both datasets (0.022 to 0.021 on AFEW-VA, 0.106 to 0.104 on YTF), correcting 68.2% of ArcFace's false accepts on AFEW-VA. These findings establish multimodal VA estimation as a soft biometric modality complementary to conventional face recognition.
• Abstract（参考訳）: 従来の顔認識は、表情のバリエーション、閉塞性、照明の弱い、制約のない環境での静的な外観の手がかりと劣化に依存している。 我々は、音声視覚表現のダイナミクスが静的な外観と相補的な識別情報を持ち、この信号の抽出には、Wild ビデオの可変入力品質に頑健なマルチモーダル表現が必要であると仮定する。 このような表現を学習するために,プレテキストタスクとしてマルチモーダル価覚醒(VA)推定を行い,サンプルごとの精度,モダリティ毎の信頼性を推定し,学習ソフトゲーティングと品質依存ドロップアウトを通じて各モーダルの寄与を適応する品質・アウェア・アダプティブ・フュージョン(QAAF)を提案する。 VA推定の問題として、QAAF は Aff-wild2 上の後期融合アンサンブルにより 0.472 の平均コンコータンス相関係数 (CCC) を達成し、同じ設定 (0.415) の下でベースラインアンサンブルを改良し、またシングルバックボーンベースライン (0.288) も改善した。 さらに、提案されたQAAFは、1つのモダリティが欠如している場合にCCCが7.5-34.4%しか減少しないため、利用不可能なモダリティに対する弾力性を示す。 次に、VA学習した特徴が、アイデンティティ固有のトレーニングを伴わずに、アイデンティティをエンコードするかどうかを調査する。 AFEW-VA(67人の俳優)とYTF(1,595人の被験者)では、VAトレーニングされたバックボーンが評価された軟式生体認証法の中で第一位にランクされ、ArcFaceとのスコアレベル融合は両方のデータセット(AFEW-VAでは0.022から0.021、YTFでは0.106から0.0104)でEERを低下させ、ArcFaceのAFEW-VAに対する偽の受け入れの68.2%を補正した。 これらの結果から,従来の顔認識と相似する軟式バイオメトリック・モダリティとして,マルチモーダルVA推定が確立された。

関連論文リスト

• MorphUNet: Alpha-Controlled Biometric Transport for Diffusion-Based Face Morphing Attacks [42.651660700496606]
  MorphUNetは、アルファ制御バイオメトリックトランスポートとして2パーシャル世代を定式化した拡散モルフィングフレームワークである。 これは、トレーニング可能な親分離デュアルクロスアテンションを用いた初めての拡散ベースのモーフィングフレームワークである。 6つのシステムのうち少なくとも3つが1つの形態によって騙される場合、MAP(Morphing Attack potential)が最適である。
  論文  参考訳（メタデータ） (2026-07-27T21:30:49Z)
• Team RAS in 11th ABAW Competition: Multimodal Ambivalence Recognition Approach [52.92973028971813]
  ビデオレベルのアンビバレンスとヘシタシー認識のための単一のテキスト中心マルチモーダルアプローチを提案する。 提案手法は,テキスト中心のマルチモーダル融合モデルを用いて,言語的,音響的,顔的,シーン的特徴を組み合わせたものである。 行動共生/衛生(BAH)コーパスの実験は、テキストが最強の単調なモダリティであることを確認した。
  論文  参考訳（メタデータ） (2026-07-16T08:04:23Z)
• PLGSA-Transformer: Periocular Landmark-Guided Attention with Occlusion-Adaptive Cosine Thresholding for Cross-Modal Masked and Unmasked Face Recognition [0.0]
  本稿では,3つのコントリビューションを持つクロスモーダル顔マッチングフレームワークであるPLGSA-Transformerを提案する。 PLGSA-Transformerは、ROC AUC 1.0000で97.22%のペア検証精度を達成し、VGG-16ベースのMUFMを上回った。
  論文  参考訳（メタデータ） (2026-07-03T19:48:17Z)
• Partial Skeleton Visibility for Action Recognition: A Constrained Field-of-View Approach [60.596944437968524]
  partialVisGraphは、制約されたフィールド・オブ・ビューの下で、堅牢なスケルトンベースのアクション認識のための新しいフレームワークである。 部分的な可視性の下では、最先端の精度を一貫して達成し、厳しいFoV制限のあるサブセットでは68.8%まで上昇する。 提案手法は,非拘束環境下でのスケルトンに基づく行動理解を実現するための,原則的かつ実践的な経路を提供する。
  論文  参考訳（メタデータ） (2026-07-01T10:03:11Z)
• Frozen Multimodal Embeddings for AI-Assisted Interview Assessment of Personality and Cognitive Ability [0.20999222360659606]
  本稿では,ACM Multimedia AVI Challenge 2026について述べる。 Track1は自己報告されたHEXACO性格特性を人格関連面接応答から予測し、Track2は認知能力レベルを分類する。 視覚的特徴にはCLIP、音響的特徴や文字起こしにはWhisper、テキスト表現にはRoBERTa、E5、DeBERTaV3など、凍結したマルチモーダルエンコーダを使用します。
  論文  参考訳（メタデータ） (2026-06-10T11:03:34Z)
• Optimization-Embedded Active Multi-Fidelity Surrogate Learning for Multi-Condition Airfoil Shape Optimization [0.0]
  多条件翼形状最適化のための能動多面体代理モデルを開発した。 このフレームワークは、不確実性トリガーサンプリングと同期エリート性規則と、低忠実性インフォームドガウスプロセス回帰転送モデルとを結合する。 最適化された設計により、クルーズ効率は41.05%向上し、離陸リフトは最高の第1世代と比較して20.75%向上した。
  論文  参考訳（メタデータ） (2026-03-17T18:43:11Z)
• Person Recognition at Altitude and Range: Fusion of Face, Body Shape and Gait [70.00430652562012]
  FarSightは、顔認識のためのエンドツーエンドシステムで、顔、歩行、体形を横断する生体計測の手がかりを統合する。 FarSightは、4つのコアモジュールにまたがる新しいアルゴリズムを組み込んでいる。
  論文  参考訳（メタデータ） (2025-05-07T17:58:25Z)
• Multi-Modal Prompt Learning on Blind Image Quality Assessment [65.0676908930946]
  画像品質評価(IQA)モデルは意味情報から大きな恩恵を受け、異なる種類のオブジェクトを明瞭に扱うことができる。 十分な注釈付きデータが不足している従来の手法では、セマンティックな認識を得るために、CLIPイメージテキスト事前学習モデルをバックボーンとして使用していた。 近年のアプローチでは、このミスマッチに即時技術を使って対処する試みがあるが、これらの解決策には欠点がある。 本稿では、IQAのための革新的なマルチモーダルプロンプトベースの手法を提案する。
  論文  参考訳（メタデータ） (2024-04-23T11:45:32Z)
• Adaptive Feature Selection for No-Reference Image Quality Assessment by Mitigating Semantic Noise Sensitivity [55.399230250413986]
  上流タスクから有害なセマンティックノイズを除去するためのQFM-IQM(Quality-Aware Feature Matching IQA Metric)を提案する。 提案手法は,8つの標準IQAデータセット上での最先端NR-IQA法よりも優れた性能を実現する。
  論文  参考訳（メタデータ） (2023-12-11T06:50:27Z)
• Set-Based Face Recognition Beyond Disentanglement: Burstiness Suppression With Variance Vocabulary [78.203301910422]
  SFRにおける2つの重要な問題は、顔の品質とバーストネスであり、アイデンティティ非関連と分散関連の両方である、と我々は主張する。 分散特徴と同一性の特徴を分離する軽量な集合ベース・アンタングルメント・フレームワークを提案する。 集合における顔のバースト性を抑制するために,語彙ベースバースト抑制法(VBS)を提案する。
  論文  参考訳（メタデータ） (2023-04-13T04:02:58Z)
• Facial Affect Recognition based on Transformer Encoder and Audiovisual Fusion for the ABAW5 Challenge [10.88275919652131]
  本稿では,Valence-Arousal Estimation (VA) Estimation, Expression (Expr) Classification, Action Unit (AU) Detection and Emotional Reaction Intensity (ERI) Estimationの4つのサブチャンジに対する解を提案する。 第5回ABAWコンペティションは、さまざまなモダリティとデータセットを使用した顔認識に焦点を当てている。
  論文  参考訳（メタデータ） (2023-03-16T08:47:36Z)
• On-the-Fly Feature Based Rapid Speaker Adaptation for Dysarthric and Elderly Speech Recognition [53.17176024917725]
  話者レベルのデータの共有化は、データ集約型モデルに基づく話者適応手法の実用的利用を制限する。 本稿では,2種類のデータ効率,特徴量に基づくオンザフライ話者適応手法を提案する。
  論文  参考訳（メタデータ） (2022-03-28T09:12:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。