論文の概要: Task-Specific Feature Fusion Method for Multi-Task Affective Behavior Analysis

• arxiv url: http://arxiv.org/abs/2607.13986v1
• Date: Wed, 15 Jul 2026 16:14:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-16 16:39:12.829517
• Title: Task-Specific Feature Fusion Method for Multi-Task Affective Behavior Analysis
• Title（参考訳）: マルチタスク影響行動解析のためのタスク特異的特徴融合法
• Abstract要約: ABAW11マルチタスク感情行動解析のためのタスク適応型特徴融合について検討した。 まず,2つの事前訓練された視覚バックボーンであるDINOv2 ViT-LとDINOv3 ConvNeXt-baseを,表情指向の顔画像セットに適応させる。 ABAW11検証セットでは、選択されたシステムは、EXPRマクロF1の0.4222、AUマクロF1の0.5402、平均VACCCの0.6717を達成する。
• 参考スコア（独自算出の注目度）: 5.014305646574725
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The 11th Affective Behavior Analysis in-the-wild (ABAW11) Multi-Task Learning Challenge requires a unified system to predict valence-arousal, categorical expressions, and facial action units from the official s-Aff-Wild2 images. Although these tasks are naturally related through facial behavior, our validation experiments show that they benefit from different visual features, temporal processing strategies, fusion mechanisms, and calibration procedures. In this paper, we study task-adaptive feature fusion for ABAW11 multi-task affective behavior analysis. We first adapt two pretrained visual backbones, DINOv2 ViT-L and DINOv3 ConvNeXt-base, on an external expression-oriented facial image set and then freeze them to extract complementary frame-level features from the official ABAW11 data. On top of these frozen features, we systematically compare frame-level prediction heads, temporal convolutional heads, post-hoc temporal smoothing, LightGBM models, feature concatenation, gated fusion, residual fusion, late logit fusion, threshold calibration, and shared MTL structures. The final system selects task-specific fusion and prediction strategies rather than forcing all tasks to share a single architecture. On the ABAW11 validation set, the selected system achieves an EXPR macro-F1 of 0.4222, an AU macro-F1 of 0.5402, and a mean VA CCC of 0.6717, resulting in an overall validation score of 1.6341. The results suggest that task-adaptive fusion of frozen visual features is a simple and effective strategy for ABAW-style multi-task affective behavior analysis.
• Abstract（参考訳）: The 11th Affective Behavior Analysis in-the-wild (ABAW11) Multi-Task Learning Challengeは、公式のs-Aff-Wild2画像から価覚醒的、カテゴリー的表現、顔行動ユニットを予測する統一システムを必要とする。 これらのタスクは顔の動きによって自然に関連づけられるが、我々の検証実験は、異なる視覚的特徴、時間的処理戦略、融合機構、校正手順の恩恵を受けていることを示している。 本稿では,ABAW11マルチタスク感情行動解析のためのタスク適応的特徴融合について検討する。 まず,2つの事前訓練された視覚バックボーンであるDINOv2 ViT-LとDINOv3 ConvNeXt-baseを外部表現指向の顔画像集合に適応させ,それを凍結することにより,公式のABAW11データから相補的なフレームレベルの特徴を抽出する。 これらの凍結した特徴に加えて、フレームレベル予測ヘッド、時間的畳み込みヘッド、ポストホック時間平滑化、LightGBMモデル、特徴連結、ゲート融合、残留融合、後期対流融合、しきい値校正、共有MTL構造を体系的に比較した。 最終システムは、すべてのタスクに単一のアーキテクチャを共有することを強制するのではなく、タスク固有の融合と予測戦略を選択する。 ABAW11検証セットでは、選択されたシステムはEXPRマクロF1の0.4222、AUマクロF1の0.5402、平均VACCCの0.6717を達成し、全体の検証スコアは1.6341となる。 その結果, 凍結した視覚特徴のタスク適応的融合は, ABAWスタイルのマルチタスク感情行動解析において, シンプルかつ効果的な手法であることが示唆された。

関連論文リスト

• AffectFuse: Cross-Task Feature Fusion with Temporal Modeling for Multi-Task Affective Behavior Analysis [0.2981315866322933]
  本稿では,S-Aff-Wild2における第11回ABAW(Affective Behavior Analysis in-wild)競技のマルチタスク学習トラックについて述べる。 フリーズされたAffectNetが管理するバックボーンはマルチレゾリューション機能を提供する。 アクションユニット認識では,ローランド適応(LoRA)を用いてMAE-Faceを適応し,ユニット単位のエキスパートルーティングを通じてdisFAを使用する。
  論文  参考訳（メタデータ） (2026-07-17T22:44:43Z)
• From Insight to Action: A Novel Framework for Interpretability-Guided Data Selection in Large Language Models [73.72877445629383]
  Interpretability-Guided Data Selection (IGDS) は、まず周波数リコールと干渉フィルタリングによって因果タスクの特徴を識別するフレームワークである。 我々は,数学的推論,要約,翻訳タスクに関するIGDSをGemma-2,LLaMA-3.1,Qwen3モデルで検証する。
  論文  参考訳（メタデータ） (2026-04-28T03:16:24Z)
• Team RAS in 10th ABAW Competition: Multimodal Valence and Arousal Estimation Approach [53.64487844936037]
  本手法は,顔,行動,音声の3つの相補的なモードを組み合わせる。 実験により,提案したマルチモーダル核融合戦略は, Aff-Wild2 開発セット上で0.658 の一致相関係数(CCC)を達成することを示した。
  論文  参考訳（メタデータ） (2026-03-13T15:06:14Z)
• CtrlFuse: Mask-Prompt Guided Controllable Infrared and Visible Image Fusion [51.060328159429154]
  赤外線と可視画像の融合は、相補的なモダリティを組み合わせることで、全天候の知覚可能な画像を生成する。 我々は,マスクプロンプトによって誘導されるインタラクティブな動的融合を可能にする,制御可能な画像融合フレームワークであるCtrlFuseを提案する。 実験では、融合制御性とセグメンテーション精度の両立を実証し、適応されたタスク分岐は元のセグメンテーションモデルよりも優れていた。
  論文  参考訳（メタデータ） (2026-01-12T13:36:48Z)
• Quantizing Space and Time: Fusing Time Series and Images for Earth Observation [4.012968772806928]
  本稿では,時系列と単一タイムスタンプ画像のマルチモーダル融合のためのタスク非依存フレームワークを提案する。 本手法は時系列量子化のための決定論的および学習戦略を探索する。 我々のモデルは衛星画像から一貫した地球温度分布を生成する。
  論文  参考訳（メタデータ） (2025-10-27T08:38:52Z)
• Affective Behaviour Analysis via Progressive Learning [23.455163723584427]
  第7回Affective Behavior Analysis in-the-wild (ABAW)コンペティションでは、s-Aff-Wild2データベースに基づいたマルチタスク学習チャレンジが開催されている。 参加者は、Valence-Arousal Estimation、Expression Recognition、AU検出を同時に実現するフレームワークを開発する必要がある。 本稿では,各タスクの顔の感情的特徴に焦点をあてる,プログレッシブなマルチタスク学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-07-24T02:24:21Z)
• HSEmotion Team at the 7th ABAW Challenge: Multi-Task Learning and Compound Facial Expression Recognition [16.860963320038902]
  HSEmotionチームは,第7回ABAW(Affective Behavior Analysis in-the-wild)コンペティションの2つの課題について報告する。 マルチタスク設定で事前学習したフレームレベルの顔特徴抽出器に基づく効率的なパイプラインを提案する。 ニューラルネットワークの軽量アーキテクチャを利用することで、私たちのテクニックのプライバシ意識を確保する。
  論文  参考訳（メタデータ） (2024-07-18T05:47:49Z)
• SwinFace: A Multi-task Transformer for Face Recognition, Expression Recognition, Age Estimation and Attribute Estimation [60.94239810407917]
  本論文では,単一スウィントランスを用いた顔認識,表情認識,年齢推定,顔属性推定のための多目的アルゴリズムを提案する。 複数のタスク間の競合に対処するため、マルチレベルチャネル注意(MLCA)モジュールをタスク固有の分析に統合する。 実験の結果,提案したモデルでは顔の理解が良く,全てのタスクにおいて優れた性能が得られることがわかった。
  論文  参考訳（メタデータ） (2023-08-22T15:38:39Z)
• Self-supervision and Learnable STRFs for Age, Emotion, and Country Prediction [26.860736835176617]
  本研究は,発声音声の年齢,発声国,感情を同時推定するマルチタスク手法を提案する。 本研究では,独立したタスク固有モデルとジョイントモデルによるタスク間の相補性を評価し,異なる特徴集合の相対的強度について検討する。 スペクトル時間受容場に対するスコア融合とHuBERTモデルとの併用によるロバストなデータ前処理は,ExVo-MultiTaskテストスコア0.412を達成できた。
  論文  参考訳（メタデータ） (2022-06-25T06:09:10Z)
• Pluralistic Image Completion with Probabilistic Mixture-of-Experts [58.81469985455467]
  本稿では,画像補完における複雑な相互作用を表す統一確率グラフモデルを提案する。 画像補完の手順全体を数学的にいくつかのサブプロデューサに分割し、制約の効率的な適用を支援する。 GMMの固有のパラメータはタスク関連であり、トレーニング中に適応的に最適化され、プリミティブの数は、結果の多様性を便利に制御できる。
  論文  参考訳（メタデータ） (2022-05-18T17:24:21Z)
• Hybrid Relation Guided Set Matching for Few-shot Action Recognition [51.3308583226322]
  本稿では,2つの鍵成分を組み込んだHybrid Relation Guided Set Matching (HyRSM) 手法を提案する。 ハイブリッドリレーションモジュールの目的は、エピソード内の関連関係とクロスビデオの完全活用により、タスク固有の埋め込みを学習することである。 我々は,HyRSMを6つの挑戦的ベンチマークで評価した。
  論文  参考訳（メタデータ） (2022-04-28T11:43:41Z)
• Pruning Self-attentions into Convolutional Layers in Single Path [89.55361659622305]
  ビジョントランスフォーマー(ViT)は、様々なコンピュータビジョンタスクに対して印象的なパフォーマンスを実現している。 トレーニング済みのViTを効率よく自動圧縮するSPViT(Single-Path Vision Transformer pruning)を提案する。 われわれのSPViTはDeiT-Bで52.0%のFLOPをトリミングできる。
  論文  参考訳（メタデータ） (2021-11-23T11:35:54Z)
• A Multi-term and Multi-task Analyzing Framework for Affective Analysis in-the-wild [0.2216657815393579]
  本稿では,ABAW(Affective Behavior Analysis in-the-Wild)2020 Contestに提出された感情認識手法を紹介する。 感情行動には独自の時間枠を持つ観測可能な多くの特徴があるため、複数の最適化された時間窓を導入しました。 時間ごとの感情認識モデルを作成し、これらのモデルをまとめました。
  論文  参考訳（メタデータ） (2020-09-29T09:24:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。