論文の概要: FIESTA: Fisher Information-based Efficient Selective Test-time Adaptation
- arxiv url: http://arxiv.org/abs/2503.23257v1
- Date: Sat, 29 Mar 2025 23:56:32 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-04-01 14:39:39.379276
- Title: FIESTA: Fisher Information-based Efficient Selective Test-time Adaptation
- Title（参考訳）: FIESTA:漁業情報に基づく効率的なテスト時間適応
- Authors: Mohammadmahdi Honarmand, Onur Cezmi Mutlu, Parnian Azizian, Saimourya Surabhi, Dennis P. Wall,
- Abstract要約: 本稿では,最も重要なモデルパラメータのみを動的に識別・更新するフィッシャー駆動選択的適応フレームワークを提案する。
AffWild2ベンチマークの実験は、我々のアプローチが既存のTTAメソッドを大幅に上回っていることを示している。
提案手法は認識精度を向上するだけでなく、計算オーバーヘッドを大幅に削減し、実世界の感情コンピューティングアプリケーションにおいてテスト時間適応をより実用的なものにする。
- 参考スコア（独自算出の注目度）: 2.876586838098149
- License:
- Abstract: Robust facial expression recognition in unconstrained, "in-the-wild" environments remains challenging due to significant domain shifts between training and testing distributions. Test-time adaptation (TTA) offers a promising solution by adapting pre-trained models during inference without requiring labeled test data. However, existing TTA approaches typically rely on manually selecting which parameters to update, potentially leading to suboptimal adaptation and high computational costs. This paper introduces a novel Fisher-driven selective adaptation framework that dynamically identifies and updates only the most critical model parameters based on their importance as quantified by Fisher information. By integrating this principled parameter selection approach with temporal consistency constraints, our method enables efficient and effective adaptation specifically tailored for video-based facial expression recognition. Experiments on the challenging AffWild2 benchmark demonstrate that our approach significantly outperforms existing TTA methods, achieving a 7.7% improvement in F1 score over the base model while adapting only 22,000 parameters-more than 20 times fewer than comparable methods. Our ablation studies further reveal that parameter importance can be effectively estimated from minimal data, with sampling just 1-3 frames sufficient for substantial performance gains. The proposed approach not only enhances recognition accuracy but also dramatically reduces computational overhead, making test-time adaptation more practical for real-world affective computing applications.
- Abstract（参考訳）: 未制約の「野生環境」環境でのロバストな表情認識は、トレーニングとテストの分布の間に大きなドメインシフトがあるため、依然として困難である。
テスト時間適応(TTA)は、ラベル付きテストデータを必要としない推論中に事前訓練されたモデルを適用することで、有望なソリューションを提供する。
しかしながら、既存のTTAアプローチは通常、どのパラメータを更新するかを手動で選択することに依存しており、潜在的に最適でない適応と高い計算コストにつながる可能性がある。
本稿では,フィッシャー情報によって定量化される重要なモデルパラメータのみを動的に識別・更新する,フィッシャー駆動選択的適応フレームワークを提案する。
この原理的パラメータ選択アプローチを時間的整合性制約と組み合わせることで、ビデオベースの表情認識に特化して、効率的かつ効果的な適応を可能にする。
AffWild2ベンチマークの実験は、我々のアプローチが既存のTTAメソッドよりも大幅に優れており、ベースモデルよりもF1スコアが7.7%向上し、パラメータが22,000しか適応していないことを実証している。
我々のアブレーション研究は、パラメータの重要度を最小限のデータから効果的に推定できることを明らかにし、十分な性能向上を実現するのに十分な1-3フレームのサンプリングを行う。
提案手法は認識精度を向上するだけでなく、計算オーバーヘッドを大幅に削減し、実世界の感情コンピューティングアプリケーションにおいてテスト時間適応をより実用的なものにする。
関連論文リスト
- Forecast-PEFT: Parameter-Efficient Fine-Tuning for Pre-trained Motion Forecasting Models [68.23649978697027]
Forecast-PEFTは、モデルのパラメータの大部分を凍結し、新しく導入されたプロンプトとアダプタの調整に集中する微調整戦略である。
実験の結果,Forecast-PEFTは動作予測タスクにおいて従来のフルチューニング手法よりも優れていた。
Forecast-FTは予測性能をさらに改善し、従来のベースライン法よりも最大9.6%向上した。
論文 参考訳（メタデータ） (2024-07-28T19:18:59Z) - Parameter-Efficient Fine-Tuning With Adapters [5.948206235442328]
本研究では,UniPELTフレームワークをベースとした新しい適応手法を提案する。
提案手法では, ベースモデルパラメータの最小限の再学習を行うことなく, 事前学習したモデルを新しいタスクに効率的に転送できるアダプタを用いる。
論文 参考訳（メタデータ） (2024-05-09T01:40:38Z) - REALM: Robust Entropy Adaptive Loss Minimization for Improved
Single-Sample Test-Time Adaptation [5.749155230209001]
フルテスト時間適応(F-TTA)は、列車とテストデータの分散シフトによる性能損失を軽減することができる。
本稿では,F-TTAの雑音に対する堅牢性向上のための一般的な枠組みについて述べる。
論文 参考訳（メタデータ） (2023-09-07T18:44:58Z) - Visual Prompt Tuning for Test-time Domain Adaptation [48.16620171809511]
本稿では,2つの重要な要素を持つデータ効率・プロンプト・チューニング(DePT)と呼ばれる簡単なレシピを提案する。
このようなパラメータ効率の良い微調整は,学習対象の雑音に過度に適応することなく,モデル表現を対象領域に効率よく適応させることができる。
パラメータがはるかに少ないため、DePTは主要な適応ベンチマークにおける最先端のパフォーマンスだけでなく、優れたデータ効率を示す。
論文 参考訳（メタデータ） (2022-10-10T16:45:13Z) - CAFA: Class-Aware Feature Alignment for Test-Time Adaptation [50.26963784271912]
テスト時間適応(TTA)は、テスト時にラベルのないデータにモデルを適応させることによって、この問題に対処することを目的としている。
本稿では,クラス認識特徴アライメント(CAFA, Class-Aware Feature Alignment)と呼ばれる単純な機能アライメント損失を提案する。
論文 参考訳（メタデータ） (2022-06-01T03:02:07Z) - Efficient Test-Time Model Adaptation without Forgetting [60.36499845014649]
テストタイム適応は、トレーニングとテストデータの間の潜在的な分散シフトに取り組むことを目指している。
信頼性および非冗長なサンプルを同定するためのアクティブなサンプル選択基準を提案する。
また、重要なモデルパラメータを劇的な変化から制約するFisher regularizerを導入します。
論文 参考訳（メタデータ） (2022-04-06T06:39:40Z) - Listen, Adapt, Better WER: Source-free Single-utterance Test-time
Adaptation for Automatic Speech Recognition [65.84978547406753]
Test-time Adaptationは、ソースドメインでトレーニングされたモデルに適応して、テストサンプルの予測を改善することを目的としている。
単一発話テスト時間適応 (SUTA) は音声領域における最初のTTA研究である。
論文 参考訳（メタデータ） (2022-03-27T06:38:39Z) - Parameter-free Online Test-time Adaptation [19.279048049267388]
実世界の様々なシナリオにおいて,テスト時間適応手法が事前学習されたモデルにどのような効果をもたらすかを示す。
我々は特に「保守的」なアプローチを提案し、ラプラシアン適応最大推定(LAME)を用いてこの問題に対処する。
提案手法では,既存の手法よりもシナリオの平均精度がはるかに高く,メモリフットプリントもはるかに高速である。
論文 参考訳（メタデータ） (2022-01-15T00:29:16Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。