論文の概要: FE-Adapter: Adapting Image-based Emotion Classifiers to Videos
- arxiv url: http://arxiv.org/abs/2408.02421v1
- Date: Mon, 5 Aug 2024 12:27:28 GMT
- ステータス: 処理完了
- システム内更新日: 2024-08-06 13:37:05.819335
- Title: FE-Adapter: Adapting Image-based Emotion Classifiers to Videos
- Title（参考訳）: FE-Adapter: 画像ベースの感情分類器をビデオに適応させる
- Authors: Shreyank N Gowda, Boyan Gao, David A. Clifton,
- Abstract要約: 本稿では,映像タスクの微調整を効率よく行うために設計された表情適応器(FE-Adapter)について述べる。
FE-Adapterは、パフォーマンスと効率の両方で、既存の微調整とビデオの感情モデルにマッチしたり、超えたりできる。
- 参考スコア（独自算出の注目度）: 21.294212686294568
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Utilizing large pre-trained models for specific tasks has yielded impressive results. However, fully fine-tuning these increasingly large models is becoming prohibitively resource-intensive. This has led to a focus on more parameter-efficient transfer learning, primarily within the same modality. But this approach has limitations, particularly in video understanding where suitable pre-trained models are less common. Addressing this, our study introduces a novel cross-modality transfer learning approach from images to videos, which we call parameter-efficient image-to-video transfer learning. We present the Facial-Emotion Adapter (FE-Adapter), designed for efficient fine-tuning in video tasks. This adapter allows pre-trained image models, which traditionally lack temporal processing capabilities, to analyze dynamic video content efficiently. Notably, it uses about 15 times fewer parameters than previous methods, while improving accuracy. Our experiments in video emotion recognition demonstrate that the FE-Adapter can match or even surpass existing fine-tuning and video emotion models in both performance and efficiency. This breakthrough highlights the potential for cross-modality approaches in enhancing the capabilities of AI models, particularly in fields like video emotion analysis where the demand for efficiency and accuracy is constantly rising.
- Abstract（参考訳）: 特定のタスクにトレーニング済みの大きなモデルを使用することで、素晴らしい結果が得られました。
しかし、これらの大規模モデルの完全な微調整は、資源集約化が禁じられている。
これにより、パラメータ効率のよい移動学習、主に同じモダリティに焦点が当てられるようになった。
しかし、このアプローチには制限があり、特に適切な事前訓練されたモデルが一般的でないビデオ理解においてである。
そこで本研究では,パラメータ効率のよい画像間移動学習と呼ぶ,画像からビデオへのモダリティ間移動学習手法を提案する。
本稿では,映像タスクの微調整を効率よく行うために設計された表情適応器(FE-Adapter)について述べる。
このアダプタは、伝統的に時間的処理能力に欠ける訓練済みの画像モデルに対して、ダイナミックなビデオコンテンツを効率的に分析することを可能にする。
特に、従来の手法の約15倍のパラメータを使用し、精度を向上している。
我々のビデオ感情認識実験は、FE-Adapterが既存の微調整およびビデオ感情モデルと性能と効率の両方で一致または超えることを示した。
このブレークスルーは、AIモデルの能力、特に効率性と精度の需要が絶えず上昇しているビデオ感情分析のような分野における、モダリティ間のアプローチの可能性を強調している。
関連論文リスト
- AM Flow: Adapters for Temporal Processing in Action Recognition [6.67921694218089]
textitAttention Map (AM) Flowは、入力されたビデオフレーム内の動きに関連するピクセルを識別する手法である。
AMフローは空間的および時間的処理の分離を可能にし、時間的処理の組合せよりも改善された結果を提供する。
我々は、Kineetics-400、Something v2、Toyota Smarthomeのデータセットについて実験を行い、最先端または同等の結果を示す。
論文 参考訳（メタデータ） (2024-11-04T13:07:22Z) - TDS-CLIP: Temporal Difference Side Network for Image-to-Video Transfer Learning [6.329214318116305]
本稿では,知識伝達と時間的モデリングのバランスをとるために,メモリ効率の良い時間差分側ネットワーク(TDS-CLIP)を提案する。
具体的には、動作特徴の局所的な時間差を効果的に捉えることのできる時間差適応器(TD-Adapter)を導入する。
また,ビデオ中のリッチモーション情報を効率的に学習するために,提案するサイドネットワークを誘導するサイドモーション拡張アダプタ(SME-Adapter)を設計した。
論文 参考訳（メタデータ） (2024-08-20T09:40:08Z) - AID: Adapting Image2Video Diffusion Models for Instruction-guided Video Prediction [88.70116693750452]
テキスト誘導ビデオ予測(TVP)は、命令に従って、初期フレームから将来のフレームの動きを予測する。
従来のTVP方式では, 安定拡散法を応用して大きなブレークスルーを達成している。
我々は、初期フレームとテキスト命令に基づいて、将来のビデオ状態を予測するためのMLLM(Multi-Modal Large Language Model)を導入する。
論文 参考訳（メタデータ） (2024-06-10T17:02:08Z) - ZeroI2V: Zero-Cost Adaptation of Pre-trained Transformers from Image to Video [15.952896909797728]
ビデオ領域に画像モデルを適用することは、ビデオ認識タスクを解くための効率的なパラダイムとして現れている。
最近の研究は、パラメータ効率のよい画像から映像への適応に焦点を移している。
画像変換器をビデオ認識タスクに転送する新たな適応パラダイム(ZeroI2V)を提案する。
論文 参考訳（メタデータ） (2023-10-02T16:41:20Z) - Tem-adapter: Adapting Image-Text Pretraining for Video Question Answer [79.20605034378187]
ビデオ言語事前学習モデルは、ビデオ質問応答タスクの指導において顕著な成功を収めている。
ビデオシーケンスの長さのため、大規模なビデオベースモデルのトレーニングは、画像ベースモデルのトレーニングよりもかなりコストがかかる。
これは、画像ドメインとビデオドメインの間に明らかなギャップがあるにもかかわらず、画像ベースの事前学習からの知識を活用する動機となります。
論文 参考訳（メタデータ） (2023-08-16T15:00:50Z) - Boost Video Frame Interpolation via Motion Adaptation [73.42573856943923]
ビデオフレーム(VFI)は、2つの連続するフレーム間の中間フレームを生成することを目的とした課題である。
既存の学習ベースのVFI手法は大きな成功を収めたが、それでも限定的な一般化能力に悩まされている。
テスト時に見えない動作に適応できる新しい最適化ベースのVFI法を提案する。
論文 参考訳（メタデータ） (2023-06-24T10:44:02Z) - AIM: Adapting Image Models for Efficient Video Action Recognition [22.805026175928997]
本稿では,映像理解のためのAIM (Adapted Pre-trained Image Models) を提案する。
事前学習したビデオモデルを凍結し、いくつかの軽量なアダプタを追加することにより、空間適応、時間適応、関節適応を導入する。
提案したAIMは,学習可能なパラメータが大幅に少ない先行技術よりも,競争力やパフォーマンスの向上が期待できることを示す。
論文 参考訳（メタデータ） (2023-02-06T18:59:17Z) - Parameter-Efficient Image-to-Video Transfer Learning [66.82811235484607]
様々な下流タスクのための大規模な事前訓練されたモデルが、最近、有望なパフォーマンスで登場した。
モデルのサイズが拡大しているため、モデルトレーニングや記憶の面では、標準のフルチューニングベースのタスク適応戦略がコストがかかる。
本稿では,ビデオタスク毎のパラメータ効率の高い微調整のための新しいスペーシ・アダプタを提案する。
論文 参考訳（メタデータ） (2022-06-27T18:02:29Z) - Long-Short Temporal Contrastive Learning of Video Transformers [62.71874976426988]
ビデオのみのデータセットにおけるビデオトランスフォーマーの自己教師付き事前トレーニングは、大規模画像データセットでの教師付き事前トレーニングで得られたものよりも、同等以上のアクション認識結果につながる可能性がある。
我々の手法は、長短時空間コントラスト学習(Long-Short Temporal Contrastive Learning)と呼ばれ、ビデオトランスフォーマーが、より長い時間的範囲から捉えた時間的文脈を予測することによって、効果的なクリップレベルの表現を学習することを可能にする。
論文 参考訳（メタデータ） (2021-06-17T02:30:26Z) - Space-Time Crop & Attend: Improving Cross-modal Video Representation
Learning [88.71867887257274]
トリミングのような空間拡張はビデオでもうまく機能するが、以前の実装ではうまく機能するのに十分な規模でこれを行うことができなかった。
そこで本研究ではまず,このような拡張をより効率的にシミュレートする手法であるFeature Cropについて紹介する。
第2に,ナイーブ平均プーリングとは対照的に,変圧器に基づく注意性能が大幅に向上することを示す。
論文 参考訳（メタデータ） (2021-03-18T12:32:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。