論文の概要: Task-Adapter: Task-specific Adaptation of Image Models for Few-shot Action Recognition
- arxiv url: http://arxiv.org/abs/2408.00249v1
- Date: Thu, 1 Aug 2024 03:06:56 GMT
- ステータス: 処理完了
- システム内更新日: 2024-08-04 21:55:12.796956
- Title: Task-Adapter: Task-specific Adaptation of Image Models for Few-shot Action Recognition
- Title（参考訳）: タスク適応:Few-shot行動認識のための画像モデルのタスク固有適応
- Authors: Congqi Cao, Yueran Zhang, Yating Yu, Qinyi Lv, Lingtong Min, Yanning Zhang,
- Abstract要約: 簡単なタスク固有適応法(Task-Adapter)を提案する。
提案したTask-Adapterをバックボーンの最後のいくつかのレイヤに導入することで、フル微調整によるオーバーフィッティング問題を軽減します。
実験結果から,提案したタスクアダプタが標準の4つのアクション認識データセットに対して有効であることを示す。
- 参考スコア（独自算出の注目度）: 34.88916568947695
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Existing works in few-shot action recognition mostly fine-tune a pre-trained image model and design sophisticated temporal alignment modules at feature level. However, simply fully fine-tuning the pre-trained model could cause overfitting due to the scarcity of video samples. Additionally, we argue that the exploration of task-specific information is insufficient when relying solely on well extracted abstract features. In this work, we propose a simple but effective task-specific adaptation method (Task-Adapter) for few-shot action recognition. By introducing the proposed Task-Adapter into the last several layers of the backbone and keeping the parameters of the original pre-trained model frozen, we mitigate the overfitting problem caused by full fine-tuning and advance the task-specific mechanism into the process of feature extraction. In each Task-Adapter, we reuse the frozen self-attention layer to perform task-specific self-attention across different videos within the given task to capture both distinctive information among classes and shared information within classes, which facilitates task-specific adaptation and enhances subsequent metric measurement between the query feature and support prototypes. Experimental results consistently demonstrate the effectiveness of our proposed Task-Adapter on four standard few-shot action recognition datasets. Especially on temporal challenging SSv2 dataset, our method outperforms the state-of-the-art methods by a large margin.
- Abstract（参考訳）: 既存の動作認識は、主に訓練済みの画像モデルに微調整を施し、機能レベルで洗練された時間的アライメントモジュールを設計する。
しかし、訓練済みのモデルを完全に微調整するだけで、ビデオサンプルの不足により過度に適合する可能性がある。
また,十分に抽出された抽象的特徴のみに依存する場合,タスク固有情報の探索は不十分であると主張する。
本研究では,タスク固有適応法(Task-Adapter)を提案する。
提案したTask-Adapterをバックボーンの最後の数層に導入し、元のトレーニング済みモデルのパラメータを凍結しておくことで、完全な微調整によるオーバーフィッティング問題を軽減し、タスク固有のメカニズムを機能抽出のプロセスに前進させる。
各タスクアダプタでは、凍結した自己アテンション層を再利用して、与えられたタスク内で異なるビデオ間でタスク固有の自己アテンションを実行し、クラス間の識別情報とクラス内の共有情報の両方をキャプチャし、タスク固有の適応を促進し、クエリ機能とサポートプロトタイプ間のその後のメトリック測定を強化する。
実験結果から,提案したタスクアダプタが標準の4つのアクション認識データセットに対して有効であることを示す。
特に時間的挑戦型SSv2データセットでは,提案手法は最先端の手法よりも大きなマージンで優れている。
関連論文リスト
- Parameter-Efficient and Memory-Efficient Tuning for Vision Transformer: A Disentangled Approach [87.8330887605381]
本稿では,学習可能なパラメータをわずかに限定して,事前学習した視覚変換器を下流認識タスクに適用する方法を示す。
学習可能で軽量なモジュールを用いてタスク固有のクエリを合成する。
本手法はメモリ制約下での最先端性能を実現し,実環境における適用性を示す。
論文 参考訳（メタデータ） (2024-07-09T15:45:04Z) - Task-Driven Exploration: Decoupling and Inter-Task Feedback for Joint Moment Retrieval and Highlight Detection [7.864892339833315]
本稿では,共同モーメント検索とハイライト検出のためのタスク駆動型トップダウンフレームワークを提案する。
このフレームワークはタスク固有の共通表現をキャプチャするタスク分離ユニットを導入している。
QVHighlights、TVSum、Charades-STAデータセットに関する総合的な実験と詳細なアブレーション研究は、提案フレームワークの有効性と柔軟性を裏付けるものである。
論文 参考訳（メタデータ） (2024-04-14T14:06:42Z) - Task Indicating Transformer for Task-conditional Dense Predictions [16.92067246179703]
この課題に対処するために,タスク表示変換(TIT)と呼ばれる新しいタスク条件フレームワークを導入する。
本手法では,行列分解によるタスク指示行列を組み込んだMix Task Adapterモジュールをトランスフォーマーブロック内に設計する。
また,タスク表示ベクトルとゲーティング機構を利用するタスクゲートデコーダモジュールを提案する。
論文 参考訳（メタデータ） (2024-03-01T07:06:57Z) - Task-conditioned adaptation of visual features in multi-task policy learning [9.320904829966588]
本研究では,事前学習したウェイトを微調整する必要のないタスク条件付きアダプタと,行動クローンを訓練した単一ポリシーを導入する。
我々は,CortexBenchベンチマークから多種多様なタスクに対する手法の評価を行い,既存の作業と比べ,一つのポリシーで対処できることを示した。
論文 参考訳（メタデータ） (2024-02-12T15:57:31Z) - Distribution Matching for Multi-Task Learning of Classification Tasks: a
Large-Scale Study on Faces & Beyond [62.406687088097605]
マルチタスク学習(MTL)は、複数の関連するタスクを共同で学習し、共有表現空間から恩恵を受けるフレームワークである。
MTLは、ほとんど重複しない、あるいは重複しないアノテーションで分類タスクで成功することを示す。
本稿では,分散マッチングによるタスク間の知識交換を可能にする新しい手法を提案する。
論文 参考訳（メタデータ） (2024-01-02T14:18:11Z) - DETA: Denoised Task Adaptation for Few-Shot Learning [135.96805271128645]
数ショット学習におけるテスト時間タスク適応は、訓練済みのタスク非依存モデルに適応してタスク固有の知識を取得することを目的としている。
少数のサンプルしか得られないため、支持試料からのイメージノイズ(Xノイズ)またはラベルノイズ(Yノイズ)の悪影響を著しく増幅することができる。
Denoized Task Adaptation (DETA) は、既存のタスク適応アプローチに対して、最初に統合された画像とラベルをデノベートするフレームワークである。
論文 参考訳（メタデータ） (2023-03-11T05:23:20Z) - Task Adaptive Parameter Sharing for Multi-Task Learning [114.80350786535952]
Adaptive Task Adapting Sharing(TAPS)は、階層の小さなタスク固有のサブセットを適応的に修正することで、ベースモデルを新しいタスクにチューニングする手法である。
他の手法と比較して、TAPSはダウンストリームタスクに対して高い精度を維持し、タスク固有のパラメータは少ない。
我々は,タスクやアーキテクチャ(ResNet,DenseNet,ViT)を微調整して評価し,実装が簡単でありながら最先端の性能を実現することを示す。
論文 参考訳（メタデータ） (2022-03-30T23:16:07Z) - Uni-Perceiver: Pre-training Unified Architecture for Generic Perception
for Zero-shot and Few-shot Tasks [73.63892022944198]
我々はUni-Perceiverという汎用認識アーキテクチャを提案する。
様々なモダリティやタスクを、統一されたモデリングと共有パラメータで処理します。
その結果、チューニングなしで事前学習したモデルは、新しいタスクでも合理的なパフォーマンスを達成できることがわかった。
論文 参考訳（メタデータ） (2021-12-02T18:59:50Z) - Adaptive Task Sampling for Meta-Learning [79.61146834134459]
数ショットの分類のためのメタラーニングの鍵となるアイデアは、テスト時に直面した数ショットの状況を模倣することである。
一般化性能を向上させるための適応型タスクサンプリング手法を提案する。
論文 参考訳（メタデータ） (2020-07-17T03:15:53Z) - Conditional Channel Gated Networks for Task-Aware Continual Learning [44.894710899300435]
畳み込みニューラルネットワークは、一連の学習問題に最適化された場合、破滅的な忘れを経験する。
本稿では,この問題に条件付き計算で対処する新しい枠組みを提案する。
提案手法を4つの連続学習データセットで検証する。
論文 参考訳（メタデータ） (2020-03-31T19:35:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。