論文の概要: Transferable-guided Attention Is All You Need for Video Domain Adaptation

• arxiv url: http://arxiv.org/abs/2407.01375v2
• Date: Tue, 17 Sep 2024 10:35:46 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-18 21:41:27.980796
• Title: Transferable-guided Attention Is All You Need for Video Domain Adaptation
• Title（参考訳）: 動画のドメイン適応に必要なのは、転送可能な誘導注意
• Authors: André Sacilotti, Samuel Felipe dos Santos, Nicu Sebe, Jurandy Almeida,
• Abstract要約: ビデオにおける教師なし適応(UDA)は、画像ベースのUDA技術に比べ、まだ十分に検討されていない課題である。 我々のキーとなる考え方は、トランスフォーマー層を特徴エンコーダとして使用し、空間的および時間的伝達可能性の関係をアテンション機構に組み込むことである。 Transferable-Guided Attention (TransferAttn)フレームワークが開発され、トランスフォーマーの能力を利用してドメイン間の知識を適応する。
• 参考スコア（独自算出の注目度）: 42.642008092347986
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Unsupervised domain adaptation (UDA) in videos is a challenging task that remains not well explored compared to image-based UDA techniques. Although vision transformers (ViT) achieve state-of-the-art performance in many computer vision tasks, their use in video UDA has been little explored. Our key idea is to use transformer layers as a feature encoder and incorporate spatial and temporal transferability relationships into the attention mechanism. A Transferable-guided Attention (TransferAttn) framework is then developed to exploit the capacity of the transformer to adapt cross-domain knowledge across different backbones. To improve the transferability of ViT, we introduce a novel and effective module, named Domain Transferable-guided Attention Block (DTAB). DTAB compels ViT to focus on the spatio-temporal transferability relationship among video frames by changing the self-attention mechanism to a transferability attention mechanism. Extensive experiments were conducted on UCF-HMDB, Kinetics-Gameplay, and Kinetics-NEC Drone datasets, with different backbones, like ResNet101, I3D, and STAM, to verify the effectiveness of TransferAttn compared with state-of-the-art approaches. Also, we demonstrate that DTAB yields performance gains when applied to other state-of-the-art transformer-based UDA methods from both video and image domains. Our code is available at https://github.com/Andre-Sacilotti/transferattn-project-code.
• Abstract（参考訳）: ビデオにおける教師なしドメイン適応(UDA)は、画像ベースのUDA技術と比較しても十分に検討されていない課題である。 多くのコンピュータビジョンタスクにおいて、視覚変換器(ViT)は最先端のパフォーマンスを実現するが、ビデオUDAでの使用はほとんど検討されていない。 我々のキーとなる考え方は、トランスフォーマー層を特徴エンコーダとして使用し、空間的および時間的伝達可能性の関係をアテンション機構に組み込むことである。 Transferable-Guided Attention (TransferAttn) フレームワークが開発され、トランスフォーマーの能力を利用して異なるバックボーン間でドメイン間の知識を適用する。 ViTの転送性を改善するために、新しい効果的なモジュールであるDomain Transferable-Guided Attention Block (DTAB)を導入する。 DTABは、自己アテンション機構を転送可能性アテンション機構に変更することにより、ビデオフレーム間の時空間転送可能性関係に集中するようにViTを補償する。 UCF-HMDB、Kineetics-Gameplay、Kineetics-NEC Droneデータセットに対して、ResNet101、I3D、STAMのような異なるバックボーンを持つ大規模な実験を行い、TransferAttnの有効性を最先端のアプローチと比較した。 また,ビデオ領域と画像領域の両方から,他の最先端トランスフォーマーベースのUDA手法に適用した場合,DTABが性能向上をもたらすことを示す。 私たちのコードはhttps://github.com/Andre-Sacilotti/transferattn-project-codeで公開しています。

関連論文リスト

• Feature Fusion Transferability Aware Transformer for Unsupervised Domain Adaptation [1.9035011984138845]
  Unsupervised domain adapt (UDA) は、ラベル付きソースドメインから学んだ知識を活用し、ラベルなしターゲットドメインのパフォーマンスを改善することを目的としている。 近年の研究では、視覚変換器(ViT)の応用が期待されている。 本稿では,UDAタスクにおけるVT性能を向上させるために,FFTAT(Feature Fusion Transferability Aware Transformer)を提案する。
  論文  参考訳（メタデータ） (2024-11-10T22:23:12Z)
• Vision Transformer-based Adversarial Domain Adaptation [5.611768906855499]
  視覚変換器(ViT)は出現以来注目され、様々なコンピュータビジョンタスクで広く利用されている。 本稿では,このギャップを,対向領域適応における特徴抽出器としてViTを用いて埋める。 敵領域適応において, ViT がプラグイン・アンド・プレイコンポーネントとなることを実証的に実証した。
  論文  参考訳（メタデータ） (2024-04-24T11:41:28Z)
• DAT++: Spatially Dynamic Vision Transformer with Deformable Attention [87.41016963608067]
  Deformable Attention Transformer (DAT++)を提案する。 DAT++は、85.9%のImageNet精度、54.5および47.0のMS-COCOインスタンスセグメンテーションmAP、51.5のADE20KセマンティックセグメンテーションmIoUで、様々なビジュアル認識ベンチマークで最先端の結果を達成している。
  論文  参考訳（メタデータ） (2023-09-04T08:26:47Z)
• Efficient Attention-free Video Shift Transformers [56.87581500474093]
  本稿では,効率的な映像認識の問題に取り組む。 ビデオトランスは、最近、効率(トップ1精度対FLOP)のスペクトルを支配している。 我々はビデオ領域における定式化を拡張してビデオアフィンシフト変換器を構築する。
  論文  参考訳（メタデータ） (2022-08-23T17:48:29Z)
• Unsupervised Video Domain Adaptation for Action Recognition: A Disentanglement Perspective [37.45565756522847]
  我々は2つの潜在要因からドメイン間ビデオを生成することを検討する。 TranSVAEフレームワークはそのような世代をモデル化するために開発される。 UCF-HMDB、Jester、Epic-Kitchensデータセットの実験は、TranSVAEの有効性と優位性を検証する。
  論文  参考訳（メタデータ） (2022-08-15T17:59:31Z)
• Unsupervised Domain Adaptation for Video Transformers in Action Recognition [76.31442702219461]
  ビデオ行動認識のためのシンプルで斬新なUDA手法を提案する。 私たちのアプローチでは、ターゲットドメインをより一般化した堅牢なソースモデルを構築しています。 UDAのための2つのビデオアクションベンチマークの認識結果について報告する。
  論文  参考訳（メタデータ） (2022-07-26T12:17:39Z)
• Can Vision Transformers Perform Convolution? [78.42076260340869]
  画像パッチを入力とする単一のViT層が任意の畳み込み操作を構成的に実行可能であることを示す。 我々は、CNNを表現するビジョントランスフォーマーのヘッド数を低くする。
  論文  参考訳（メタデータ） (2021-11-02T03:30:17Z)
• TVT: Transferable Vision Transformer for Unsupervised Domain Adaptation [54.61786380919243]
  Unsupervised domain adapt (UDA) は、ラベル付きソースドメインから学習した知識をラベル付きターゲットドメインに転送することを目的としている。 これまでの研究は主に、ドメイン不変表現を学ぶために畳み込みニューラルネットワーク(CNN)上に構築されていた。 近年、視覚タスクに視覚変換器(ViT)を適用する指数関数的増加に伴い、ドメイン間の知識を適応するViTの能力は文献上未解明のままである。
  論文  参考訳（メタデータ） (2021-08-12T22:37:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。