論文の概要: Batch Transformer: Look for Attention in Batch
- arxiv url: http://arxiv.org/abs/2407.04218v1
- Date: Fri, 5 Jul 2024 02:13:47 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-08 14:41:15.168795
- Title: Batch Transformer: Look for Attention in Batch
- Title（参考訳）: Batch Transformer: Batchの注意点を探る
- Authors: Myung Beom Her, Jisu Jeong, Hojoon Song, Ji-Hyeong Han,
- Abstract要約: 上記の提案と組み合わせたバッチトランスネットワーク(BTN)を提案する。
さまざまなFERベンチマークデータセットの実験結果から,提案したBTNはFERデータセットの最先端性よりも一貫して優れていた。
- 参考スコア（独自算出の注目度）: 2.153470636927045
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Facial expression recognition (FER) has received considerable attention in computer vision, with "in-the-wild" environments such as human-computer interaction. However, FER images contain uncertainties such as occlusion, low resolution, pose variation, illumination variation, and subjectivity, which includes some expressions that do not match the target label. Consequently, little information is obtained from a noisy single image and it is not trusted. This could significantly degrade the performance of the FER task. To address this issue, we propose a batch transformer (BT), which consists of the proposed class batch attention (CBA) module, to prevent overfitting in noisy data and extract trustworthy information by training on features reflected from several images in a batch, rather than information from a single image. We also propose multi-level attention (MLA) to prevent overfitting the specific features by capturing correlations between each level. In this paper, we present a batch transformer network (BTN) that combines the above proposals. Experimental results on various FER benchmark datasets show that the proposed BTN consistently outperforms the state-ofthe-art in FER datasets. Representative results demonstrate the promise of the proposed BTN for FER.
- Abstract（参考訳）: 顔の表情認識(FER)はコンピュータビジョンにおいて、人間とコンピュータの相互作用のような「未発達の」環境において大きな注目を集めている。
しかし、FER画像には、オクルージョン、低解像度、ポーズ変動、照明変動、主観性などの不確実性が含まれており、対象ラベルと一致しない表現が含まれている。
これにより、ノイズの多い単一画像からはほとんど情報が得られず、信頼できない。
これにより、FERタスクのパフォーマンスが大幅に低下する可能性がある。
この問題に対処するために,提案するクラスバッチアテンション(CBA)モジュールからなるバッチトランスフォーマ(BT)を提案する。
また,各レベル間の相関を捉えることで,特徴の過度な適合を防止するため,マルチレベルアテンション(MLA)を提案する。
本稿では,上記の提案と組み合わせたバッチトランスネットワーク(BTN)を提案する。
さまざまなFERベンチマークデータセットの実験結果から,提案したBTNはFERデータセットの最先端性よりも一貫して優れていた。
代表的結果は、提案された BTN for FER の約束を示す。
関連論文リスト
- Unified Frequency-Assisted Transformer Framework for Detecting and
Grounding Multi-Modal Manipulation [109.1912721224697]
本稿では、DGM4問題に対処するため、UFAFormerという名前のUnified Frequency-Assisted TransFormerフレームワークを提案する。
離散ウェーブレット変換を利用して、画像を複数の周波数サブバンドに分解し、リッチな顔偽造品をキャプチャする。
提案する周波数エンコーダは、帯域内およびバンド間自己アテンションを組み込んだもので、多種多様なサブバンド内および多種多様なフォージェリー特徴を明示的に集約する。
論文 参考訳（メタデータ） (2023-09-18T11:06:42Z) - Improving Adversarial Robustness of Masked Autoencoders via Test-time
Frequency-domain Prompting [133.55037976429088]
BERTプリトレーニング(BEiT, MAE)を備えた視覚変換器の対向ロバスト性について検討する。
意外な観察は、MAEが他のBERT事前訓練法よりも敵の頑健さが著しく悪いことである。
我々は,MAEの対角的堅牢性を高めるための,シンプルで効果的な方法を提案する。
論文 参考訳（メタデータ） (2023-08-20T16:27:17Z) - Learning to Mask and Permute Visual Tokens for Vision Transformer
Pre-Training [59.923672191632065]
我々はMasked and Permuted Vision Transformer(MaPeT)という自己教師型事前学習手法を提案する。
MaPeTは、自動回帰および置換予測を使用して、パッチ内依存関係をキャプチャする。
以上の結果から,MaPeTはImageNet上での競合性能を実証した。
論文 参考訳（メタデータ） (2023-06-12T18:12:19Z) - Image Deblurring by Exploring In-depth Properties of Transformer [86.7039249037193]
我々は、事前訓練された視覚変換器(ViT)から抽出した深い特徴を活用し、定量的な測定値によって測定された性能を犠牲にすることなく、回復した画像のシャープ化を促進する。
得られた画像と対象画像の変換器特徴を比較することにより、事前学習された変換器は、高解像度のぼやけた意味情報を提供する。
特徴をベクトルとみなし、抽出された画像から抽出された表現とユークリッド空間における対象表現との差を計算する。
論文 参考訳（メタデータ） (2023-03-24T14:14:25Z) - More comprehensive facial inversion for more effective expression
recognition [8.102564078640274]
IFER(Inversion FER)と呼ばれるFERタスクの画像反転機構に基づく新しい生成手法を提案する。
ASITは、分布アライメント損失に制約された、ソースと生成された画像間のセマンティック特徴のコサイン類似度を測定する画像反転判別器を備えている。
FFHQやCelebA-HQなどの顔データセット上でASITを広範囲に評価し,現状の顔インバージョン性能を実現する方法を示した。
論文 参考訳（メタデータ） (2022-11-24T12:31:46Z) - Treatment Learning Causal Transformer for Noisy Image Classification [62.639851972495094]
本研究では,この2値情報「ノイズの存在」を画像分類タスクに組み込んで予測精度を向上させる。
因果的変動推定から動機付け,雑音画像分類のための頑健な特徴表現を潜在生成モデルを用いて推定するトランスフォーマーに基づくアーキテクチャを提案する。
また、パフォーマンスベンチマークのための幅広いノイズ要素を取り入れた、新しいノイズの多い画像データセットも作成する。
論文 参考訳（メタデータ） (2022-03-29T13:07:53Z) - mc-BEiT: Multi-choice Discretization for Image BERT Pre-training [52.04866462439979]
Image BERT pre-training with masked image modeling (MIM)は、自己教師付き表現学習に対処する一般的な実践である。
改良されたBERTスタイルの画像事前学習手法であるmc-BEiTを導入する。
論文 参考訳（メタデータ） (2022-03-29T09:08:18Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。