Fugu-MT 論文翻訳(概要): Fair Comparison between Efficient Attentions

論文の概要: Fair Comparison between Efficient Attentions

arxiv url: http://arxiv.org/abs/2206.00244v1
Date: Wed, 1 Jun 2022 06:00:13 GMT
ステータス: 処理完了
システム内更新日: 2022-06-02 15:59:54.139697
Title: Fair Comparison between Efficient Attentions
Title（参考訳）: 効率的な注意力の比較
Authors: Jiuk Hong, Chaehyeon Lee, Soyoun Bang and Heechul Jung
Abstract要約: 変圧器のコアコンポーネントである自己注意には、二次的な複雑性の問題がある。本稿では,ImageNet1K分類タスクにおいて,効率的な注意モデルの有効性を検証する。
参考スコア（独自算出の注目度）: 6.65264113799989
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Transformers have been successfully used in various fields and are becoming the standard tools in computer vision. However, self-attention, a core component of transformers, has a quadratic complexity problem, which limits the use of transformers in various vision tasks that require dense prediction. Many studies aiming at solving this problem have been reported proposed. However, no comparative study of these methods using the same scale has been reported due to different model configurations, training schemes, and new methods. In our paper, we validate these efficient attention models on the ImageNet1K classification task by changing only the attention operation and examining which efficient attention is better.
Abstract（参考訳）: トランスフォーマーは様々な分野で成功し、コンピュータビジョンの標準的なツールになりつつある。しかし、変圧器のコアコンポーネントである自己注意は2次複雑性問題を持ち、密接な予測を必要とする様々な視覚タスクにおける変圧器の使用を制限する。この問題を解決するための多くの研究が提案されている。しかし、異なるモデル構成、トレーニングスキーム、新しい手法により、同様の尺度を用いたこれらの手法の比較研究は報告されていない。本稿では,imagenet1k分類タスクにおいて,注意操作のみを変更し,どの注意がよいかを調べることにより,これらの効率的な注意モデルを検証する。

関連論文リスト

A Theory for Compressibility of Graph Transformers for Transductive Learning [6.298115235439078]
グラフ上のトランスダクティブタスクは、典型的な教師付き機械学習タスクと根本的に異なる。すべてのトレイン/テスト/バリデーションサンプルは、トレーニング中に存在しており、半教師付きタスクに似ています。我々は、これらのネットワークの隠れた次元をどのように圧縮できるかという理論的な境界を定めている。
論文参考訳（メタデータ） (2024-11-20T04:20:17Z)
Attention Deficit is Ordered! Fooling Deformable Vision Transformers with Collaborative Adversarial Patches [3.4673556247932225]
変形可能な視覚変換器は、注意モデリングの複雑さを著しく低減する。最近の研究は、従来の視覚変換器に対する敵攻撃を実証している。我々は,対象のパッチに注意を向けるようにソースパッチが操作する新たなコラボレーティブアタックを開発する。
論文参考訳（メタデータ） (2023-11-21T17:55:46Z)
Which Transformer to Favor: A Comparative Analysis of Efficiency in Vision Transformers [7.89533262149443]
トランスフォーマーの自己注意は、2次計算の複雑さのために高い計算コストが伴う。我々のベンチマークは、高解像度画像よりも、一般により大きなモデルを使用することの方が効率的であることを示している。
論文参考訳（メタデータ） (2023-08-18T08:06:49Z)
Tuning computer vision models with task rewards [88.45787930908102]
モデル予測と意図された使用法とのミスは、コンピュータビジョンモデルの展開に有害である。自然言語処理では、モデルとタスク報酬を整合させる強化学習技術を用いて、この問題に対処することが多い。我々はこのアプローチを採用し、オブジェクト検出、汎視的セグメンテーション、着色、画像キャプションなど、複数のコンピュータビジョンタスクにまたがる驚くべき効果を示す。
論文参考訳（メタデータ） (2023-02-16T11:49:48Z)
Multi-manifold Attention for Vision Transformers [12.862540139118073]
ビジョントランスフォーマーは、いくつかのコンピュータビジョンタスクにおける最先端の性能のために、今日では非常に人気がある。本研究では, 変圧器のバニラ自己注意の代替として, マルチマニフォールドマルチヘッドアテンションと呼ばれる新しいアテンション機構を提案する。
論文参考訳（メタデータ） (2022-07-18T12:53:53Z)
Visualizing and Understanding Patch Interactions in Vision Transformer [96.70401478061076]
Vision Transformer (ViT) は様々なコンピュータビジョンタスクにおいて主要なツールとなっている。本稿では,視覚変換器のパッチ間の重要な注意相互作用を分析し,解釈するための,説明可能な新しい可視化手法を提案する。
論文参考訳（メタデータ） (2022-03-11T13:48:11Z)
AdaViT: Adaptive Vision Transformers for Efficient Image Recognition [78.07924262215181]
AdaViTは、パッチ、セルフアテンションヘッド、およびトランスフォーマーブロックを使用するための利用ポリシーを導出する適応フレームワークである。本手法は,0.8%の精度で,最先端のビジョントランスに比べて2倍以上の効率向上を実現している。
論文参考訳（メタデータ） (2021-11-30T18:57:02Z)
Leveraging redundancy in attention with Reuse Transformers [58.614198953733194]
Pairwise dot product-based attentionでは、Transformerは入力依存の方法でトークン間で情報を交換することができる。典型的なTransformerモデルは、同じシーケンスに対してそのようなペアワイズアテンションスコアを何度も計算する。本稿では,複数の層において1層で計算された注意点を再利用する新しいアーキテクチャを提案する。
論文参考訳（メタデータ） (2021-10-13T16:08:02Z)
Efficient Vision Transformers via Fine-Grained Manifold Distillation [96.50513363752836]
視覚変換器のアーキテクチャは多くのコンピュータビジョンタスクで異常な性能を示した。ネットワーク性能は向上するが、トランスフォーマーはより多くの計算資源を必要とすることが多い。本稿では,教師のトランスフォーマーから,画像と分割パッチの関係を通して有用な情報を抽出することを提案する。
論文参考訳（メタデータ） (2021-07-03T08:28:34Z)
Pre-Trained Image Processing Transformer [95.93031793337613]
我々は、新しい事前学習モデル、すなわち、画像処理変換器(IPT)を開発する。本稿では、よく知られたImageNetベンチマークを用いて、大量の画像ペアを生成する。 IPTモデルは、これらの画像をマルチヘッドとマルチテールでトレーニングする。
論文参考訳（メタデータ） (2020-12-01T09:42:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。