Fugu-MT 論文翻訳(概要): Dual PatchNorm

論文の概要: Dual PatchNorm

arxiv url: http://arxiv.org/abs/2302.01327v2
Date: Mon, 6 Feb 2023 09:53:56 GMT
ステータス: 処理完了
システム内更新日: 2023-02-07 12:47:57.311975
Title: Dual PatchNorm
Title（参考訳）: デュアルパッチノルム
Authors: Manoj Kumar, Mostafa Dehghani, Neil Houlsby
Abstract要約: 本稿では,2つのレイヤ正規化レイヤ(LayerNorm)をVision Transformersのパッチ埋め込みレイヤの前後に提案する。我々は、Transformerブロック自体における代替LayerNorm配置戦略の徹底的な探索の結果、Dual PatchNormが優れていることを示す。
参考スコア（独自算出の注目度）: 29.321697518436352
License: http://creativecommons.org/licenses/by/4.0/
Abstract: We propose Dual PatchNorm: two Layer Normalization layers (LayerNorms), before and after the patch embedding layer in Vision Transformers. We demonstrate that Dual PatchNorm outperforms the result of exhaustive search for alternative LayerNorm placement strategies in the Transformer block itself. In our experiments, incorporating this trivial modification, often leads to improved accuracy over well-tuned Vision Transformers and never hurts.
Abstract（参考訳）: 本稿では,2つのレイヤ正規化レイヤ(LayerNorm)をVision Transformersのパッチ埋め込みレイヤの前後に提案する。我々は、Transformerブロック自体における代替LayerNorm配置戦略の徹底的な探索の結果、Dual PatchNormが優れていることを示す。我々の実験では、この自明な修正を取り入れることで、よく調整された視覚変換器よりも精度が向上し、決して傷つけないことが多い。

関連論文リスト

Dual-path Adaptation from Image to Video Transformers [62.056751480114784]
ViTやSwinのような視覚基盤モデルの超越する表現力を、トレーニング可能なパラメータ数だけでビデオ理解するために効率的に転送する。本稿では,空間的および時間的適応経路に分離した新しいDualPath適応法を提案する。
論文参考訳（メタデータ） (2023-03-17T09:37:07Z)
DeViT: Deformed Vision Transformers in Video Inpainting [59.73019717323264]
Deformed Patch-based Homography (DePtH)を導入して、パッチアライメントによる以前のトランスフォーマーを拡張した。第2に、パッチワイズ機能マッチングを改善するために、Mask Pruning-based Patch Attention (MPPA)を導入する。第3に、時空間トークンに対する正確な注意を得るために、時空間重み付け適応器(STA)モジュールを導入する。
論文参考訳（メタデータ） (2022-09-28T08:57:14Z)
Behind Every Domain There is a Shift: Adapting Distortion-aware Vision Transformers for Panoramic Semantic Segmentation [73.48323921632506]
パノラマ的セマンティックセマンティックセグメンテーションは2つの重要な課題により未探索である。まず、変形性パッチ埋め込み(DPE)と変形性(DMLPv2)モジュールを備えたパノラマセマンティックトランス4PASS+を改良したトランスフォーマーを提案する。第2に、教師なしドメイン適応パノラマセグメンテーションのための擬似ラベル修正により、Mutual Prototypeal Adaptation(MPA)戦略を強化する。第3に、Pinhole-to-Panoramic(Pin2Pan)適応とは別に、9,080パノラマ画像を用いた新しいデータセット(SynPASS)を作成します。
論文参考訳（メタデータ） (2022-07-25T00:42:38Z)
Blending Anti-Aliasing into Vision Transformer [57.88274087198552]
不連続なパッチ単位のトークン化プロセスは、ジャッジされたアーティファクトをアテンションマップに暗黙的に導入する。エイリアス効果は、離散パターンを使用して高周波または連続的な情報を生成し、区別不能な歪みをもたらす。本稿では,前述の問題を緩和するためのAliasing-Reduction Module(ARM)を提案する。
論文参考訳（メタデータ） (2021-10-28T14:30:02Z)
Exploring and Improving Mobile Level Vision Transformers [81.7741384218121]
本稿では,移動体レベルでの視覚変換器の構造について検討し,劇的な性能低下を見出した。本稿では,新しい不規則なパッチ埋め込みモジュールと適応パッチ融合モジュールを提案する。
論文参考訳（メタデータ） (2021-08-30T06:42:49Z)
Patch Slimming for Efficient Vision Transformers [107.21146699082819]
与えられたネットワーク上で冗長な計算を行うことにより,視覚変換器の効率性について検討する。我々は、トップダウンパラダイムで無駄なパッチを捨てる、新しいパッチスリム化アプローチを提案する。ベンチマークによる実験結果から,提案手法は視覚変換器の計算コストを大幅に削減できることが示された。
論文参考訳（メタデータ） (2021-06-05T09:46:00Z)
Improve Vision Transformers Training by Suppressing Over-smoothing [28.171262066145612]
トランス構造をコンピュータビジョンのタスクに導入することで、従来の畳み込みネットワークよりも優れたスピード精度のトレードオフが得られます。しかし、視覚タスクでバニラ変圧器を直接訓練すると、不安定で準最適結果が得られることが示されている。近年の研究では,視覚タスクの性能向上のために,畳み込み層を導入してトランスフォーマー構造を改良することを提案する。
論文参考訳（メタデータ） (2021-04-26T17:43:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。