論文の概要: Cost Aggregation with 4D Convolutional Swin Transformer for Few-Shot Segmentation

• arxiv url: http://arxiv.org/abs/2207.10866v1
• Date: Fri, 22 Jul 2022 04:10:30 GMT
• ステータス: 処理完了
• システム内更新日: 2022-07-25 13:02:56.126452
• Title: Cost Aggregation with 4D Convolutional Swin Transformer for Few-Shot Segmentation
• Title（参考訳）: 単発セグメンテーションのための4次元畳み込みスウィントランスによるコストアグリゲーション
• Authors: Sunghwan Hong, Seokju Cho, Jisu Nam, Stephen Lin, Seungryong Kim
• Abstract要約: Volumetric Aggregation with Transformers (VAT)は、数ショットセグメンテーションのためのコスト集約ネットワークである。 VATは、コスト集約が中心的な役割を果たすセマンティック対応のための最先端のパフォーマンスも達成する。
• 参考スコア（独自算出の注目度）: 58.4650849317274
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This paper presents a novel cost aggregation network, called Volumetric Aggregation with Transformers (VAT), for few-shot segmentation. The use of transformers can benefit correlation map aggregation through self-attention over a global receptive field. However, the tokenization of a correlation map for transformer processing can be detrimental, because the discontinuity at token boundaries reduces the local context available near the token edges and decreases inductive bias. To address this problem, we propose a 4D Convolutional Swin Transformer, where a high-dimensional Swin Transformer is preceded by a series of small-kernel convolutions that impart local context to all pixels and introduce convolutional inductive bias. We additionally boost aggregation performance by applying transformers within a pyramidal structure, where aggregation at a coarser level guides aggregation at a finer level. Noise in the transformer output is then filtered in the subsequent decoder with the help of the query's appearance embedding. With this model, a new state-of-the-art is set for all the standard benchmarks in few-shot segmentation. It is shown that VAT attains state-of-the-art performance for semantic correspondence as well, where cost aggregation also plays a central role.
• Abstract（参考訳）: 本稿では,VAT(Volumetric Aggregation with Transformers)と呼ばれる新しいコスト集約ネットワークを提案する。 変圧器の使用は、グローバル受容場上の自己アテンションを通じて相関マップアグリゲーションの恩恵を受ける。 しかし、トークン境界における不連続性はトークンエッジ付近で利用可能なローカルコンテキストを減少させ、インダクティブバイアスを減少させるため、トランスフォーマー処理のための相関マップのトークン化は有害である。 この問題に対処するため,高次元スウィン変換器は,すべての画素に局所的コンテキストを付与し,畳み込み帰納バイアスを導入する一連の小カーネル畳み込みによって先行する4次元スウィン変換器を提案する。 さらに,より微細なレベルでの凝集が誘導されるピラミッド構造に変圧器を適用することにより,凝集性能を向上する。 変換器出力のノイズは、クエリの外観埋め込みの助けを借りて、その後のデコーダにフィルタリングされる。 このモデルでは、数ショットのセグメンテーションですべての標準ベンチマークに対して、新しい最先端技術が設定される。 VATは,コスト集約が中心的な役割を担うセマンティック対応において,最先端のパフォーマンスを実現する。

関連論文リスト

• CT-MVSNet: Efficient Multi-View Stereo with Cross-scale Transformer [8.962657021133925]
  クロススケールトランス(CT)プロセスは、追加計算なしで異なる段階の表現を特徴付ける。 複数のスケールで異なる対話型アテンションの組み合わせを利用する適応型マッチング認識変換器(AMT)を導入する。 また、より細かなコストボリューム構成に大まかにグローバルな意味情報を埋め込む2機能ガイドアグリゲーション(DFGA)も提案する。
  論文  参考訳（メタデータ） (2023-12-14T01:33:18Z)
• Isomer: Isomerous Transformer for Zero-shot Video Object Segmentation [59.91357714415056]
  コンテクスト共有変換器(CST)とセマンティックガザリング散乱変換器(SGST)の2つの変種を提案する。 CSTは、軽量な計算により、画像フレーム内のグローバル共有コンテキスト情報を学習し、SGSTは、前景と背景のセマンティック相関を別々にモデル化する。 多段核融合にバニラ変換器を使用するベースラインと比較して,我々は13倍の速度向上を実現し,新しい最先端ZVOS性能を実現する。
  論文  参考訳（メタデータ） (2023-08-13T06:12:00Z)
• White-Box Transformers via Sparse Rate Reduction [25.51855431031564]
  数学的に完全に解釈可能な,ホワイトボックストランスフォーマーのようなディープネットワークアーキテクチャのファミリーを示す。 実験の結果、これらのネットワークは実際に設計した目的を最適化することを学習していることがわかった。
  論文  参考訳（メタデータ） (2023-06-01T20:28:44Z)
• Segmented Recurrent Transformer: An Efficient Sequence-to-Sequence Model [10.473819332984005]
  分割された(局所的な)注意と再帰的な注意を結合した分節再帰変圧器(SRformer)を提案する。 提案モデルでは,分割変圧器よりも高いROUGE1スコアを6-22%で達成し,他の再帰変圧器よりも優れている。
  論文  参考訳（メタデータ） (2023-05-24T03:47:22Z)
• Deep Transformers without Shortcuts: Modifying Self-attention for Faithful Signal Propagation [105.22961467028234]
  ディープニューラルネットワーク(DNN)のトレーニングにおいて,スキップ接続と正規化レイヤはユビキタスである Deep Kernel Shapingのような最近のアプローチは、それらへの依存を減らすために進歩しました。 しかし、これらのアプローチは変換器に存在する自己注意層とは相容れない。
  論文  参考訳（メタデータ） (2023-02-20T21:26:25Z)
• SSformer: A Lightweight Transformer for Semantic Segmentation [7.787950060560868]
  Swin Transformerは階層アーキテクチャとシフトウィンドウを使用して、様々な視覚タスクで新しい記録を樹立した。 我々はSSformerと呼ばれる軽量で効果的なトランスモデルを設計する。 実験の結果,提案したSSformerは最先端モデルと同等のmIoU性能が得られることがわかった。
  論文  参考訳（メタデータ） (2022-08-03T12:57:00Z)
• Cost Aggregation Is All You Need for Few-Shot Segmentation [28.23753949369226]
  本稿では,数発のセグメンテーションタスクに取り組むために,変圧器を用いたボリュームアグリゲーション(VAT)を提案する。 VATは畳み込みとトランスフォーマーの両方を使用して、クエリとサポートの間の高次元相関マップを効率的に処理する。 提案手法は,意味対応タスクにおける標準ベンチマークにおいても,最先端の性能を実現する。
  論文  参考訳（メタデータ） (2021-12-22T06:18:51Z)
• nnFormer: Interleaved Transformer for Volumetric Segmentation [50.10441845967601]
  本稿では,自己意図と畳み込みを実証的に組み合わせた,インターリーブアーキテクチャを備えた強力なセグメンテーションモデルであるnnFormerを紹介する。 nnFormerは、SynapseとACDCの2つの一般的なデータセットで、以前のTransformerベースのメソッドよりも大幅に改善されている。
  論文  参考訳（メタデータ） (2021-09-07T17:08:24Z)
• Vision Transformer with Progressive Sampling [73.60630716500154]
  本稿では,識別領域を特定するための反復的・漸進的なサンプリング手法を提案する。 ImageNetでスクラッチからトレーニングされた場合、PS-ViTはトップ1の精度でバニラViTよりも3.8%高いパフォーマンスを示す。
  論文  参考訳（メタデータ） (2021-08-03T18:04:31Z)
• Rethinking Global Context in Crowd Counting [70.54184500538338]
  純粋な変換器は、重なり合う画像パッチからグローバル情報で特徴を抽出するために用いられる。 分類によってインスピレーションを得て、入力シーケンスにコンテキストトークンを追加し、画像パッチに対応するトークンと情報交換を容易にする。
  論文  参考訳（メタデータ） (2021-05-23T12:44:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。