論文の概要: Adding Quaternion Representations to Attention Networks for Classification

• arxiv url: http://arxiv.org/abs/2110.01185v1
• Date: Mon, 4 Oct 2021 04:47:41 GMT
• ステータス: 処理完了
• システム内更新日: 2021-10-05 15:47:36.441053
• Title: Adding Quaternion Representations to Attention Networks for Classification
• Title（参考訳）: 分類のための注意ネットワークへの四元表現の追加
• Authors: Nazmul Shahadat and Anthony S. Maida
• Abstract要約: 本稿では, 画像分類精度を向上させるために, 軸アテンションネットワークに新たな改良を加えている。 この修正には、画像分類精度を向上させるために、軸アテンションモジュールを四元数入力表現で補うことが含まれる。
• 参考スコア（独自算出の注目度）: 1.713291434132985
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper introduces a novel modification to axial-attention networks to improve their image classification accuracy. The modification involves supplementing axial-attention modules with quaternion input representations to improve image classification accuracy. We chose axial-attention networks because they factor 2D attention operations into two consecutive 1D operations (similar to separable convolution) and are thus less resource intensive than non-axial attention networks. We chose a quaternion encoder because of they share weights across four real-valued input channels and the weight-sharing has been shown to produce a more interlinked/interwoven output representation. We hypothesize that an attention module can be more effective using these interlinked representations as input. Our experiments support this hypothesis as reflected in the improved classification accuracy compared to standard axial-attention networks. We think this happens because the attention modules have better input representations to work with.
• Abstract（参考訳）: 本稿では, 画像分類精度を向上させるために, 軸アテンションネットワークを改良した。 この修正は、画像分類精度を向上させるために、四元数入力表現で軸接続モジュールを補うことを含む。 我々は,2次元注意操作を2つの連続した1次元操作(分離可能な畳み込みに似ている)に分解し,非軸性注意ネットワークよりも資源集約性が低いため,軸性注意ネットワークを選択した。 4つの実数値入力チャネル間で重みを共有するため、四元エンコーダを選択しました。 我々は、これらの相互リンク表現を入力として、アテンションモジュールがより効果的であると仮定する。 本実験は, 標準軸アテンションネットワークと比較して, 分類精度の向上を反映したこの仮説を支持する。 注意モジュールは、より優れた入力表現を持つので、これは起こります。

関連論文リスト

• Gramformer: Learning Crowd Counting via Graph-Modulated Transformer [68.26599222077466]
  Gramformerはグラフ変調変換器で、それぞれ注意点と入力ノードの特徴を調整してネットワークを強化する。 ノードの集中位置や重要性を発見するために,特徴に基づく符号化を提案する。 提案手法の競争性を検証した4つの挑戦的群集カウントデータセットの実験を行った。
  論文  参考訳（メタデータ） (2024-01-08T13:01:54Z)
• Convolution and Attention Mixer for Synthetic Aperture Radar Image Change Detection [41.38587746899477]
  合成開口レーダ(SAR)画像変化検出は重要な課題であり,リモートセンシングコミュニティで注目されている。 既存のSAR変化検出法は主に畳み込みニューラルネットワーク(CNN)に基づいている グローバルアテンションを取り入れたコンボリューション・アテンション・ミキサー(CAMixer)を提案する。
  論文  参考訳（メタデータ） (2023-09-21T12:28:23Z)
• Remote Sensing Change Detection With Transformers Trained from Scratch [62.96911491252686]
  トランスフォーマーベースの変更検出(CD)アプローチでは、大規模なイメージ分類でトレーニングされた事前トレーニングモデルを使用するか、別のCDデータセットで最初の事前トレーニングを頼りにしてから、ターゲットのベンチマークを微調整する。 我々は、4つの公開ベンチマークにおいて、スクラッチからトレーニングされながら最先端のパフォーマンスを実現するトランスフォーマーを用いたエンドツーエンドCDアプローチを開発した。
  論文  参考訳（メタデータ） (2023-04-13T17:57:54Z)
• Estimating Extreme 3D Image Rotation with Transformer Cross-Attention [13.82735766201496]
  画像ペアのアクティベーションマップ間の相互アテンションを計算するために,CNN特徴マップとTransformer-Encoderを利用するクロスアテンションベースのアプローチを提案する。 一般的に使用されている画像回転データセットやベンチマークに適用した場合、現代の最先端のスキームよりも優れた性能を示すことが実験的に示されている。
  論文  参考訳（メタデータ） (2023-03-05T09:07:26Z)
• Accurate Image Restoration with Attention Retractable Transformer [50.05204240159985]
  画像復元のためのアテンション・リトラクタブル・トランス (ART) を提案する。 ARTはネットワーク内の密集モジュールと疎開モジュールの両方を提示する。 画像超解像、デノナイジング、JPEG圧縮アーティファクト削減タスクについて広範な実験を行った。
  論文  参考訳（メタデータ） (2022-10-04T07:35:01Z)
• PSViT: Better Vision Transformer via Token Pooling and Attention Sharing [114.8051035856023]
  トークンプーリングとアテンション共有を併用したPSViTを提案する。 実験の結果,提案手法は画像ネット分類の精度を最大6.6%向上させることができることがわかった。
  論文  参考訳（メタデータ） (2021-08-07T11:30:54Z)
• Crosslink-Net: Double-branch Encoder Segmentation Network via Fusing Vertical and Horizontal Convolutions [58.71117402626524]
  医用画像分割のための新しいダブルブランチエンコーダアーキテクチャを提案する。 1)正方形畳み込みカーネルによる特徴の識別をさらに改善する必要があるため,非正方形および水平畳み込みカーネルの利用を提案する。 実験では,4つのデータセット上でのモデルの有効性を検証した。
  論文  参考訳（メタデータ） (2021-07-24T02:58:32Z)
• PICASO: Permutation-Invariant Cascaded Attentional Set Operator [6.845913709297514]
  セットインプット深層ネットワークのための変分不変カスケードアテンショナル・セット演算子 (PICASO) を提案する。 提案したオペレータはスタンドアロンモジュールであり、さまざまな機械学習タスクに適応して拡張することができる。 我々は, PICASO の有用性を, (i) クラスタリング, (ii) 新たな視点による画像分類, (iii) 画像異常検出, (iv) 状態予測の4つのシナリオで示す。
  論文  参考訳（メタデータ） (2021-07-17T19:21:30Z)
• Attention in Attention Network for Image Super-Resolution [18.2279472158217]
  静的な注意メカニズムを定量化し、視覚化し、すべての注意モジュールが等しく有益ではないことを示します。 高精度な画像SRのために注目ネットワーク(A$2$N)への注目を提案します。 我々のモデルは最先端の軽量ネットワークと比較して優れたトレードオフ性能を実現することができる。
  論文  参考訳（メタデータ） (2021-04-19T17:59:06Z)
• Coordinate Attention for Efficient Mobile Network Design [96.40415345942186]
  チャネルの注目に位置情報を埋め込むことにより,モバイルネットワークに対する新たな注意メカニズムを提案する。 2次元グローバルプーリングにより特徴テンソルを単一特徴ベクトルに変換するチャネルアテンションとは異なり、座標アテンションはチャネルアテンションを2つの1次元特徴符号化プロセスに分解する。 座標の注意はImageNetの分類に有用であり、オブジェクト検出やセマンティックセグメンテーションといった下流タスクではよりうまく振る舞う。
  論文  参考訳（メタデータ） (2021-03-04T09:18:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。