論文の概要: Is Attention Better Than Matrix Decomposition?

• arxiv url: http://arxiv.org/abs/2109.04553v1
• Date: Thu, 9 Sep 2021 20:40:19 GMT
• ステータス: 処理完了
• システム内更新日: 2021-09-14 04:03:12.739829
• Title: Is Attention Better Than Matrix Decomposition?
• Title（参考訳）: マトリックス分解より注意がよいか?
• Authors: Zhengyang Geng, Meng-Hao Guo, Hongxu Chen, Xia Li, Ke Wei, Zhouchen Lin
• Abstract要約: 我々は,長距離依存を符号化する行列分解モデルよりも自己注意の方が優れていることを示す。 本稿では,MDを解くための最適化アルゴリズムを用いて,入力表現をサブ行列に分解し,低ランクな埋め込みを再構築する一連のハンブルガーを提案する。 グローバルな文脈を学習することが不可欠であるビジョンタスクにおいて、総合的な実験が実施される。
• 参考スコア（独自算出の注目度）: 58.813382406412195
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: As an essential ingredient of modern deep learning, attention mechanism, especially self-attention, plays a vital role in the global correlation discovery. However, is hand-crafted attention irreplaceable when modeling the global context? Our intriguing finding is that self-attention is not better than the matrix decomposition (MD) model developed 20 years ago regarding the performance and computational cost for encoding the long-distance dependencies. We model the global context issue as a low-rank recovery problem and show that its optimization algorithms can help design global information blocks. This paper then proposes a series of Hamburgers, in which we employ the optimization algorithms for solving MDs to factorize the input representations into sub-matrices and reconstruct a low-rank embedding. Hamburgers with different MDs can perform favorably against the popular global context module self-attention when carefully coping with gradients back-propagated through MDs. Comprehensive experiments are conducted in the vision tasks where it is crucial to learn the global context, including semantic segmentation and image generation, demonstrating significant improvements over self-attention and its variants.
• Abstract（参考訳）: 現代のディープラーニングの重要な要素として、注意機構、特に自己注意は、グローバルな相関発見において重要な役割を果たす。 しかし、グローバルな文脈をモデル化する際、手作りの注意は置き換えられないのか? 興味をそそられる発見は,20年前に開発された行列分解(md)モデルよりも,長距離依存関係を符号化するための性能と計算コストが優れていることにある。 我々は,グローバルコンテキスト問題を低ランク回復問題としてモデル化し,その最適化アルゴリズムがグローバル情報ブロックの設計に役立つことを示す。 そこで本稿では,MDを解くための最適化アルゴリズムを用いて,入力表現をサブ行列に分解し,低ランク埋め込みを再構築する一連のハンバーグを提案する。 異なるMDを持つハンバーガーは、MDを通してバックプロパゲーションされた勾配に慎重に対処する際に、一般的なグローバルコンテキストモジュールの自己注意に対して好適に機能する。 意味的セグメンテーションや画像生成など,グローバルな文脈の学習が不可欠であるビジョンタスクにおいて,総合的な実験が実施され,自己意識とその変種に対する大幅な改善が示された。

関連論文リスト

• Sharing Key Semantics in Transformer Makes Efficient Image Restoration [148.22790334216117]
  視覚変換器(ViT)の基盤となる自己注意機構は、意味的に無関係なオブジェクトや領域であっても、すべてのグローバルな手がかりを包含する傾向がある。 本稿では,Transformer for IR(すなわちSemanIR)を通じて重要なセマンティクスを共有することで,画像復元の性能を向上させることを提案する。
  論文  参考訳（メタデータ） (2024-05-30T12:45:34Z)
• AMMUNet: Multi-Scale Attention Map Merging for Remote Sensing Image Segmentation [4.618389486337933]
  マルチスケールアテンションマップをマージするUNetベースのフレームワークであるAMMUNetを提案する。 提案するAMMMは,マルチスケールアテンションマップを固定マスクテンプレートを用いた統一表現に効果的に結合する。 提案手法は,Vayhingenデータセットでは75.48%,Potsdamデータセットでは77.90%という顕著な平均交叉(mIoU)を達成した。
  論文  参考訳（メタデータ） (2024-04-20T15:23:15Z)
• UGMAE: A Unified Framework for Graph Masked Autoencoders [67.75493040186859]
  グラフマスク付きオートエンコーダのための統一フレームワークであるUGMAEを提案する。 まず,ノードの特異性を考慮した適応型特徴マスク生成器を開発した。 次に,階層型構造再構成と特徴再構成を併用し,総合的なグラフ情報を取得する。
  論文  参考訳（メタデータ） (2024-02-12T19:39:26Z)
• Low-Resolution Self-Attention for Semantic Segmentation [96.81482872022237]
  我々は,グローバルコンテキストを計算コストの大幅な削減で捉えるために,低解像度自己認識(LRSA)機構を導入する。 我々のアプローチは、入力画像の解像度に関わらず、固定された低解像度空間における自己注意を計算することである。 本稿では,エンコーダ・デコーダ構造を持つビジョントランスであるLRFormerを構築することで,LRSA手法の有効性を示す。
  論文  参考訳（メタデータ） (2023-10-08T06:10:09Z)
• Advancing Volumetric Medical Image Segmentation via Global-Local Masked Autoencoder [7.098796546778199]
  Masked Autoencoder (MAE) は有望な自己教師付き事前学習技術である。 GL-MAEは単純だが効果的な自己指導型事前訓練戦略である。
  論文  参考訳（メタデータ） (2023-06-15T07:32:10Z)
• Semantics-Aware Dynamic Localization and Refinement for Referring Image Segmentation [102.25240608024063]
  画像の参照は、言語表現からのイメージセグメントを参照する。 そこで我々は,局所化中心からセグメンテーション言語へ移行するアルゴリズムを開発した。 比較すると,本手法はより汎用的で有効である。
  論文  参考訳（メタデータ） (2023-03-11T08:42:40Z)
• Realtime Global Attention Network for Semantic Segmentation [4.061739586881057]
  セマンティックセグメンテーションのための統合グローバルアテンションニューラルネットワーク(RGANet)を提案する。 これらのグローバルアテンションモジュールを変換の階層に統合することで、評価指標のパフォーマンスが向上する。
  論文  参考訳（メタデータ） (2021-12-24T04:24:18Z)
• Data-Informed Global Sparseness in Attention Mechanisms for Deep Neural Networks [33.07113523598028]
  本研究では,アテンション・プルーニング(Attention Pruning,AP)を提案する。 APは、言語モデリングの注意計算の90%を節約し、機械翻訳とGLUEタスクの約50%を節約し、結果の品質を維持している。
  論文  参考訳（メタデータ） (2020-11-20T13:58:21Z)
• BayGo: Joint Bayesian Learning and Information-Aware Graph Optimization [48.30183416069897]
  BayGoは、ベイズ学習とグラフ最適化のフレームワークである。 本研究の枠組みは、完全連結および恒星トポロジーグラフと比較して、より高速な収束と精度を実現する。
  論文  参考訳（メタデータ） (2020-11-09T11:16:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。