論文の概要: The Quarks of Attention

• arxiv url: http://arxiv.org/abs/2202.08371v1
• Date: Tue, 15 Feb 2022 18:47:19 GMT
• ステータス: 処理完了
• システム内更新日: 2022-02-18 14:30:11.758281
• Title: The Quarks of Attention
• Title（参考訳）: 注目のクォークは
• Authors: Pierre Baldi and Roman Vershynin
• Abstract要約: ディープラーニングでは、自然言語処理などの問題に対処するために、注目に基づくニューラルネットワークが広く使用されている。 我々は、ソース、ターゲット、計算機構の観点から、すべての基本的な注意ブロックを分類する。 我々は、加算活性化注意、乗算出力注意(出力ゲーティング)、乗算シナプス注意(シナプスゲーティング)の3つの重要なメカニズムを特定し、研究する。
• 参考スコア（独自算出の注目度）: 11.315881995916428
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Attention plays a fundamental role in both natural and artificial intelligence systems. In deep learning, attention-based neural architectures, such as transformer architectures, are widely used to tackle problems in natural language processing and beyond. Here we investigate the fundamental building blocks of attention and their computational properties. Within the standard model of deep learning, we classify all possible fundamental building blocks of attention in terms of their source, target, and computational mechanism. We identify and study three most important mechanisms: additive activation attention, multiplicative output attention (output gating), and multiplicative synaptic attention (synaptic gating). The gating mechanisms correspond to multiplicative extensions of the standard model and are used across all current attention-based deep learning architectures. We study their functional properties and estimate the capacity of several attentional building blocks in the case of linear and polynomial threshold gates. Surprisingly, additive activation attention plays a central role in the proofs of the lower bounds. Attention mechanisms reduce the depth of certain basic circuits and leverage the power of quadratic activations without incurring their full cost.
• Abstract（参考訳）: 自然と人工知能システムにおいて、注意は基本的な役割を果たす。 ディープラーニングでは、トランスフォーマーアーキテクチャなどの注意に基づくニューラルアーキテクチャが、自然言語処理などの問題に対処するために広く使われている。 本稿では,注意の基本構成要素とその計算特性について検討する。 ディープラーニングの標準モデルでは、ソース、ターゲット、計算メカニズムの観点から、すべての注意の基本的な構成要素を分類します。 本研究は,加算活性化注意,乗算出力注意(出力ゲーティング),乗算シナプス注意(シナプスゲーティング)の3つの重要なメカニズムを同定し研究する。 ゲーティングメカニズムは、標準モデルの乗法拡張に対応し、現在の注意に基づくすべてのディープラーニングアーキテクチャで使用される。 線形および多項式しきい値ゲートの場合,それらの機能特性を解析し,注意ブロックのキャパシティを推定する。 驚くべきことに、付加活性化注意は下界の証明において中心的な役割を果たす。 注意機構は、特定の基本回路の深さを減少させ、その全コストを発生させることなく二次活性化のパワーを利用する。

関連論文リスト

• A Primal-Dual Framework for Transformers and Neural Networks [52.814467832108875]
  自己注意は、シーケンスモデリングタスクにおけるトランスフォーマーの顕著な成功の鍵である。 自己アテンションは、支持ベクトル回帰問題から導かれる支持ベクトル展開に対応することを示す。 Batch Normalized Attention (Attention-BN) と Scaled Head (Attention-SH) の2つの新しい注意点を提案する。
  論文  参考訳（メタデータ） (2024-06-19T19:11:22Z)
• Unveiling the Hidden Structure of Self-Attention via Kernel Principal Component Analysis [2.1605931466490795]
  自己アテンション(自己アテンション)は,キー行列の主成分軸上のクエリベクトルを特徴空間に投影することを示す。 本稿では,ロバスト成分を用いたアテンション(RPC-Attention)を提案する。
  論文  参考訳（メタデータ） (2024-06-19T18:22:32Z)
• Continuum Attention for Neural Operators [6.425471760071227]
  関数空間設定における変換器について検討する。 実際に実施される注意機構はモンテカルロあるいはこの作用素の有限差分近似であることを示す。 そのため、コンピュータビジョンからパッチ戦略の関数空間の一般化を導入し、関連するニューラル演算子のクラスを導入する。
  論文  参考訳（メタデータ） (2024-06-10T17:25:46Z)
• Binding Dynamics in Rotating Features [72.80071820194273]
  本稿では,特徴間のアライメントを明示的に計算し,それに応じて重みを調整する「コサイン結合」機構を提案する。 これにより、自己注意と生物学的神経プロセスに直接接続し、回転する特徴に現れるオブジェクト中心の表現の基本的なダイナミクスに光を当てることができます。
  論文  参考訳（メタデータ） (2024-02-08T12:31:08Z)
• Attention: Marginal Probability is All You Need? [0.0]
  我々は、注意機構のための代替ベイズ基盤を提案する。 機械学習において、どのように異なる注目アーキテクチャを統合するかを示す。 この研究が、より洗練された直感を注目アーキテクチャの重要な特性に導くことを願っています。
  論文  参考訳（メタデータ） (2023-04-07T14:38:39Z)
• Guiding Visual Question Answering with Attention Priors [76.21671164766073]
  本稿では,言語・視覚的接地による注意機構の導出について述べる。 この基礎は、クエリ内の構造化言語概念を視覚オブジェクト間の参照物に接続することで導かれる。 このアルゴリズムは、注意に基づく推論モデルを調べ、関連する連想的知識を注入し、コア推論プロセスを制御する。
  論文  参考訳（メタデータ） (2022-05-25T09:53:47Z)
• Visual Attention Methods in Deep Learning: An In-Depth Survey [37.18104595529633]
  人間の認知システムにインスパイアされた注意は、特定の情報に対する人間の認知意識を模倣するメカニズムである。 ディープラーニングは多くのアプリケーションのパフォーマンス向上に注意を払っています。 この文献は、深層モデルに注意を向ける研究者を導くための注意技術に関する包括的な調査を欠いている。
  論文  参考訳（メタデータ） (2022-04-16T08:57:00Z)
• Assessing the Impact of Attention and Self-Attention Mechanisms on the Classification of Skin Lesions [0.0]
  注意モジュールと自己注意という,2種類の注意機構に注目した。 注意モジュールは各層入力テンソルの特徴を再重み付けするために使用される。 自己認識(Self-Attention)は、元々自然言語処理の分野で提案されていたもので、入力シーケンス内のすべての項目を関連付けることができる。
  論文  参考訳（メタデータ） (2021-12-23T18:02:48Z)
• Compositional Attention: Disentangling Search and Retrieval [66.7108739597771]
  Multi-head, key-value attention は Transformer モデルとそのバリエーションのバックボーンである。 標準的なアテンションヘッドは、検索と検索の間の厳密なマッピングを学ぶ。 本稿では,標準ヘッド構造を置き換える新しいアテンション機構であるコンポジションアテンションアテンションを提案する。
  論文  参考訳（メタデータ） (2021-10-18T15:47:38Z)
• SparseBERT: Rethinking the Importance Analysis in Self-attention [107.68072039537311]
  トランスフォーマーベースのモデルは、その強力な能力のために自然言語処理(NLP)タスクに人気がある。 事前学習モデルの注意マップの可視化は,自己着脱機構を理解するための直接的な方法の一つである。 本研究では,sparsebert設計の指導にも適用可能な微分可能アテンションマスク(dam)アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-02-25T14:13:44Z)
• Deep Reinforced Attention Learning for Quality-Aware Visual Recognition [73.15276998621582]
  我々は,任意の畳み込みニューラルネットワークにおける中間注意マップの弱教師付き生成機構を構築した。 メタ批評家ネットワークを導入し、メインネットワークにおける注目マップの質を評価する。
  論文  参考訳（メタデータ） (2020-07-13T02:44:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。