論文の概要: ZoDIAC: Zoneout Dropout Injection Attention Calculation

• arxiv url: http://arxiv.org/abs/2206.14263v1
• Date: Tue, 28 Jun 2022 19:36:11 GMT
• ステータス: 処理完了
• システム内更新日: 2022-07-01 07:14:15.704808
• Title: ZoDIAC: Zoneout Dropout Injection Attention Calculation
• Title（参考訳）: ZoDIAC:ゾーンアウトドロップアウト注入注意計算
• Authors: Zanyar Zohourianshahzadi and Jugal Kalita
• Abstract要約: 入力シーケンスの要素の注意値の強度を入力シーケンスの要素のコンテキストに応じて算出するゾーンアウトドロップアウト注入注意計算(ZoDIAC)を提案する。 実験の結果,ZoDIACはトランスフォーマーモデルにおける自己保持モジュールと比較して性能が向上することがわかった。 最終的なゴールは、トランスフォーマーモデルにおける自己アテンションモジュールを、コアで自己アテンションを利用する他のモデルに潜在的なメソッドで変更できるかどうかを見つけることです。
• 参考スコア（独自算出の注目度）: 2.792030485253753
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recently the use of self-attention has yielded to state-of-the-art results in vision-language tasks such as image captioning as well as natural language understanding and generation (NLU and NLG) tasks and computer vision tasks such as image classification. This is since self-attention maps the internal interactions among the elements of input source and target sequences. Although self-attention successfully calculates the attention values and maps the relationships among the elements of input source and target sequence, yet there is no mechanism to control the intensity of attention. In real world, when communicating with each other face to face or vocally, we tend to express different visual and linguistic context with various amounts of intensity. Some words might carry (be spoken with) more stress and weight indicating the importance of that word in the context of the whole sentence. Based on this intuition, we propose Zoneout Dropout Injection Attention Calculation (ZoDIAC) in which the intensities of attention values in the elements of the input sequence are calculated with respect to the context of the elements of input sequence. The results of our experiments reveal that employing ZoDIAC leads to better performance in comparison with the self-attention module in the Transformer model. The ultimate goal is to find out if we could modify self-attention module in the Transformer model with a method that is potentially extensible to other models that leverage on self-attention at their core. Our findings suggest that this particular goal deserves further attention and investigation by the research community. The code for ZoDIAC is available on www.github.com/zanyarz/zodiac .
• Abstract（参考訳）: 近年,画像キャプションなどの視覚言語タスクや自然言語理解・生成(nlu,nlg)タスク,画像分類などのコンピュータビジョンタスクにおいて,自己認識の利用が最先端の成果となっている。 これは、セルフアテンションが入力元とターゲットシーケンスの要素間の内部相互作用をマッピングするためである。 自己注意はアテンション値の計算に成功し、入力元とターゲットシーケンスの要素間の関係をマッピングするが、アテンションの強度を制御するメカニズムは存在しない。 実世界では、対面や発声でコミュニケーションをとる場合、異なる視覚的・言語的文脈を様々な強度で表現する傾向がある。 いくつかの単語は、文全体の文脈において、その単語の重要性を示すよりストレスと重みを持つ(話される)。 この直感に基づいて,入力列の要素の文脈に対して,入力列の要素における注意値の強度を計算したゾーンアウト・ドロップアウト・インジェクション・アテンション計算(zodiac)を提案する。 実験の結果,ZoDIACはトランスフォーマーモデルにおける自己保持モジュールと比較して性能が向上することがわかった。 究極の目標は、トランスフォーマーモデルで自己アテンションモジュールを、コアで自己アテンションを利用する他のモデルに拡張可能なメソッドで修正できるかどうかを見つけることです。 以上の結果から,この目標が研究コミュニティのさらなる注目と調査に値することが示唆された。 ZoDIACのコードはwww.github.com/zanyarz/zodiacで入手できる。

関連論文リスト

• Continuous Sign Language Recognition Using Intra-inter Gloss Attention [0.0]
  本研究では,手話認識研究において,インター・グロス・アテンション・モジュール(inter-inter gloss attention module)と呼ばれる新しいモジュールを導入する。 グロス内注目モジュールでは、動画を等サイズのチャンクに分割し、各チャンク内に自己注意機構を適用する。 PHOENIX-2014ベンチマークデータセットの実験結果から,本手法が手話の特徴をエンドツーエンドで効果的に抽出できることが示されている。
  論文  参考訳（メタデータ） (2024-06-26T13:21:08Z)
• Elliptical Attention [1.7597562616011944]
  Pairwise dot-product self-attentionは、言語やビジョンにおける様々なアプリケーションで最先端のパフォーマンスを実現するトランスフォーマーの成功の鍵である。 本稿では,マハラノビス距離計を用いて注意重みの計算を行い,その基礎となる特徴空間を文脈的関連性の高い方向に拡張することを提案する。
  論文  参考訳（メタデータ） (2024-06-19T18:38:11Z)
• Prophet Attention: Predicting Attention with Future Attention for Image Captioning [99.88870695151874]
  我々は,預言者意識(Prophet Attention)を提案する。 提案した預言意図は,既存の画像キャプションモデルに容易に組み込むことができる。
  論文  参考訳（メタデータ） (2022-10-19T22:29:31Z)
• Causal Attention for Unbiased Visual Recognition [76.87114090435618]
  注意モジュールは、どんなコンテキストにおいても堅牢な因果的特徴を深層モデルで学ぶのに役立つとは限らない。 本稿では,コーカサリ・アテンション・モジュール(CaaM)を提案する。 OOD設定では、CaaMによるディープモデルは、それなしではパフォーマンスが大幅に向上する。
  論文  参考訳（メタデータ） (2021-08-19T16:45:51Z)
• Capturing Multi-Resolution Context by Dilated Self-Attention [58.69803243323346]
  限定的自己意識と拡張メカニズムの組み合わせを提案し,これを拡張的自己意識と呼ぶ。 制限された自己注意は、高分解能でクエリの隣接するフレームに注意を払い、拡張メカニズムは、より低い解像度でそれに出席できるように遠方の情報を要約します。 ASRの結果は、制限された自己アテンションのみと比較して大幅に改善され、計算コストのごく一部をフルシーケンスベースの自己アテンションと比較すると、同様の結果が得られる。
  論文  参考訳（メタデータ） (2021-04-07T02:04:18Z)
• SparseBERT: Rethinking the Importance Analysis in Self-attention [107.68072039537311]
  トランスフォーマーベースのモデルは、その強力な能力のために自然言語処理(NLP)タスクに人気がある。 事前学習モデルの注意マップの可視化は,自己着脱機構を理解するための直接的な方法の一つである。 本研究では,sparsebert設計の指導にも適用可能な微分可能アテンションマスク(dam)アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-02-25T14:13:44Z)
• Centroid Transformers: Learning to Abstract with Attention [15.506293166377182]
  自己注意は入力から特徴を抽出する強力なメカニズムである。 N入力をM出力にマップする自己注意の一般化であるセントロイド注意を$(Mleq N)$に提案する。 本手法は,抽象的テキスト要約,3次元視覚,画像処理など,様々なアプリケーションに適用する。
  論文  参考訳（メタデータ） (2021-02-17T07:04:19Z)
• Text Information Aggregation with Centrality Attention [86.91922440508576]
  本稿では, 固有中央集権自己注意という, 集権重み付けの新たな方法を提案する。 文中のすべての単語に対する完全連結グラフを構築し,各単語の注意点として固有中央性を計算する。
  論文  参考訳（メタデータ） (2020-11-16T13:08:48Z)
• Boost Image Captioning with Knowledge Reasoning [10.733743535624509]
  本稿では,単語ごとの逐次的な記述を生成する際の視覚的注意の正しさを改善するために,単語注意を提案する。 本稿では,知識グラフから抽出した外部知識をエンコーダ・デコーダ・フレームワークに注入し,意味のあるキャプションを容易にする新しい手法を提案する。
  論文  参考訳（メタデータ） (2020-11-02T12:19:46Z)
• Structured Self-Attention Weights Encode Semantics in Sentiment Analysis [13.474141732019099]
  感情分析タスクを考慮し,意味論をコード化する自己注意スコアを示す。 構造化された注意重みを解析するための簡易かつ効果的な注意追跡法を提案する。 この結果から,構造化された注意重みは感情分析におけるリッチな意味論を符号化し,人間による意味論の解釈と一致することがわかった。
  論文  参考訳（メタデータ） (2020-10-10T06:49:25Z)
• Hard Non-Monotonic Attention for Character-Level Transduction [65.17388794270694]
  2つの弦間の多くの非単調なアライメントを余剰化するための厳密な指数時間アルゴリズムを導入する。 ソフト・モノトニック・アテンションとハード・ノン・モノトニック・アテンションを実験的に比較したところ、正確なアルゴリズムは近似よりも性能を著しく改善し、ソフト・アテンションよりも優れていた。
  論文  参考訳（メタデータ） (2018-08-29T20:00:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。