論文の概要: ZoDIAC: Zoneout Dropout Injection Attention Calculation

• arxiv url: http://arxiv.org/abs/2206.14263v1
• Date: Tue, 28 Jun 2022 19:36:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2022-07-01 07:14:15.704808
• Title: ZoDIAC: Zoneout Dropout Injection Attention Calculation
• Title（参考訳）: ZoDIAC:ゾーンアウトドロップアウト注入注意計算
• Authors: Zanyar Zohourianshahzadi and Jugal Kalita
• Abstract要約: 入力シーケンスの要素の注意値の強度を入力シーケンスの要素のコンテキストに応じて算出するゾーンアウトドロップアウト注入注意計算(ZoDIAC)を提案する。 実験の結果,ZoDIACはトランスフォーマーモデルにおける自己保持モジュールと比較して性能が向上することがわかった。 最終的なゴールは、トランスフォーマーモデルにおける自己アテンションモジュールを、コアで自己アテンションを利用する他のモデルに潜在的なメソッドで変更できるかどうかを見つけることです。
• 参考スコア（独自算出の注目度）: 2.792030485253753
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recently the use of self-attention has yielded to state-of-the-art results in vision-language tasks such as image captioning as well as natural language understanding and generation (NLU and NLG) tasks and computer vision tasks such as image classification. This is since self-attention maps the internal interactions among the elements of input source and target sequences. Although self-attention successfully calculates the attention values and maps the relationships among the elements of input source and target sequence, yet there is no mechanism to control the intensity of attention. In real world, when communicating with each other face to face or vocally, we tend to express different visual and linguistic context with various amounts of intensity. Some words might carry (be spoken with) more stress and weight indicating the importance of that word in the context of the whole sentence. Based on this intuition, we propose Zoneout Dropout Injection Attention Calculation (ZoDIAC) in which the intensities of attention values in the elements of the input sequence are calculated with respect to the context of the elements of input sequence. The results of our experiments reveal that employing ZoDIAC leads to better performance in comparison with the self-attention module in the Transformer model. The ultimate goal is to find out if we could modify self-attention module in the Transformer model with a method that is potentially extensible to other models that leverage on self-attention at their core. Our findings suggest that this particular goal deserves further attention and investigation by the research community. The code for ZoDIAC is available on www.github.com/zanyarz/zodiac .
• Abstract（参考訳）: 近年,画像キャプションなどの視覚言語タスクや自然言語理解・生成(nlu,nlg)タスク,画像分類などのコンピュータビジョンタスクにおいて,自己認識の利用が最先端の成果となっている。 これは、セルフアテンションが入力元とターゲットシーケンスの要素間の内部相互作用をマッピングするためである。 自己注意はアテンション値の計算に成功し、入力元とターゲットシーケンスの要素間の関係をマッピングするが、アテンションの強度を制御するメカニズムは存在しない。 実世界では、対面や発声でコミュニケーションをとる場合、異なる視覚的・言語的文脈を様々な強度で表現する傾向がある。 いくつかの単語は、文全体の文脈において、その単語の重要性を示すよりストレスと重みを持つ(話される)。 この直感に基づいて,入力列の要素の文脈に対して,入力列の要素における注意値の強度を計算したゾーンアウト・ドロップアウト・インジェクション・アテンション計算(zodiac)を提案する。 実験の結果,ZoDIACはトランスフォーマーモデルにおける自己保持モジュールと比較して性能が向上することがわかった。 究極の目標は、トランスフォーマーモデルで自己アテンションモジュールを、コアで自己アテンションを利用する他のモデルに拡張可能なメソッドで修正できるかどうかを見つけることです。 以上の結果から,この目標が研究コミュニティのさらなる注目と調査に値することが示唆された。 ZoDIACのコードはwww.github.com/zanyarz/zodiacで入手できる。

関連論文リスト

• Bottleneck Transformer-Based Approach for Improved Automatic STOI Score Prediction [16.426476430697587]
  本稿では,ボトルネックトランスフォーマアーキテクチャを用いて,STOI(Short-Time Objective Intelligibility)メトリクスを予測する新しい手法を提案する。 両シナリオの相関性は高く,平均2乗誤差は低かった。
  論文  参考訳（メタデータ） (2026-02-17T10:46:54Z)
• Untwisting RoPE: Frequency Control for Shared Attention in DiTs [84.14005261938284]
  位置符号化はトランスフォーマーベースの生成モデルに不可欠である。 ロータリー・ポジショナル・エンベディング (RoPE) は, 異なる位置感性を有する周波数成分に自然に分解されることを示す。 本稿では,厳密な位置アライメントよりも意味的類似性を反映するように,RoPE周波数帯域を選択的に変調する手法を提案する。
  論文  参考訳（メタデータ） (2026-02-04T20:01:59Z)
• TensorLens: End-to-End Transformer Analysis via High-Order Attention Tensors [53.891337639229285]
  高次アテンション・インタラクション接続を通して表現された入力依存線形演算子として変換器全体をキャプチャする新しい定式化である attentionLens を導入する。 本実験は,注目テンソルが,解釈可能性とモデル理解を目的としたツール開発のための強力な基盤となることを実証した。
  論文  参考訳（メタデータ） (2026-01-25T19:21:25Z)
• Rectifying Magnitude Neglect in Linear Attention [57.097694292570885]
  リニアアテンションは、標準的なSoftmaxアテンションに比べて大幅にパフォーマンスが低下する。 我々は,線形注意の計算を改良し,クエリの規模を完全に組み込むMagnitude-Aware Linear Attention (MALA)を提案する。
  論文  参考訳（メタデータ） (2025-07-01T11:49:05Z)
• Focus What Matters: Matchability-Based Reweighting for Local Feature Matching [6.361840891399624]
  本稿では,学習可能なバイアス項をアテンションロジットに同時に組み込む新しいアテンション再重み付け機構を提案する。 3つのベンチマークデータセットを用いて実験を行い,本手法の有効性を検証した。
  論文  参考訳（メタデータ） (2025-05-04T15:50:28Z)
• Learning to Attribute with Attention [75.61481181755744]
  本稿では,異なる注目頭部の注意重みを特徴として扱うことを提案する。 このようにして、属性に注意重みを効果的に活用する方法を学ぶことができる。 提案手法であるAtribution with Attention (AT2) は,多くのアブリケーションを含むアプローチと確実に同等に機能する。
  論文  参考訳（メタデータ） (2025-04-18T15:36:28Z)
• Neural Attention: A Novel Mechanism for Enhanced Expressive Power in Transformer Models [0.0]
  トランスフォーマーモデルは通常、ドット製品を使用して注意行列を計算する。 本稿では,ドット製品をフィードフォワードネットワークに置き換える手法であるNeural Attentionを提案する。 このアプローチは、行列次元を保ちながら注意行列計算のみを変更する。
  論文  参考訳（メタデータ） (2025-02-24T14:39:40Z)
• Core Context Aware Attention for Long Context Language Modeling [50.774702091154204]
  本稿では,CCA(Core Context Aware)アテンションを効果的に長距離コンテキストモデリングのためのプラグイン・アンド・プレイとして提案する。 CCA-Attentionは、計算効率と長文モデリング能力の観点から、最先端モデルよりも大幅に優れています。
  論文  参考訳（メタデータ） (2024-12-17T01:54:08Z)
• Continual Low-Rank Scaled Dot-product Attention [67.11704350478475]
  我々は,連続的推論に適したNystr"om近似に基づくスケールド・プロダクツ・アテンションの新しい定式化を導入する。 オンライン音声分類およびオンライン行動検出タスクの実験において、提案した連続的スケールド・プロダクト・アテンションは、最大3桁の操作数を削減できる。
  論文  参考訳（メタデータ） (2024-12-04T11:05:01Z)
• DAPE V2: Process Attention Score as Feature Map for Length Extrapolation [63.87956583202729]
  我々は特徴写像としての注意を概念化し、コンピュータビジョンにおける処理方法を模倣するために畳み込み演算子を適用した。 様々な注意関係のモデルに適応できる新しい洞察は、現在のTransformerアーキテクチャがさらなる進化の可能性があることを示している。
  論文  参考訳（メタデータ） (2024-10-07T07:21:49Z)
• Continuous Sign Language Recognition Using Intra-inter Gloss Attention [0.0]
  本研究では,手話認識研究において,インター・グロス・アテンション・モジュール(inter-inter gloss attention module)と呼ばれる新しいモジュールを導入する。 グロス内注目モジュールでは、動画を等サイズのチャンクに分割し、各チャンク内に自己注意機構を適用する。 PHOENIX-2014ベンチマークデータセットの実験結果から,本手法が手話の特徴をエンドツーエンドで効果的に抽出できることが示されている。
  論文  参考訳（メタデータ） (2024-06-26T13:21:08Z)
• Elliptical Attention [1.7597562616011944]
  Pairwise dot-product self-attentionは、言語やビジョンにおける様々なアプリケーションで最先端のパフォーマンスを実現するトランスフォーマーの成功の鍵である。 本稿では,マハラノビス距離計を用いて注意重みの計算を行い,その基礎となる特徴空間を文脈的関連性の高い方向に拡張することを提案する。
  論文  参考訳（メタデータ） (2024-06-19T18:38:11Z)
• Prophet Attention: Predicting Attention with Future Attention for Image Captioning [99.88870695151874]
  我々は,預言者意識(Prophet Attention)を提案する。 提案した預言意図は,既存の画像キャプションモデルに容易に組み込むことができる。
  論文  参考訳（メタデータ） (2022-10-19T22:29:31Z)
• Hybrid Routing Transformer for Zero-Shot Learning [83.64532548391]
  本稿ではハイブリッド・ルーティング・トランス (HRT) と呼ばれる新しいトランス・デコーダモデルを提案する。 ボトムアップとトップダウンの動的ルーティング経路の両方で構築されたアクティブアテンションを組み込んで,属性に整合した視覚的特徴を生成する。 HRTデコーダでは,属性対応の視覚特徴,対応する属性セマンティクス,およびクラス属性ベクトル間の相関関係を静的なルーティングで計算し,最終クラスラベルの予測を生成する。
  論文  参考訳（メタデータ） (2022-03-29T07:55:08Z)
• Vision Transformer with Deformable Attention [29.935891419574602]
  大規模な、時としてグローバルな受信フィールドは、CNNモデルよりも高い表現力を持つTransformerモデルを提供する。 本稿では,キーと値ペアの位置をデータ依存的に選択する,変形可能な新しい自己保持モジュールを提案する。 画像分類と重み付き予測の両方に変形性を考慮した一般的なバックボーンモデルであるDeformable Attention Transformerを提案する。
  論文  参考訳（メタデータ） (2022-01-03T08:29:01Z)
• Causal Attention for Unbiased Visual Recognition [76.87114090435618]
  注意モジュールは、どんなコンテキストにおいても堅牢な因果的特徴を深層モデルで学ぶのに役立つとは限らない。 本稿では,コーカサリ・アテンション・モジュール(CaaM)を提案する。 OOD設定では、CaaMによるディープモデルは、それなしではパフォーマンスが大幅に向上する。
  論文  参考訳（メタデータ） (2021-08-19T16:45:51Z)
• Combiner: Full Attention Transformer with Sparse Computation Cost [142.10203598824964]
  計算の複雑さを低く保ちつつ、各注目ヘッドにフルアテンション機能を提供するコンバインダを提案する。 既存のスパース変圧器で使用されるスパースアテンションパターンのほとんどは、そのような分解設計をフルアテンションに刺激することができることを示す。 自己回帰的タスクと双方向シーケンスタスクの両方に関する実験的評価は、このアプローチの有効性を示す。
  論文  参考訳（メタデータ） (2021-07-12T22:43:11Z)
• Capturing Multi-Resolution Context by Dilated Self-Attention [58.69803243323346]
  限定的自己意識と拡張メカニズムの組み合わせを提案し,これを拡張的自己意識と呼ぶ。 制限された自己注意は、高分解能でクエリの隣接するフレームに注意を払い、拡張メカニズムは、より低い解像度でそれに出席できるように遠方の情報を要約します。 ASRの結果は、制限された自己アテンションのみと比較して大幅に改善され、計算コストのごく一部をフルシーケンスベースの自己アテンションと比較すると、同様の結果が得られる。
  論文  参考訳（メタデータ） (2021-04-07T02:04:18Z)
• SparseBERT: Rethinking the Importance Analysis in Self-attention [107.68072039537311]
  トランスフォーマーベースのモデルは、その強力な能力のために自然言語処理(NLP)タスクに人気がある。 事前学習モデルの注意マップの可視化は,自己着脱機構を理解するための直接的な方法の一つである。 本研究では,sparsebert設計の指導にも適用可能な微分可能アテンションマスク(dam)アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-02-25T14:13:44Z)
• Centroid Transformers: Learning to Abstract with Attention [15.506293166377182]
  自己注意は入力から特徴を抽出する強力なメカニズムである。 N入力をM出力にマップする自己注意の一般化であるセントロイド注意を$(Mleq N)$に提案する。 本手法は,抽象的テキスト要約,3次元視覚,画像処理など,様々なアプリケーションに適用する。
  論文  参考訳（メタデータ） (2021-02-17T07:04:19Z)
• Text Information Aggregation with Centrality Attention [86.91922440508576]
  本稿では, 固有中央集権自己注意という, 集権重み付けの新たな方法を提案する。 文中のすべての単語に対する完全連結グラフを構築し,各単語の注意点として固有中央性を計算する。
  論文  参考訳（メタデータ） (2020-11-16T13:08:48Z)
• Boost Image Captioning with Knowledge Reasoning [10.733743535624509]
  本稿では,単語ごとの逐次的な記述を生成する際の視覚的注意の正しさを改善するために,単語注意を提案する。 本稿では,知識グラフから抽出した外部知識をエンコーダ・デコーダ・フレームワークに注入し,意味のあるキャプションを容易にする新しい手法を提案する。
  論文  参考訳（メタデータ） (2020-11-02T12:19:46Z)
• Structured Self-Attention Weights Encode Semantics in Sentiment Analysis [13.474141732019099]
  感情分析タスクを考慮し,意味論をコード化する自己注意スコアを示す。 構造化された注意重みを解析するための簡易かつ効果的な注意追跡法を提案する。 この結果から,構造化された注意重みは感情分析におけるリッチな意味論を符号化し,人間による意味論の解釈と一致することがわかった。
  論文  参考訳（メタデータ） (2020-10-10T06:49:25Z)
• Hard Non-Monotonic Attention for Character-Level Transduction [65.17388794270694]
  2つの弦間の多くの非単調なアライメントを余剰化するための厳密な指数時間アルゴリズムを導入する。 ソフト・モノトニック・アテンションとハード・ノン・モノトニック・アテンションを実験的に比較したところ、正確なアルゴリズムは近似よりも性能を著しく改善し、ソフト・アテンションよりも優れていた。
  論文  参考訳（メタデータ） (2018-08-29T20:00:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。