論文の概要: ZoDIAC: Zoneout Dropout Injection Attention Calculation

• arxiv url: http://arxiv.org/abs/2206.14263v4
• Date: Tue, 30 Sep 2025 22:40:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-02 14:33:21.360762
• Title: ZoDIAC: Zoneout Dropout Injection Attention Calculation
• Title（参考訳）: ZoDIAC:ゾーンアウトドロップアウト注入注意計算
• Authors: Zanyar Zohourianshahzadi, Terrance E. Boult, Jugal K. Kalita,
• Abstract要約: ゾーンアップドロップアウト注入注意計算(ZoDIAC)と呼ばれる新しい洗練・強化された注意機構を導入する。 実験の結果,ZoDIACは画像キャプションの指標で統計的に高いスコアを得ることができた。 提案するZoDIACアテンションモジュールは,すべてのトランスモデルのアテンションコンポーネントのドロップイン代替として使用することができる。
• 参考スコア（独自算出の注目度）: 5.027714423258536
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: In the past few years the transformer model has been utilized for a variety of tasks such as image captioning, image classification natural language generation, and natural language understanding. As a key component of the transformer model, self-attention calculates the attention values by mapping the relationships among the head elements of the source and target sequence, yet there is no explicit mechanism to refine and intensify the attention values with respect to the context of the input and target sequences. Based on this intuition, we introduce a novel refine and intensify attention mechanism that is called Zoneup Dropout Injection Attention Calculation (ZoDIAC), in which the intensities of attention values in the elements of the input source and target sequences are first refined using GELU and dropout and then intensified using a proposed zoneup process which includes the injection of a learned scalar factor. Our extensive experiments show that ZoDIAC achieves statistically significant higher scores under all image captioning metrics using various feature extractors in comparison to the conventional self-attention module in the transformer model on the MS-COCO dataset. Our proposed ZoDIAC attention modules can be used as a drop-in replacement for the attention components in all transformer models. The code for our experiments is publicly available at: https://github.com/zanyarz/zodiac
• Abstract（参考訳）: 近年,画像キャプション,画像分類自然言語生成,自然言語理解など,様々なタスクにトランスフォーマーモデルが利用されてきた。 トランスモデルのキーコンポーネントとして、自己アテンションは、ソースおよびターゲットシーケンスのヘッダ要素間の関係をマッピングしてアテンション値を算出するが、インプットおよびターゲットシーケンスのコンテキストに関してアテンション値を洗練・強化する明確なメカニズムは存在しない。 この直感に基づいて、入力元とターゲット配列の要素における注目値の強度をGELUとドロップアウトを用いて初めて洗練し、学習されたスカラーファクターの注入を含むゾーンアッププロセスを用いて強化する、ZoDIAC(Zoup Dropout Injection Attention calculation)と呼ばれる、斬新で強化された注意機構を導入する。 以上の結果から,ZoDIACは,MS-COCOデータセット上のトランスフォーマーモデルにおける従来の自己アテンションモジュールと比較して,様々な特徴抽出器を用いて,画像キャプションの指標に対して統計的に有意な高得点を達成できることが示唆された。 提案するZoDIACアテンションモジュールは,すべてのトランスモデルのアテンションコンポーネントのドロップイン代替として使用することができる。 私たちの実験のコードは、https://github.com/zanyarz/zodiac.comで公開されています。

関連論文リスト

• Rectifying Magnitude Neglect in Linear Attention [57.097694292570885]
  リニアアテンションは、標準的なSoftmaxアテンションに比べて大幅にパフォーマンスが低下する。 我々は,線形注意の計算を改良し,クエリの規模を完全に組み込むMagnitude-Aware Linear Attention (MALA)を提案する。
  論文  参考訳（メタデータ） (2025-07-01T11:49:05Z)
• Focus What Matters: Matchability-Based Reweighting for Local Feature Matching [6.361840891399624]
  本稿では,学習可能なバイアス項をアテンションロジットに同時に組み込む新しいアテンション再重み付け機構を提案する。 3つのベンチマークデータセットを用いて実験を行い,本手法の有効性を検証した。
  論文  参考訳（メタデータ） (2025-05-04T15:50:28Z)
• Learning to Attribute with Attention [75.61481181755744]
  本稿では,異なる注目頭部の注意重みを特徴として扱うことを提案する。 このようにして、属性に注意重みを効果的に活用する方法を学ぶことができる。 提案手法であるAtribution with Attention (AT2) は,多くのアブリケーションを含むアプローチと確実に同等に機能する。
  論文  参考訳（メタデータ） (2025-04-18T15:36:28Z)
• Core Context Aware Attention for Long Context Language Modeling [50.774702091154204]
  本稿では,CCA(Core Context Aware)アテンションを効果的に長距離コンテキストモデリングのためのプラグイン・アンド・プレイとして提案する。 CCA-Attentionは、計算効率と長文モデリング能力の観点から、最先端モデルよりも大幅に優れています。
  論文  参考訳（メタデータ） (2024-12-17T01:54:08Z)
• Continuous Sign Language Recognition Using Intra-inter Gloss Attention [0.0]
  本研究では,手話認識研究において,インター・グロス・アテンション・モジュール(inter-inter gloss attention module)と呼ばれる新しいモジュールを導入する。 グロス内注目モジュールでは、動画を等サイズのチャンクに分割し、各チャンク内に自己注意機構を適用する。 PHOENIX-2014ベンチマークデータセットの実験結果から,本手法が手話の特徴をエンドツーエンドで効果的に抽出できることが示されている。
  論文  参考訳（メタデータ） (2024-06-26T13:21:08Z)
• Elliptical Attention [1.7597562616011944]
  Pairwise dot-product self-attentionは、言語やビジョンにおける様々なアプリケーションで最先端のパフォーマンスを実現するトランスフォーマーの成功の鍵である。 本稿では,マハラノビス距離計を用いて注意重みの計算を行い,その基礎となる特徴空間を文脈的関連性の高い方向に拡張することを提案する。
  論文  参考訳（メタデータ） (2024-06-19T18:38:11Z)
• Prophet Attention: Predicting Attention with Future Attention for Image Captioning [99.88870695151874]
  我々は,預言者意識(Prophet Attention)を提案する。 提案した預言意図は,既存の画像キャプションモデルに容易に組み込むことができる。
  論文  参考訳（メタデータ） (2022-10-19T22:29:31Z)
• Causal Attention for Unbiased Visual Recognition [76.87114090435618]
  注意モジュールは、どんなコンテキストにおいても堅牢な因果的特徴を深層モデルで学ぶのに役立つとは限らない。 本稿では,コーカサリ・アテンション・モジュール(CaaM)を提案する。 OOD設定では、CaaMによるディープモデルは、それなしではパフォーマンスが大幅に向上する。
  論文  参考訳（メタデータ） (2021-08-19T16:45:51Z)
• Capturing Multi-Resolution Context by Dilated Self-Attention [58.69803243323346]
  限定的自己意識と拡張メカニズムの組み合わせを提案し,これを拡張的自己意識と呼ぶ。 制限された自己注意は、高分解能でクエリの隣接するフレームに注意を払い、拡張メカニズムは、より低い解像度でそれに出席できるように遠方の情報を要約します。 ASRの結果は、制限された自己アテンションのみと比較して大幅に改善され、計算コストのごく一部をフルシーケンスベースの自己アテンションと比較すると、同様の結果が得られる。
  論文  参考訳（メタデータ） (2021-04-07T02:04:18Z)
• SparseBERT: Rethinking the Importance Analysis in Self-attention [107.68072039537311]
  トランスフォーマーベースのモデルは、その強力な能力のために自然言語処理(NLP)タスクに人気がある。 事前学習モデルの注意マップの可視化は,自己着脱機構を理解するための直接的な方法の一つである。 本研究では,sparsebert設計の指導にも適用可能な微分可能アテンションマスク(dam)アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-02-25T14:13:44Z)
• Centroid Transformers: Learning to Abstract with Attention [15.506293166377182]
  自己注意は入力から特徴を抽出する強力なメカニズムである。 N入力をM出力にマップする自己注意の一般化であるセントロイド注意を$(Mleq N)$に提案する。 本手法は,抽象的テキスト要約,3次元視覚,画像処理など,様々なアプリケーションに適用する。
  論文  参考訳（メタデータ） (2021-02-17T07:04:19Z)
• Text Information Aggregation with Centrality Attention [86.91922440508576]
  本稿では, 固有中央集権自己注意という, 集権重み付けの新たな方法を提案する。 文中のすべての単語に対する完全連結グラフを構築し,各単語の注意点として固有中央性を計算する。
  論文  参考訳（メタデータ） (2020-11-16T13:08:48Z)
• Boost Image Captioning with Knowledge Reasoning [10.733743535624509]
  本稿では,単語ごとの逐次的な記述を生成する際の視覚的注意の正しさを改善するために,単語注意を提案する。 本稿では,知識グラフから抽出した外部知識をエンコーダ・デコーダ・フレームワークに注入し,意味のあるキャプションを容易にする新しい手法を提案する。
  論文  参考訳（メタデータ） (2020-11-02T12:19:46Z)
• Structured Self-Attention Weights Encode Semantics in Sentiment Analysis [13.474141732019099]
  感情分析タスクを考慮し,意味論をコード化する自己注意スコアを示す。 構造化された注意重みを解析するための簡易かつ効果的な注意追跡法を提案する。 この結果から,構造化された注意重みは感情分析におけるリッチな意味論を符号化し,人間による意味論の解釈と一致することがわかった。
  論文  参考訳（メタデータ） (2020-10-10T06:49:25Z)
• Hard Non-Monotonic Attention for Character-Level Transduction [65.17388794270694]
  2つの弦間の多くの非単調なアライメントを余剰化するための厳密な指数時間アルゴリズムを導入する。 ソフト・モノトニック・アテンションとハード・ノン・モノトニック・アテンションを実験的に比較したところ、正確なアルゴリズムは近似よりも性能を著しく改善し、ソフト・アテンションよりも優れていた。
  論文  参考訳（メタデータ） (2018-08-29T20:00:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。