論文の概要: Improve the Interpretability of Attention: A Fast, Accurate, and Interpretable High-Resolution Attention Model

• arxiv url: http://arxiv.org/abs/2106.02566v2
• Date: Mon, 7 Jun 2021 10:25:01 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-08 12:00:58.744333
• Title: Improve the Interpretability of Attention: A Fast, Accurate, and Interpretable High-Resolution Attention Model
• Title（参考訳）: 注意の解釈性の向上 : 高速・高精度・高分解能注意モデル
• Authors: Tristan Gomez, Suiyi Ling, Thomas Fr\'eour, Harold Mouch\`ere
• Abstract要約: そこで本稿では,タスク関連情報を取り込むための,非線形代表非パラメトリックアテンション(BR-NPA)戦略を提案する。 提案したモデルは、分類が関与する様々な近代的な深層モデルに容易に適応できる。 また、通常のニューラルアテンションモジュールよりも正確で高速で、メモリフットプリントも小さい。
• 参考スコア（独自算出の注目度）: 6.906621279967867
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The prevalence of employing attention mechanisms has brought along concerns on the interpretability of attention distributions. Although it provides insights about how a model is operating, utilizing attention as the explanation of model predictions is still highly dubious. The community is still seeking more interpretable strategies for better identifying local active regions that contribute the most to the final decision. To improve the interpretability of existing attention models, we propose a novel Bilinear Representative Non-Parametric Attention (BR-NPA) strategy that captures the task-relevant human-interpretable information. The target model is first distilled to have higher-resolution intermediate feature maps. From which, representative features are then grouped based on local pairwise feature similarity, to produce finer-grained, more precise attention maps highlighting task-relevant parts of the input. The obtained attention maps are ranked according to the `active level' of the compound feature, which provides information regarding the important level of the highlighted regions. The proposed model can be easily adapted in a wide variety of modern deep models, where classification is involved. It is also more accurate, faster, and with a smaller memory footprint than usual neural attention modules. Extensive experiments showcase more comprehensive visual explanations compared to the state-of-the-art visualization model across multiple tasks including few-shot classification, person re-identification, fine-grained image classification. The proposed visualization model sheds imperative light on how neural networks `pay their attention' differently in different tasks.
• Abstract（参考訳）: 注意機構の利用頻度は、注意分布の解釈可能性に懸念を抱いている。 モデルがどのように動作しているかについての洞察を提供するが、モデル予測の説明として注意をあてはめることは、まだ非常に疑わしい。 コミュニティは、最終決定に最も寄与する地域活動地域をよりよく識別するための、より解釈可能な戦略を模索している。 既存のアテンションモデルの解釈可能性を改善するために,タスク関連情報を取り込む新しいbilinear Representative Non-Parametric Attention(BR-NPA)戦略を提案する。 ターゲットモデルは、まず高分解能中間特徴マップを持つように蒸留される。 そこから、代表的特徴を局所的なペアワイズ特徴類似度に基づいてグループ化し、入力のタスク関連部分を強調したよりきめ細かなより正確な注意マップを生成する。 得られた注意マップは、強調された領域の重要なレベルに関する情報を提供する複合特徴の「アクティブレベル」に従ってランク付けされる。 提案されたモデルは、分類にかかわる様々な現代の深層モデルに容易に適用することができる。 また、通常のニューラルアテンションモジュールよりも正確で高速で、メモリフットプリントも小さい。 大規模な実験では、いくつかのショット分類、人物の再識別、きめ細かい画像分類を含む複数のタスクにわたる最先端の可視化モデルと比較して、より包括的な視覚的説明が示される。 提案する可視化モデルは、異なるタスクでニューラルネットワークが注意を払わなければならないことを示唆する。

関連論文リスト

• Locally Grouped and Scale-Guided Attention for Dense Pest Counting [1.9580473532948401]
  本研究は,デジタルトラップによって捕獲された密集した害虫を予測するための,新たな密集した害虫計数問題を提案する。 これらの問題に対処するためには、局所的な注意機構を組み込むことが不可欠である。 本研究では,局所的なグループ化とスケール誘導による注意をマルチスケールのCenterNetフレームワークに統合する新しい設計を提案する。
  論文  参考訳（メタデータ） (2024-08-29T13:02:01Z)
• Robust Saliency-Aware Distillation for Few-shot Fine-grained Visual Recognition [57.08108545219043]
  サンプルが少ない新しいサブカテゴリを認識することは、コンピュータビジョンにおいて不可欠で挑戦的な研究課題である。 既存の文献は、ローカルベースの表現アプローチを採用することでこの問題に対処している。 本稿では,ロバスト・サリエンシ・アウェア蒸留法(RSaD)を提案する。
  論文  参考訳（メタデータ） (2023-05-12T00:13:17Z)
• Where to Look: A Unified Attention Model for Visual Recognition with Reinforcement Learning [5.247711598719703]
  視覚的注意を繰り返すために,トップダウンとボトムアップを一体化することを提案する。 我々のモデルは、画像ピラミッドとQラーニングを利用して、トップダウンアテンションメカニズムにおける関心領域を選択する。 我々は、エンドツーエンドの強化学習フレームワークでモデルをトレーニングし、視覚的分類タスクにおける手法の評価を行う。
  論文  参考訳（メタデータ） (2021-11-13T18:44:50Z)
• Bayesian Attention Belief Networks [59.183311769616466]
  注意に基づくニューラルネットワークは、幅広いタスクにおいて最先端の結果を得た。 本稿では,非正規化注意重みをモデル化してデコーダネットワークを構築するベイズ的注意信念ネットワークについて紹介する。 提案手法は, 精度, 不確実性推定, ドメイン間の一般化, 敵攻撃において, 決定論的注意と最先端の注意よりも優れていることを示す。
  論文  参考訳（メタデータ） (2021-06-09T17:46:22Z)
• Variational Structured Attention Networks for Deep Visual Representation Learning [49.80498066480928]
  空間的注意マップとチャネル的注意の両方を原則的に共同学習するための統合的深層フレームワークを提案する。 具体的には,確率的表現学習フレームワークに注目度の推定と相互作用を統合する。 ニューラルネットワーク内で推論ルールを実装し,確率パラメータとcnnフロントエンドパラメータのエンドツーエンド学習を可能にする。
  論文  参考訳（メタデータ） (2021-03-05T07:37:24Z)
• Attention-gating for improved radio galaxy classification [0.0]
  本稿では,畳み込みニューラルネットワークを用いた電波銀河の分類技術として注目される。 注意図作成に使用される正規化と集約の方法の選択が個々のモデルの出力にどのように影響するかを示す。 得られたアテンションマップは、モデルによってなされた分類選択を解釈するために使用することができる。
  論文  参考訳（メタデータ） (2020-12-02T14:49:53Z)
• Bayesian Attention Modules [65.52970388117923]
  実装や最適化が容易な,スケーラブルな注目バージョンを提案する。 本実験は,提案手法が対応するベースラインに対して一貫した改善をもたらすことを示す。
  論文  参考訳（メタデータ） (2020-10-20T20:30:55Z)
• Attention Model Enhanced Network for Classification of Breast Cancer Image [54.83246945407568]
  AMENはマルチブランチ方式で、画素ワイドアテンションモデルとサブモジュールの分類で定式化される。 微妙な詳細情報に焦点を合わせるため、サンプル画像は、前枝から生成された画素対応の注目マップによって強化される。 3つのベンチマークデータセットで行った実験は、様々なシナリオにおいて提案手法の優位性を実証している。
  論文  参考訳（メタデータ） (2020-10-07T08:44:21Z)
• Few-shot Classification via Adaptive Attention [93.06105498633492]
  ごく少数の参照サンプルに基づいて,クエリサンプル表現を最適化し,高速に適応する新しい数ショット学習手法を提案する。 実験で実証したように,提案モデルでは,様々なベンチマーク数ショット分類と微粒化認識データセットを用いて,最先端の分類結果を達成している。
  論文  参考訳（メタデータ） (2020-08-06T05:52:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。