論文の概要: Interpreting Attention Models with Human Visual Attention in Machine Reading Comprehension

• arxiv url: http://arxiv.org/abs/2010.06396v2
• Date: Tue, 27 Oct 2020 14:47:51 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-07 23:38:34.794481
• Title: Interpreting Attention Models with Human Visual Attention in Machine Reading Comprehension
• Title（参考訳）: 機械読解における人間の視覚注意による注意モデル解釈
• Authors: Ekta Sood, Simon Tannert, Diego Frassinelli, Andreas Bulling and Ngoc Thang Vu
• Abstract要約: 機械読解における人間の視覚的注意と神経的注意の関係について検討する。 長寿命メモリ(LSTM)、畳み込みニューラルモデル(CNN)、XLNetトランスフォーマーアーキテクチャに基づくアートネットワークの状態を比較する。
• 参考スコア（独自算出の注目度）: 32.27600668393344
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: While neural networks with attention mechanisms have achieved superior performance on many natural language processing tasks, it remains unclear to which extent learned attention resembles human visual attention. In this paper, we propose a new method that leverages eye-tracking data to investigate the relationship between human visual attention and neural attention in machine reading comprehension. To this end, we introduce a novel 23 participant eye tracking dataset - MQA-RC, in which participants read movie plots and answered pre-defined questions. We compare state of the art networks based on long short-term memory (LSTM), convolutional neural models (CNN) and XLNet Transformer architectures. We find that higher similarity to human attention and performance significantly correlates to the LSTM and CNN models. However, we show this relationship does not hold true for the XLNet models -- despite the fact that the XLNet performs best on this challenging task. Our results suggest that different architectures seem to learn rather different neural attention strategies and similarity of neural to human attention does not guarantee best performance.
• Abstract（参考訳）: 注意機構を持つニューラルネットワークは多くの自然言語処理タスクにおいて優れた性能を達成しているが、学習された注意が人間の視覚的注意にどの程度似ているかは定かではない。 本稿では,視線追跡データを用いて,機械読解における人間の視覚注意と神経注意の関係を調べる新しい手法を提案する。 そこで本研究では,23人の被験者による視線追跡データセット MQA-RC を導入し,映像のプロットを読み,事前に定義された質問に回答する。 我々は,long short-term memory (lstm), convolutional neural models (cnn), xlnet transformersに基づくアートネットワークの状態を比較検討した。 人間の注意と性能との類似性がLSTMモデルとCNNモデルと大きく相関していることが判明した。 しかしながら、この関係はXLNetモデルには当てはまりません。 我々の結果は、異なるアーキテクチャは、かなり異なる神経注意戦略を学習し、神経と人間の注意の類似性は、最高のパフォーマンスを保証していないことを示唆している。

関連論文リスト

• Towards Scalable and Versatile Weight Space Learning [51.78426981947659]
  本稿では,重み空間学習におけるSANEアプローチを紹介する。 ニューラルネットワーク重みのサブセットの逐次処理に向けて,超表現の概念を拡張した。
  論文  参考訳（メタデータ） (2024-06-14T13:12:07Z)
• Spiking representation learning for associative memories [0.0]
  本稿では、教師なし表現学習と連想記憶操作を行う新しい人工スパイクニューラルネットワーク(SNN)を提案する。 モデルの構造は新皮質列状構造から派生し,隠れた表現を学習するためのフィードフォワードプロジェクションと,連想記憶を形成するための繰り返しプロジェクションを組み合わせたものである。
  論文  参考訳（メタデータ） (2024-06-05T08:30:11Z)
• Graph Neural Networks for Learning Equivariant Representations of Neural Networks [55.04145324152541]
  本稿では,ニューラルネットワークをパラメータの計算グラフとして表現することを提案する。 我々のアプローチは、ニューラルネットワークグラフを多種多様なアーキテクチャでエンコードする単一モデルを可能にする。 本稿では,暗黙的ニューラル表現の分類や編集など,幅広いタスクにおける本手法の有効性を示す。
  論文  参考訳（メタデータ） (2024-03-18T18:01:01Z)
• Super Consistency of Neural Network Landscapes and Learning Rate Transfer [72.54450821671624]
  我々は、失われたヘッセンのレンズを通して風景を研究する。 我々は、$mu$P のスペクトル特性がネットワークの大きさに大きく依存していることを発見した。 ニューラルタンジェントカーネル(NTK)や他のスケーリングシステムでは、シャープネスは異なるスケールで非常に異なるダイナミクスを示す。
  論文  参考訳（メタデータ） (2024-02-27T12:28:01Z)
• Self-Supervised Implicit Attention: Guided Attention by The Model Itself [1.3406858660972554]
  我々は、深層ニューラルネットワークモデルに適応的に誘導し、モデル自体の特性を活用する新しいアプローチである、自己監視インシシット注意(SSIA:Self-Supervised Implicit Attention)を提案する。 SSIAAは、推論中に余分なパラメータ、計算、メモリアクセスコストを必要としない新しいアテンションメカニズムである。 私たちの実装はGitHubで公開されます。
  論文  参考訳（メタデータ） (2022-06-15T10:13:34Z)
• Visual Attention Network [90.0753726786985]
  本稿では,自己アテンションにおける自己適応性および長距離相関を実現するために,新しいカーネルアテンション(LKA)モジュールを提案する。 また、LKAに基づく新しいニューラルネットワーク、すなわちVisual Attention Network (VAN)を導入する。 VANは、最先端のビジョントランスフォーマーと畳み込みニューラルネットワークを、広範な実験において大きなマージンで上回ります。
  論文  参考訳（メタデータ） (2022-02-20T06:35:18Z)
• Dynamic Gesture Recognition [0.0]
  従来のコンピュータビジョンアルゴリズムの代わりに、機械学習を使って画像や動画を分類することができる。 このプロジェクトの目的は、畳み込みニューラルネットワーク(CNN)とリカレントニューラルネットワーク(RNN)の共生を構築することである。
  論文  参考訳（メタデータ） (2021-09-20T09:45:29Z)
• Are Convolutional Neural Networks or Transformers more like human vision? [9.83454308668432]
  視覚タスクにおけるCNNよりも注意に基づくネットワークの方が精度が高いことを示す。 これらの結果は、人間の視覚モデルの構築だけでなく、人間の視覚的物体認識の理解にも影響を及ぼす。
  論文  参考訳（メタデータ） (2021-05-15T10:33:35Z)
• Scene Understanding for Autonomous Driving [0.0]
  Detectron2で提示されたRetinaNet, Faster R-CNN, Mask R-CNNの異なる構成の挙動を検討する。 関心のあるデータセット上でこれらのモデルを微調整した後、パフォーマンスの大幅な改善を観察します。 文脈外のデータセットを用いて異常な状況下で推論を行い、興味深い結果を示す。
  論文  参考訳（メタデータ） (2021-05-11T09:50:05Z)
• A journey in ESN and LSTM visualisations on a language task [77.34726150561087]
  我々は,CSL(Cross-Situationnal Learning)タスクでESNとLSTMを訓練した。 その結果, 性能比較, 内部力学解析, 潜伏空間の可視化の3種類が得られた。
  論文  参考訳（メタデータ） (2020-12-03T08:32:01Z)
• Attentive Graph Neural Networks for Few-Shot Learning [74.01069516079379]
  グラフニューラルネットワーク(GNN)は、数ショットの学習タスクを含む多くの困難なアプリケーションにおいて、優れたパフォーマンスを示している。 少数のサンプルからモデルを学習し、一般化する能力があるにもかかわらず、GNNは通常、モデルが深くなるにつれて、過度な過度な適合と過度なスムーシングに悩まされる。 本稿では,三重注意機構を組み込むことにより,これらの課題に対処するための新しい注意型GNNを提案する。
  論文  参考訳（メタデータ） (2020-07-14T07:43:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。