論文の概要: Do Transformer Models Show Similar Attention Patterns to Task-Specific Human Gaze?

• arxiv url: http://arxiv.org/abs/2205.10226v1
• Date: Mon, 25 Apr 2022 08:23:13 GMT
• ステータス: 処理完了
• システム内更新日: 2022-05-29 21:19:52.932035
• Title: Do Transformer Models Show Similar Attention Patterns to Task-Specific Human Gaze?
• Title（参考訳）: トランスフォーマーモデルはタスク固有の人間の視線と同じような注意パターンを示すか?
• Authors: Stephanie Brandl, Oliver Eberle, Jonas Pilot, Anders S{\o}gaard
• Abstract要約: 最先端のNLPモデルにおける自己注意機能は、人間の注意と相関することが多い。 本研究では、大規模事前学習言語モデルにおける自己注意が、人間の注意の古典的認知モデルとしての課題読解における人間の眼球固定パターンの予測であるかどうかを検討する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Learned self-attention functions in state-of-the-art NLP models often correlate with human attention. We investigate whether self-attention in large-scale pre-trained language models is as predictive of human eye fixation patterns during task-reading as classical cognitive models of human attention. We compare attention functions across two task-specific reading datasets for sentiment analysis and relation extraction. We find the predictiveness of large-scale pre-trained self-attention for human attention depends on `what is in the tail', e.g., the syntactic nature of rare contexts. Further, we observe that task-specific fine-tuning does not increase the correlation with human task-specific reading. Through an input reduction experiment we give complementary insights on the sparsity and fidelity trade-off, showing that lower-entropy attention vectors are more faithful.
• Abstract（参考訳）: state-of-the-art nlpモデルにおける学習自己注意関数は、しばしば人間の注意と相関する。 大規模事前学習された言語モデルにおける自己着脱が,人間の注意の古典的認知モデルとしてのタスクリーディング中の人間の眼球固定パターンの予測であるかどうかについて検討する。 感情分析と関係抽出のための2つのタスク固有の読書データセットにまたがる注意関数を比較した。 人間の注意に対する大規模事前学習自己注意の予測性は,「尾に何があるか」,例えば希少な文脈の構文的性質に依存する。 さらに、タスク固有の微調整は、ヒューマンタスク固有の読み取りとの相関を増加させないことを観察する。 入力還元実験を通じて、疎密性と忠実性のトレードオフに関する相補的な洞察を与え、低エントロピーの注意ベクトルがより忠実であることを示す。

関連論文リスト

• Look Hear: Gaze Prediction for Speech-directed Human Attention [49.81718760025951]
  本研究は、人物が画像を見て、参照表現を聴いているときの注意の漸進的な予測に焦点を当てた。 我々は,参照表現において各単語が引き起こす人間の定着を予測できるリファラルトランスフォーマーモデル(ART)を開発した。 定量的および定性的な分析では、ARTはスキャンパス予測の既存の手法よりも優れているだけでなく、いくつかの人間の注意パターンを捉えているように見える。
  論文  参考訳（メタデータ） (2024-07-28T22:35:08Z)
• Learning from Observer Gaze:Zero-Shot Attention Prediction Oriented by Human-Object Interaction Recognition [13.956664101032006]
  まず,740種類の相互作用カテゴリの530,000個の固定点を含む,IGという新しい視線固定データセットを収集した。 次に、ゼロショットインタラクション指向の注意予測タスクZeroIAを紹介し、トレーニング中に遭遇しないインタラクションに対する視覚的手がかりを予測するモデルに挑戦する。 第3に、人間観測者の認知過程をエミュレートしてZeroIA問題に取り組むための対話型注意モデルIAを提案する。
  論文  参考訳（メタデータ） (2024-05-16T09:34:57Z)
• Closely Interactive Human Reconstruction with Proxemics and Physics-Guided Adaption [64.07607726562841]
  既存の人間再建アプローチは主に、正確なポーズの回復や侵入を避けることに焦点を当てている。 本研究では,モノクロ映像から密に対話的な人間を再構築する作業に取り組む。 本稿では,視覚情報の欠如を補うために,確率的行動や物理からの知識を活用することを提案する。
  論文  参考訳（メタデータ） (2024-04-17T11:55:45Z)
• Seeing Eye to AI: Comparing Human Gaze and Model Attention in Video Memorability [21.44002657362493]
  我々は,ビデオの暗記性予測において,時間的注意をTASo(State-of-the-art)のパフォーマンスに合わせることなく特徴を解析できる,シンプルなCNN+Transformerアーキテクチャを採用する。 本研究は,ヒトが記憶課題を遂行する視線追跡研究を通じて,人間の定着に対するモデル注意度を比較した。
  論文  参考訳（メタデータ） (2023-11-26T05:14:06Z)
• Attention cannot be an Explanation [99.37090317971312]
  私たちは、人間の信頼と信頼を高める上で、注意に基づく説明がどの程度効果的か尋ねる。 我々は,注意に基づく説明が適している程度を質的かつ定量的に評価することを目的とした広範囲な人間実験を行った。 実験の結果,注意は説明として利用できないことが明らかとなった。
  論文  参考訳（メタデータ） (2022-01-26T21:34:05Z)
• Understanding top-down attention using task-oriented ablation design [0.22940141855172028]
  トップダウンの注目により、ニューラルネットワークは、人工的および生物学的の両方において、与えられたタスクに最も関連性の高い情報に集中することができる。 我々は,タスク指向アブレーション設計と呼ばれる一般的なフレームワークに基づく計算実験により,この問題に対処することを目指している。 2つのニューラルネットワークの性能を比較する。
  論文  参考訳（メタデータ） (2021-06-08T21:01:47Z)
• Is Sparse Attention more Interpretable? [52.85910570651047]
  我々は,空間が注意力を説明可能性ツールとして活用する能力にどのように影響するかを検討する。 入力とインデックス付き中間表現の間には弱い関係しか存在しません。 この設定では、疎度を誘導することで、モデルの振る舞いを理解するためのツールとして注意が使用できることが、より確実になる可能性があることを観察する。
  論文  参考訳（メタデータ） (2021-06-02T11:42:56Z)
• Gaze Perception in Humans and CNN-Based Model [66.89451296340809]
  cnn(convolutional neural network)ベースの視線モデルと,実世界の映像における注意の軌跡を人間がどのように推定するかを比較した。 モデルと比較すると,注目点の人間推定はシーンの文脈に強く影響していることが示される。
  論文  参考訳（メタデータ） (2021-04-17T04:52:46Z)
• SparseBERT: Rethinking the Importance Analysis in Self-attention [107.68072039537311]
  トランスフォーマーベースのモデルは、その強力な能力のために自然言語処理(NLP)タスクに人気がある。 事前学習モデルの注意マップの可視化は,自己着脱機構を理解するための直接的な方法の一つである。 本研究では,sparsebert設計の指導にも適用可能な微分可能アテンションマスク(dam)アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-02-25T14:13:44Z)
• Attention Flows: Analyzing and Comparing Attention Mechanisms in Language Models [5.866941279460248]
  注意に基づく言語モデルにおける微調整を理解するための視覚分析手法を提案する。 私たちの視覚化であるAttention Flowsは、Transformerベースの言語モデルにおいて、レイヤ内のクエリ、トレース、関心の比較をサポートするように設計されています。
  論文  参考訳（メタデータ） (2020-09-03T19:56:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。