論文の概要: Does Attention Mechanism Possess the Feature of Human Reading? A
Perspective of Sentiment Classification Task
- arxiv url: http://arxiv.org/abs/2209.03557v1
- Date: Thu, 8 Sep 2022 04:19:48 GMT
- ステータス: 処理完了
- システム内更新日: 2022-09-09 13:14:17.497990
- Title: Does Attention Mechanism Possess the Feature of Human Reading? A
Perspective of Sentiment Classification Task
- Title（参考訳）: 注意メカニズムは人間の読書の特徴を持っているか?
感性分類タスクの展望
- Authors: Lei Zhao, Yingyi Zhang, Chengzhi Zhang
- Abstract要約: 注意機構は、形容詞、副詞、感情語などの重要な単語に焦点を合わせることができる。
視線追跡値は、注意機構がこの誤差を補正し、モデル性能を改善するのに役立つ。
- 参考スコア（独自算出の注目度）: 14.784515722832491
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: [Purpose] To understand the meaning of a sentence, humans can focus on
important words in the sentence, which reflects our eyes staying on each word
in different gaze time or times. Thus, some studies utilize eye-tracking values
to optimize the attention mechanism in deep learning models. But these studies
lack to explain the rationality of this approach. Whether the attention
mechanism possesses this feature of human reading needs to be explored.
[Design/methodology/approach] We conducted experiments on a sentiment
classification task. Firstly, we obtained eye-tracking values from two
open-source eye-tracking corpora to describe the feature of human reading.
Then, the machine attention values of each sentence were learned from a
sentiment classification model. Finally, a comparison was conducted to analyze
machine attention values and eye-tracking values. [Findings] Through
experiments, we found the attention mechanism can focus on important words,
such as adjectives, adverbs, and sentiment words, which are valuable for
judging the sentiment of sentences on the sentiment classification task. It
possesses the feature of human reading, focusing on important words in
sentences when reading. Due to the insufficient learning of the attention
mechanism, some words are wrongly focused. The eye-tracking values can help the
attention mechanism correct this error and improve the model performance.
[Originality/value] Our research not only provides a reasonable explanation for
the study of using eye-tracking values to optimize the attention mechanism, but
also provides new inspiration for the interpretability of attention mechanism.
- Abstract（参考訳）: [目的]文の意味を理解するために、人間は文の中の重要な単語に集中することができる。
このように、深層学習モデルの注意機構を最適化するために、視線追跡値を利用する研究もある。
しかしこれらの研究は、このアプローチの合理性を説明できない。
注意メカニズムが人間の読みのこの特徴を持っているかどうかを検討する必要がある。
[設計・方法論・アプローチ]感情分類タスクの実験を行った。
まず,2つのオープンソースアイトラッキングコーパスから視線追跡値を取得し,人間の読書の特徴を記述した。
次に、感情分類モデルから各文の機械的注意値を学習した。
最後に、機械の注意値と視線追跡値を分析するために比較を行った。
[フィンディング] 実験により, 感情分類課題における文の感情を判断するのに有用な形容詞, 副詞, 感情語などの重要な単語に注目する機構が得られた。
人間の読書の特徴を持ち、読むときの重要な単語に焦点をあてる。
注意機構の学習不足のため、一部の単語は誤って焦点を合わせている。
視線追跡値は注意機構がこの誤りを修正し、モデル性能を改善するのに役立つ。
本研究は,視線追跡値を用いた注意機構の最適化だけでなく,注意機構の解釈可能性に新たなインスピレーションを与えるための合理的な説明を提供する。
関連論文リスト
- Look Hear: Gaze Prediction for Speech-directed Human Attention [49.81718760025951]
本研究は、人物が画像を見て、参照表現を聴いているときの注意の漸進的な予測に焦点を当てた。
我々は,参照表現において各単語が引き起こす人間の定着を予測できるリファラルトランスフォーマーモデル(ART)を開発した。
定量的および定性的な分析では、ARTはスキャンパス予測の既存の手法よりも優れているだけでなく、いくつかの人間の注意パターンを捉えているように見える。
論文 参考訳（メタデータ） (2024-07-28T22:35:08Z) - Caregiver Talk Shapes Toddler Vision: A Computational Study of Dyadic
Play [8.164232628099619]
本稿では, ディヤドプレイにおける視覚表現学習の計算モデルを提案する。
実介護者の統計値に一致した発話は, カテゴリー認識の改善を支援する表現を生じさせることを示す。
論文 参考訳（メタデータ） (2023-12-07T08:18:40Z) - Perturbation-based Self-supervised Attention for Attention Bias in Text
Classification [31.144857032681905]
本稿では,摂動に基づく自己監督型アテンションアプローチを提案し,注意学習の指導を行う。
文中のすべての単語に、その意味や予測を変えることなく、可能な限り多くのノイズを加えます。
3つのテキスト分類タスクの実験結果から,本手法は現在の注目モデルの性能を大幅に向上させることができることが示された。
論文 参考訳（メタデータ） (2023-05-25T03:18:18Z) - Eyettention: An Attention-based Dual-Sequence Model for Predicting Human
Scanpaths during Reading [3.9766585251585282]
我々は、単語列と時間列の固定を同時に処理する最初の二重系列モデルであるEyettentionを開発する。
スキャンパスの予測において、Eyettentionは最先端のモデルよりも優れていることを示す。
論文 参考訳（メタデータ） (2023-04-21T07:26:49Z) - Seeking Subjectivity in Visual Emotion Distribution Learning [93.96205258496697]
視覚感情分析(VEA)は、人々の感情を異なる視覚刺激に向けて予測することを目的としている。
既存の手法では、集団投票プロセスにおいて固有の主観性を無視して、統合されたネットワークにおける視覚的感情分布を予測することが多い。
視覚的感情分布の主観性を調べるために,新しいテキストサブジェクティビティ評価ネットワーク(SAMNet)を提案する。
論文 参考訳（メタデータ） (2022-07-25T02:20:03Z) - Do Transformer Models Show Similar Attention Patterns to Task-Specific
Human Gaze? [0.0]
最先端のNLPモデルにおける自己注意機能は、人間の注意と相関することが多い。
本研究では、大規模事前学習言語モデルにおける自己注意が、人間の注意の古典的認知モデルとしての課題読解における人間の眼球固定パターンの予測であるかどうかを検討する。
論文 参考訳（メタデータ） (2022-04-25T08:23:13Z) - Attention Mechanisms in Computer Vision: A Survey [75.6074182122423]
本稿では,コンピュータビジョンにおける様々な注意機構について概観する。
チャネルアテンション,空間アテンション,時間アテンション,分岐アテンションなど,アプローチによって分類する。
我々は注意機構研究の今後の方向性を提案する。
論文 参考訳（メタデータ） (2021-11-15T09:18:40Z) - Counterfactual Attention Learning for Fine-Grained Visual Categorization
and Re-identification [101.49122450005869]
本稿では,因果推論に基づくより効果的な注意力学習法を提案する。
具体的には,学習した視覚的注意がネットワーク予測に与える影響を分析する。
本手法は,広範囲の粒度認識タスクにおいて評価する。
論文 参考訳（メタデータ） (2021-08-19T14:53:40Z) - My Teacher Thinks The World Is Flat! Interpreting Automatic Essay
Scoring Mechanism [71.34160809068996]
最近の研究では、自動スコアリングシステムが常識的な敵対的サンプルになりやすいことが示されています。
近年の解釈能力の進歩を活かし,コヒーレンスやコンテント,関連性といった特徴がスコアリングの自動化にどの程度重要であるかを見出す。
また、モデルが意味的に世界知識や常識に基づかないことから、世界のような虚偽の事実を追加することは、それを減らすよりもむしろスコアを増加させる。
論文 参考訳（メタデータ） (2020-12-27T06:19:20Z) - Attention Flows: Analyzing and Comparing Attention Mechanisms in
Language Models [5.866941279460248]
注意に基づく言語モデルにおける微調整を理解するための視覚分析手法を提案する。
私たちの視覚化であるAttention Flowsは、Transformerベースの言語モデルにおいて、レイヤ内のクエリ、トレース、関心の比較をサポートするように設計されています。
論文 参考訳（メタデータ） (2020-09-03T19:56:30Z) - Salience Estimation with Multi-Attention Learning for Abstractive Text
Summarization [86.45110800123216]
テキスト要約のタスクでは、単語、フレーズ、文のサリエンス推定が重要な要素である。
本稿では,サラレンス推定のための2つの新しい注目学習要素を含むマルチアテンション学習フレームワークを提案する。
論文 参考訳（メタデータ） (2020-04-07T02:38:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。