論文の概要: A Study on How Attention Scores in the BERT Model are Aware of Lexical Categories in Syntactic and Semantic Tasks on the GLUE Benchmark

• arxiv url: http://arxiv.org/abs/2403.16447v1
• Date: Mon, 25 Mar 2024 06:18:18 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-26 15:47:46.365638
• Title: A Study on How Attention Scores in the BERT Model are Aware of Lexical Categories in Syntactic and Semantic Tasks on the GLUE Benchmark
• Title（参考訳）: GLUEベンチマークの構文的および意味的タスクにおける語彙カテゴリに対するBERTモデルの注意スコアの認識に関する研究
• Authors: Dongjun Jang, Sungjoo Byun, Hyopil Shin,
• Abstract要約: 本研究では,下流タスクの微調整過程において,BERTモデルのトークン間の注意スコアが語彙カテゴリによって大きく異なるかを検討する。 本仮説は, 意味情報を優先する下流作業においては, 内容語を中心とした注意スコアが強化され, 統語的情報を重視する場合には, 機能語を中心とした注意スコアが強化されることを示唆する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: This study examines whether the attention scores between tokens in the BERT model significantly vary based on lexical categories during the fine-tuning process for downstream tasks. Drawing inspiration from the notion that in human language processing, syntactic and semantic information is parsed differently, we categorize tokens in sentences according to their lexical categories and focus on changes in attention scores among these categories. Our hypothesis posits that in downstream tasks that prioritize semantic information, attention scores centered on content words are enhanced, while in cases emphasizing syntactic information, attention scores centered on function words are intensified. Through experimentation conducted on six tasks from the GLUE benchmark dataset, we substantiate our hypothesis regarding the fine-tuning process. Furthermore, our additional investigations reveal the presence of BERT layers that consistently assign more bias to specific lexical categories, irrespective of the task, highlighting the existence of task-agnostic lexical category preferences.
• Abstract（参考訳）: 本研究では,下流タスクの微調整過程において,BERTモデルのトークン間の注意スコアが語彙カテゴリによって大きく異なるかを検討する。 人間の言語処理において、構文情報と意味情報は異なるパースされるという概念から着想を得た上で、それらの語彙カテゴリーに応じて文中のトークンを分類し、これらのカテゴリ間の注意点の変化に焦点を当てる。 本仮説は, 意味情報を優先する下流作業においては, 内容語を中心とした注意スコアが強化され, 統語的情報を重視する場合には, 機能語を中心とした注意スコアが強化されることを示唆する。 GLUEベンチマークデータセットから6つのタスクを実験することにより、微調整プロセスに関する仮説を裏付ける。 さらに,タスクによらず,特定の語彙カテゴリーに偏りを常に割り当てるBERT層の存在を明らかにし,課題非依存の語彙カテゴリー選好の存在を強調した。

関連論文リスト

• A Visual Interpretation-Based Self-Improved Classification System Using Virtual Adversarial Training [4.722922834127293]
  本稿では,仮想対人訓練(VAT)とBERTモデルを組み合わせた視覚的解釈に基づく自己改善型分類モデルを提案する。 具体的には、テキストの感情を分類するための分類器として、微調整のBERTモデルを用いる。 予測された感情分類ラベルは、半教師付き訓練方法によるスパム分類のための別のBERTの入力の一部として使用される。
  論文  参考訳（メタデータ） (2023-09-03T15:07:24Z)
• Measuring Spurious Correlation in Classification: 'Clever Hans' in Translationese [11.478503501597967]
  トピックベースの素早い相関に注目し,2つの方向から質問にアプローチする。 本研究では,教師なしトピックと対象分類ラベルとのアライメントを指標として,データ中の素早いトピック情報の表示方法を開発した。 本手法はクラスタリングにおける純度と同一であることを示し,分類のための「トピックフロア」(「ノイズフロア」など)を提案する。
  論文  参考訳（メタデータ） (2023-08-25T04:19:58Z)
• Simple Linguistic Inferences of Large Language Models (LLMs): Blind Spots and Blinds [59.71218039095155]
  我々は,ほとんどの人間が自明に感じる単純な推論タスクにおいて,言語理解能力を評価する。 我々は, (i) 文法的に特定された含意, (ii) 不確実性のある明らかな副詞を持つ前提, (iii) 単調性含意を目標とする。 モデルはこれらの評価セットに対して中程度から低い性能を示す。
  論文  参考訳（メタデータ） (2023-05-24T06:41:09Z)
• Advancing Incremental Few-shot Semantic Segmentation via Semantic-guided Relation Alignment and Adaptation [98.51938442785179]
  増分的な数ショットセマンティックセマンティックセマンティクスは、セマンティクスセマンティクスモデルを新しいクラスに漸進的に拡張することを目的としている。 このタスクは、データ不均衡のため、ベースクラスと新しいクラスの間で深刻な意味認識の問題に直面します。 本稿では,従来の意味情報のガイダンスを完全に考慮した意味誘導型関係調整適応法を提案する。
  論文  参考訳（メタデータ） (2023-05-18T10:40:52Z)
• Association Graph Learning for Multi-Task Classification with Category Shifts [68.58829338426712]
  関連する分類タスクが同じラベル空間を共有し、同時に学習されるマルチタスク分類に焦点を当てる。 我々は、不足クラスのためのタスク間で知識を伝達する関連グラフを学習する。 我々の手法は代表的基準よりも一貫して性能が良い。
  論文  参考訳（メタデータ） (2022-10-10T12:37:41Z)
• Conditional Supervised Contrastive Learning for Fair Text Classification [59.813422435604025]
  対照的な学習を通してテキスト分類のための等化オッズとして知られる公平性の概念を満たす学習公正表現について研究する。 具体的には、まず、公正性制約のある学習表現と条件付き教師付きコントラスト目的との間の関係を理論的に分析する。
  論文  参考訳（メタデータ） (2022-05-23T17:38:30Z)
• Exploring the Role of BERT Token Representations to Explain Sentence Probing Results [15.652077779677091]
  BERTは特定のトークン表現において有意義な知識をエンコードする傾向にあることを示す。 これにより、シンタクティックとセマンティックの異常を検出し、文法的数とテンソル部分空間を一意に分離することができる。
  論文  参考訳（メタデータ） (2021-04-03T20:40:42Z)
• Multitask Learning for Class-Imbalanced Discourse Classification [74.41900374452472]
  マルチタスクアプローチは,現在のベンチマークで7%のマイクロf1コアを改善できることを示す。 また,NLPにおける資源不足問題に対処するための追加手法の比較検討を行った。
  論文  参考訳（メタデータ） (2021-01-02T07:13:41Z)
• Improving BERT with Syntax-aware Local Attention [14.70545694771721]
  そこで本研究では,構文構造における距離を対象とする局所的注意度(局所注意度)を提案する。 文分類やシーケンスラベリングタスクなど,シングルセンテンスベンチマークの各種実験を行った。 我々のモデルは、構文的に関連のある単語により注意を払って、より良いパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2020-12-30T13:29:58Z)
• Weakly-Supervised Aspect-Based Sentiment Analysis via Joint Aspect-Sentiment Topic Embedding [71.2260967797055]
  アスペクトベース感情分析のための弱教師付きアプローチを提案する。 We learn sentiment, aspects> joint topic embeddeds in the word embedding space。 次に、ニューラルネットワークを用いて単語レベルの識別情報を一般化する。
  論文  参考訳（メタデータ） (2020-10-13T21:33:24Z)
• Comparative Analysis of Text Classification Approaches in Electronic Health Records [0.6229951975208341]
  各種単語表現, テキスト前処理, 分類アルゴリズムが4種類のテキスト分類タスクの性能に与える影響を解析する。 その結果、従来のアプローチは、特定の言語や、分類タスクに固有のテキストの構造に合わせると、より最近のものの性能を達成または超えることができることがわかった。
  論文  参考訳（メタデータ） (2020-05-08T14:04:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。