論文の概要: Acceptability Judgements via Examining the Topology of Attention Maps

• arxiv url: http://arxiv.org/abs/2205.09630v1
• Date: Thu, 19 May 2022 15:45:12 GMT
• ステータス: 処理完了
• システム内更新日: 2022-05-20 20:20:51.025569
• Title: Acceptability Judgements via Examining the Topology of Attention Maps
• Title（参考訳）: アテンションマップのトポロジーの検討による受容性判定
• Authors: Daniil Cherniavskii, Eduard Tulchinskii, Vladislav Mikhailov, Irina Proskurina, Laida Kushnareva, Ekaterina Artemova, Serguei Barannikov, Irina Piontkovskaya, Dmitri Piontkovski, Evgeny Burnaev
• Abstract要約: 注意グラフの幾何学的特性は、言語学における2つの標準的な実践のために効率的に活用できることを示す。 トポロジ的特徴は、3つの言語におけるCoLAのBERTベースのアクセプティビリティスコアを8ドルから24ドルに向上させる。
• 参考スコア（独自算出の注目度）: 10.941370131582605
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The role of the attention mechanism in encoding linguistic knowledge has received special interest in NLP. However, the ability of the attention heads to judge the grammatical acceptability of a sentence has been underexplored. This paper approaches the paradigm of acceptability judgments with topological data analysis (TDA), showing that the geometric properties of the attention graph can be efficiently exploited for two standard practices in linguistics: binary judgments and linguistic minimal pairs. Topological features enhance the BERT-based acceptability classifier scores by $8$%-$24$% on CoLA in three languages (English, Italian, and Swedish). By revealing the topological discrepancy between attention maps of minimal pairs, we achieve the human-level performance on the BLiMP benchmark, outperforming nine statistical and Transformer LM baselines. At the same time, TDA provides the foundation for analyzing the linguistic functions of attention heads and interpreting the correspondence between the graph features and grammatical phenomena.
• Abstract（参考訳）: 言語知識のエンコーディングにおける注意機構の役割は、特にnlpに注目されている。 しかし, 文の文法的受容性を判断する上で, 注意を向ける能力は過小評価されている。 本稿では、トポロジカルデータ分析(TDA)を用いた受理性判定のパラダイムにアプローチし、言語学における2つの標準実践において、注目グラフの幾何学的性質を効率的に活用できることを示す。 トポロジ的特徴は、3つの言語(英語、イタリア語、スウェーデン語)のCoLAでBERTベースのアクセプティビリティ分類器のスコアを8ドルから24ドル%向上させる。 最小対のアテンションマップ間のトポロジ的差異を明らかにすることで,BLiMPベンチマークにおける人間レベルの性能が9つの統計およびトランスフォーマーLMベースラインを上回った。 同時に、tdaは注意ヘッドの言語機能を分析し、グラフの特徴と文法現象の対応を解釈するための基礎を提供する。

関連論文リスト

• Distinguishing Translations by Human, NMT, and ChatGPT: A Linguistic and Statistical Approach [1.6982207802596105]
  本研究では,(1)NMTとヒト翻訳(HT)からのChatGPT生成翻訳の識別可能性,(2)翻訳タイプの言語的特徴,(3)ChatGPT生成翻訳とHT,あるいはNMTとの類似度について検討する。
  論文  参考訳（メタデータ） (2023-12-17T15:56:05Z)
• Can Linguistic Knowledge Improve Multimodal Alignment in Vision-Language Pretraining? [34.609984453754656]
  本研究の目的は,意味表現や構文構造を含む包括的言語知識がマルチモーダルアライメントに与える影響を明らかにすることである。 具体的には、最初の大規模マルチモーダルアライメント探索ベンチマークであるSNAREを設計、リリースする。
  論文  参考訳（メタデータ） (2023-08-24T16:17:40Z)
• Disco-Bench: A Discourse-Aware Evaluation Benchmark for Language Modelling [70.23876429382969]
  本研究では,多種多様なNLPタスクに対して,文内談話特性を評価できるベンチマークを提案する。 ディスコ・ベンチは文学領域における9つの文書レベルのテストセットから構成されており、豊富な談話現象を含んでいる。 また,言語分析のために,対象モデルが談話知識を学習するかどうかを検証できる診断テストスイートを設計する。
  論文  参考訳（メタデータ） (2023-07-16T15:18:25Z)
• Automatic Readability Assessment for Closely Related Languages [6.233117407988574]
  この研究は、相互の知性や言語関連度などの言語的側面が、低リソース環境でのARAをどのように改善できるかに焦点を当てる。 フィリピン・タガログ語・ビコル語・セブアーノ語の3言語で書かれた短い記事を収集し,読みやすさ評価モデルを構築した。 本研究は, 相互信頼度の高い言語にn-gram重み付けを適用した新たな機能であるCrossNGOの導入により, ARAモデルの性能が大幅に向上したことを示す。
  論文  参考訳（メタデータ） (2023-05-22T20:42:53Z)
• Discourse Centric Evaluation of Machine Translation with a Densely Annotated Parallel Corpus [82.07304301996562]
  本稿では,江らが導入した大規模並列コーパスBWBに基づいて,リッチな談話アノテーションを用いた新しいデータセットを提案する。 ソース言語とターゲット言語の談話構造と類似点と相違点について検討する。 我々はMT出力が人間の翻訳と基本的に異なることを発見した。
  論文  参考訳（メタデータ） (2023-05-18T17:36:41Z)
• Can BERT eat RuCoLA? Topological Data Analysis to Explain [3.9775243265158076]
  本稿では,アクセシビリティ分類のためのトランスフォーマー言語モデル (LM) の微調整について検討する。 我々は、注意行列から有向注意グラフを構築し、それらから位相的特徴を導出し、それらを線形分類器に供給する。 そこで本研究では,TDAに基づく分類器が微調整ベースラインよりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-04-04T10:11:06Z)
• Investigating Fairness Disparities in Peer Review: A Language Model Enhanced Approach [77.61131357420201]
  我々は、大規模言語モデル(LM)の助けを借りて、ピアレビューにおける公平性格差の徹底した厳密な研究を行う。 我々は、2017年から現在までのICLR(International Conference on Learning Representations)カンファレンスで、包括的なリレーショナルデータベースを収集、組み立て、維持しています。 我々は、著作者性別、地理、著作者、機関的名声など、興味のある複数の保護属性に対する公平性の違いを仮定し、研究する。
  論文  参考訳（メタデータ） (2022-11-07T16:19:42Z)
• Multitask Learning for Class-Imbalanced Discourse Classification [74.41900374452472]
  マルチタスクアプローチは,現在のベンチマークで7%のマイクロf1コアを改善できることを示す。 また,NLPにおける資源不足問題に対処するための追加手法の比較検討を行った。
  論文  参考訳（メタデータ） (2021-01-02T07:13:41Z)
• Improving BERT with Syntax-aware Local Attention [14.70545694771721]
  そこで本研究では,構文構造における距離を対象とする局所的注意度(局所注意度)を提案する。 文分類やシーケンスラベリングタスクなど,シングルセンテンスベンチマークの各種実験を行った。 我々のモデルは、構文的に関連のある単語により注意を払って、より良いパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2020-12-30T13:29:58Z)
• NEMO: Frequentist Inference Approach to Constrained Linguistic Typology Feature Prediction in SIGTYP 2020 Shared Task [83.43738174234053]
  タイプ的特徴間の相関関係を表現するために頻繁な推論を用い、この表現を用いて、個々の特徴を予測する単純なマルチクラス推定器を訓練する。 テスト言語149言語に対して,マイクロ平均精度0.66を達成できた。
  論文  参考訳（メタデータ） (2020-10-12T19:25:43Z)
• Predicting the Humorousness of Tweets Using Gaussian Process Preference Learning [56.18809963342249]
  本稿では,人間の嗜好判断と言語アノテーションの自動生成を利用して,短文のユーモラスさのランク付けと評価を学習する確率論的アプローチを提案する。 本研究は, HAHA@IberLEF 2019データにおける数値スコアの変換と, 提案手法に必要な判定アノテーションの相互変換から生じる問題点について報告する。
  論文  参考訳（メタデータ） (2020-08-03T13:05:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。