論文の概要: Topic Aware Probing: From Sentence Length Prediction to Idiom Identification how reliant are Neural Language Models on Topic?

• arxiv url: http://arxiv.org/abs/2403.02009v1
• Date: Mon, 4 Mar 2024 13:10:08 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-06 18:47:43.052705
• Title: Topic Aware Probing: From Sentence Length Prediction to Idiom Identification how reliant are Neural Language Models on Topic?
• Title（参考訳）: Topic Aware Probing: 文長予測からイディオム同定へ : ニューラルネットワークモデルがトピックにどの程度依存しているか?
• Authors: Vasudevan Nedumpozhimana, John D. Kelleher
• Abstract要約: 本研究では,トランスフォーマーベースモデル (BERT と RoBERTa の) の性能が,英語における探索課題に与える影響について検討する。 その結果,トランスフォーマーを用いたモデルでは,中間層におけるトピック情報と非トピック情報をエンコードしていることがわかった。 他の標準探索タスクにおけるこれらのモデルの性能分析は、トピック情報に比較的敏感なタスクもまた、これらのモデルにとって比較的難しいタスクであることを示している。
• 参考スコア（独自算出の注目度）: 1.816169926868157
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Transformer-based Neural Language Models achieve state-of-the-art performance on various natural language processing tasks. However, an open question is the extent to which these models rely on word-order/syntactic or word co-occurrence/topic-based information when processing natural language. This work contributes to this debate by addressing the question of whether these models primarily use topic as a signal, by exploring the relationship between Transformer-based models' (BERT and RoBERTa's) performance on a range of probing tasks in English, from simple lexical tasks such as sentence length prediction to complex semantic tasks such as idiom token identification, and the sensitivity of these tasks to the topic information. To this end, we propose a novel probing method which we call topic-aware probing. Our initial results indicate that Transformer-based models encode both topic and non-topic information in their intermediate layers, but also that the facility of these models to distinguish idiomatic usage is primarily based on their ability to identify and encode topic. Furthermore, our analysis of these models' performance on other standard probing tasks suggests that tasks that are relatively insensitive to the topic information are also tasks that are relatively difficult for these models.
• Abstract（参考訳）: トランスフォーマーベースのニューラル言語モデルは、様々な自然言語処理タスクで最先端のパフォーマンスを達成する。 しかし、オープンな疑問は、自然言語処理においてこれらのモデルがワードオーダー/シンタクティックや単語共起/トピックベースの情報に依存する範囲である。 この研究は、文長予測のような単純な語彙的タスクから、慣用的トークン識別のような複雑な意味的タスク、およびこれらのタスクのトピック情報に対する感度まで、トランスフォーマーベースモデル(BERTとRoBERTa)のパフォーマンスと英語での探索タスクとの関係を探求することで、これらのモデルが主にトピックを信号として使用するかどうかという問題に対処する。 そこで本研究では,トピック認識探索と呼ぶ新しい探索法を提案する。 最初の結果から, トランスフォーマティブモデルでは, トピックと非トピックの両方の情報を中間層にエンコードするだけでなく, 慣用的利用を区別するためのこれらのモデルの機能は, 主にトピックを識別しエンコードする能力に基づいていることが示唆された。 さらに,他の標準探索タスクにおけるモデルの性能を解析した結果,トピック情報に比較的敏感なタスクも,モデルに比較的難しいタスクであることが示唆された。

関連論文リスト

• Agentivit\`a e telicit\`a in GilBERTo: implicazioni cognitive [77.71680953280436]
  本研究の目的は,トランスフォーマーに基づくニューラルネットワークモデルが語彙意味論を推論するかどうかを検討することである。 考慮される意味的性質は、テリシティ(定性とも組み合わされる)と作用性である。
  論文  参考訳（メタデータ） (2023-07-06T10:52:22Z)
• Large Language Models Can Be Easily Distracted by Irrelevant Context [29.315230178997002]
  本研究では,モデル解の精度が無関係な文脈によってどのように影響されるかを検討する。 我々は,大規模言語モデルにおける最先端のプロンプト手法の散らかしやすさをベンチマークで測定する。
  論文  参考訳（メタデータ） (2023-01-31T20:48:57Z)
• Topics in Contextualised Attention Embeddings [7.6650522284905565]
  最近の研究で、言語モデルから単語レベルの文脈表現をクラスタ化することは、潜在ディリクレ割当から単語の潜在トピックで見つかる単語クラスタをエミュレートすることを示した。 重要な疑問は、潜在トピックをモデル化するように明示的に設計されていない言語モデルにおいて、そのような話題の単語クラスタが、クラスタリングを通じてどのように自動的に形成されるかである。 BERT と DistilBERT を用いて,このような話題クラスタをモデル化する上で,アテンションフレームワークが重要な役割を担っていることがわかった。
  論文  参考訳（メタデータ） (2023-01-11T07:26:19Z)
• Analyzing the Limits of Self-Supervision in Handling Bias in Language [52.26068057260399]
  我々は、言語モデルが、認識、識別、抽出、言い換えの4つのタスクのセマンティクスをいかにうまく捉えているかを評価する。 分析の結果,言語モデルでは,ジェンダーや政治的アフィリエイトなど,様々なバイアス次元にまたがって,これらのタスクを広範囲にわたって実行することが可能であることが示唆された。
  論文  参考訳（メタデータ） (2021-12-16T05:36:08Z)
• Did the Cat Drink the Coffee? Challenging Transformers with Generalized Event Knowledge [59.22170796793179]
  Transformers Language Models (TLMs) を数学的適合のテクトダイナミックな評価のためのベンチマークで検証した。 以上の結果から, TLM は SDM に匹敵する性能が得られることが示された。 しかし、さらなる分析は、TLMがイベント知識の重要な側面を捉えていないことを一貫して示唆している。
  論文  参考訳（メタデータ） (2021-07-22T20:52:26Z)
• Unnatural Language Inference [48.45003475966808]
  我々は、RoBERTaやBARTのような最先端のNLIモデルは、ランダムに並べ替えられた単語の例に不変であり、時にはよりよく機能することさえあります。 我々の発見は、自然言語理解モデルと、その進捗を測定するために使われるタスクが、本当に人間のような構文理解を必要とするという考えに疑問を投げかけている。
  論文  参考訳（メタデータ） (2020-12-30T20:40:48Z)
• Exploring Software Naturalness through Neural Language Models [56.1315223210742]
  ソフトウェア自然性仮説(Software Naturalness hypothesis)は、自然言語処理で使用されるのと同じ手法でプログラミング言語を理解することができると主張している。 この仮説は,事前学習されたトランスフォーマーベース言語モデルを用いて,コード解析タスクを実行することによって検討する。
  論文  参考訳（メタデータ） (2020-06-22T21:56:14Z)
• Probing the Probing Paradigm: Does Probing Accuracy Entail Task Relevance? [27.64235687067883]
  モデルが訓練されたタスクに必要のないモデルでも,言語特性の符号化を学習できることが示される。 ランダムノイズとしてデータに分散しても,これらの特性を確率レベルよりかなり上まで符号化できることを示す。
  論文  参考訳（メタデータ） (2020-05-02T06:19:20Z)
• Information-Theoretic Probing for Linguistic Structure [74.04862204427944]
  本稿では,相互情報を推定するための情報理論による探索運用手法を提案する。 我々は,NLP研究でしばしば不足している10の型的多様言語について評価した。
  論文  参考訳（メタデータ） (2020-04-07T01:06:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。