論文の概要: SocioProbe: What, When, and Where Language Models Learn about Sociodemographics

• arxiv url: http://arxiv.org/abs/2211.04281v1
• Date: Tue, 8 Nov 2022 14:37:45 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-09 16:10:10.194605
• Title: SocioProbe: What, When, and Where Language Models Learn about Sociodemographics
• Title（参考訳）: SocioProbe: 何、いつ、どこで言語モデルがソシオドモグラフィーについて学ぶか
• Authors: Anne Lauscher, Federico Bianchi, Samuel Bowman, and Dirk Hovy
• Abstract要約: 複数の英語データセットにおける事前学習言語モデル(PLM)の社会デマログラフ的知識について検討する。 以上の結果から, PLMはこれらの社会デマトグラフィーを符号化しており, この知識は, テスト対象のPLMの層に分散していることが示唆された。 以上の結果から,社会学的な知識がNLPにとって依然として大きな課題であることが示唆された。
• 参考スコア（独自算出の注目度）: 31.040600510190732
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Pre-trained language models (PLMs) have outperformed other NLP models on a wide range of tasks. Opting for a more thorough understanding of their capabilities and inner workings, researchers have established the extend to which they capture lower-level knowledge like grammaticality, and mid-level semantic knowledge like factual understanding. However, there is still little understanding of their knowledge of higher-level aspects of language. In particular, despite the importance of sociodemographic aspects in shaping our language, the questions of whether, where, and how PLMs encode these aspects, e.g., gender or age, is still unexplored. We address this research gap by probing the sociodemographic knowledge of different single-GPU PLMs on multiple English data sets via traditional classifier probing and information-theoretic minimum description length probing. Our results show that PLMs do encode these sociodemographics, and that this knowledge is sometimes spread across the layers of some of the tested PLMs. We further conduct a multilingual analysis and investigate the effect of supplementary training to further explore to what extent, where, and with what amount of pre-training data the knowledge is encoded. Our overall results indicate that sociodemographic knowledge is still a major challenge for NLP. PLMs require large amounts of pre-training data to acquire the knowledge and models that excel in general language understanding do not seem to own more knowledge about these aspects.
• Abstract（参考訳）: プレトレーニング言語モデル(PLM)は、様々なタスクにおいて他のNLPモデルよりも優れています。 彼らの能力と内部の働きをより深く理解することを選んだ研究者たちは、文法性のような低レベルの知識と、事実理解のような中レベルの意味的知識をとらえる範囲を確立した。 しかし、言語の高レベルな側面に関する彼らの知識についてはほとんど理解されていない。 特に、言語形成における社会デマログラフ的側面の重要性にもかかわらず、PLMがこれらの側面、例えば性別や年齢をエンコードするかどうかという疑問はいまだに未解決である。 本稿では,従来の分類器と情報理論的最小記述長を用いて,複数の英語データセット上で異なるシングルgpuplmの社会デモグラフィ知識を探索することで,この研究のギャップを解決する。 以上の結果から, PLMはこれらの社会デマトグラフィーを符号化しており, この知識は, テスト対象のPLMの層に分散していることが明らかとなった。 さらに,多言語解析を行い,補足訓練の効果について検討し,知識をエンコードする事前学習データの程度,場所,および量について検討する。 以上の結果から,社会学的な知識がNLPにとって依然として大きな課題であることが示唆された。 PLMは、一般的な言語理解において優れた知識とモデルを取得するために大量の事前学習データを必要とする。

関連論文リスト

• AraSTEM: A Native Arabic Multiple Choice Question Benchmark for Evaluating LLMs Knowledge In STEM Subjects [0.6564819194719582]
  我々は、STEM科目におけるLarge Language Models (LLMs) の知識を評価することを目的とした、アラビア語多目的質問データセットであるAraSTEMを紹介する。 このデータセットはさまざまなレベルのトピックにまたがっており、高い精度を達成するためには、科学的アラビアの深い理解をモデルに示さなければならない。 以上の結果から, 様々なサイズの公開モデルがこのデータセットに苦慮し, より局所的な言語モデルの必要性を浮き彫りにしていることがわかった。
  論文  参考訳（メタデータ） (2024-12-31T17:45:12Z)
• FAC$^2$E: Better Understanding Large Language Model Capabilities by Dissociating Language and Cognition [56.76951887823882]
  大規模言語モデル(LLM)は、主に様々なテキスト理解および生成タスクにおける全体的なパフォーマンスによって評価される。 FAC$2$E, FAC$2$Eについて述べる。
  論文  参考訳（メタデータ） (2024-02-29T21:05:37Z)
• History, Development, and Principles of Large Language Models-An Introductory Survey [15.875687167037206]
  自然言語処理(NLP)の基盤となる言語モデル 数十年にわたる広範な研究を経て、言語モデリングは、初期統計言語モデル(SLM)から、大規模言語モデル(LLM)の現代的景観へと進歩してきた。
  論文  参考訳（メタデータ） (2024-02-10T01:18:15Z)
• Spoken Language Intelligence of Large Language Models for Language Learning [3.1964044595140217]
  教育分野における大規模言語モデル(LLM)の有効性を評価することに注力する。 上記のシナリオにおけるLLMの有効性を評価するために,新しい複数選択質問データセットを提案する。 また,ゼロショット法や少数ショット法など,様々なプロンプト技術の影響についても検討する。 異なる大きさのモデルは、音韻学、音韻学、第二言語習得の概念をよく理解しているが、実世界の問題に対する推論には限界がある。
  論文  参考訳（メタデータ） (2023-08-28T12:47:41Z)
• Do Large Language Models Know What They Don't Know? [74.65014158544011]
  大規模言語モデル(LLM)は、様々な自然言語処理(NLP)タスクに優れた知識を持つ。 膨大な知識にもかかわらず、LLMはそれらが適合し理解できる情報の量によって制限されている。 本研究の目的は,LLMの自己理解能力を評価することである。
  論文  参考訳（メタデータ） (2023-05-29T15:30:13Z)
• Knowledge Rumination for Pre-trained Language Models [77.55888291165462]
  本稿では,学習前の言語モデルが外部コーパスから検索することなく,関連する潜在知識を活用できるようにするための,Knowledge Ruminationと呼ばれる新しいパラダイムを提案する。 本稿では,RoBERTa,DeBERTa,GPT-3などの言語モデルに適用する。
  論文  参考訳（メタデータ） (2023-05-15T15:47:09Z)
• A Survey of Knowledge Enhanced Pre-trained Language Models [78.56931125512295]
  我々は、知識強化事前学習言語モデル(KE-PLMs)の包括的なレビューを行う。 NLUでは、言語知識、テキスト知識、知識グラフ(KG)、ルール知識の4つのカテゴリに分類する。 NLGのKE-PLMは、KGベースと検索ベースに分類される。
  論文  参考訳（メタデータ） (2022-11-11T04:29:02Z)
• Adapters for Enhanced Modeling of Multilingual Knowledge and Text [54.02078328453149]
  言語モデルは多言語言語モデル(MLLM)に拡張された。 知識グラフは、注意深いキュレーションを必要とし、少数の高リソース言語でのみ利用可能である、明示的な三重形式で事実を含む。 我々は,MLLMを多言語知識グラフ(MLKG)からの知識で拡張し,言語や知識グラフのタスクに多くの言語で取り組むことを提案する。
  論文  参考訳（メタデータ） (2022-10-24T21:33:42Z)
• Knowledge Enhanced Pretrained Language Models: A Compreshensive Survey [8.427521246916463]
  事前学習型言語モデル(PLM)は,大規模テキストコーパス上で情報表現を学習することで,新たなパラダイムを確立した。 この新しいパラダイムは、自然言語処理の分野全体に革命をもたらし、さまざまなNLPタスクに対して、新しい最先端のパフォーマンスを設定した。 この問題に対処するため, PLM への知識統合は近年, 非常に活発な研究領域となり, 様々なアプローチが開発されている。
  論文  参考訳（メタデータ） (2021-10-16T03:27:56Z)
• CoLAKE: Contextualized Language and Knowledge Embedding [81.90416952762803]
  文脈型言語と知識埋め込み(CoLAKE)を提案する。 CoLAKEは、言語と知識の両方の文脈化された表現を、拡張された目的によって共同で学習する。 知識駆動タスク、知識探索タスク、言語理解タスクについて実験を行う。
  論文  参考訳（メタデータ） (2020-10-01T11:39:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。