論文の概要: On the Limitations of Sociodemographic Adaptation with Transformers

• arxiv url: http://arxiv.org/abs/2208.01029v1
• Date: Mon, 1 Aug 2022 17:58:02 GMT
• ステータス: 処理完了
• システム内更新日: 2022-08-02 13:35:06.631764
• Title: On the Limitations of Sociodemographic Adaptation with Transformers
• Title（参考訳）: 変圧器を用いたソシオドモグラフィ適応の限界について
• Authors: Chia-Chien Hung, Anne Lauscher, Dirk Hovy, Simone Paolo Ponzetto, Goran Glava\v{s}
• Abstract要約: 社会学的な要因(性別や年齢など)が我々の言語を形作っている。 これまでの研究は、特定の社会デマログラフィー要素を組み込むことで、様々なNLPタスクのパフォーマンスを継続的に改善できることを示した。 事前学習したトランスフォーマーに外部知識を組み込むのに有効な3つの共通特殊化手法を用いる。
• 参考スコア（独自算出の注目度）: 34.768337465321395
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Sociodemographic factors (e.g., gender or age) shape our language. Previous work showed that incorporating specific sociodemographic factors can consistently improve performance for various NLP tasks in traditional NLP models. We investigate whether these previous findings still hold with state-of-the-art pretrained Transformers. We use three common specialization methods proven effective for incorporating external knowledge into pretrained Transformers (e.g., domain-specific or geographic knowledge). We adapt the language representations for the sociodemographic dimensions of gender and age, using continuous language modeling and dynamic multi-task learning for adaptation, where we couple language modeling with the prediction of a sociodemographic class. Our results when employing a multilingual model show substantial performance gains across four languages (English, German, French, and Danish). These findings are in line with the results of previous work and hold promise for successful sociodemographic specialization. However, controlling for confounding factors like domain and language shows that, while sociodemographic adaptation does improve downstream performance, the gains do not always solely stem from sociodemographic knowledge. Our results indicate that sociodemographic specialization, while very important, is still an unresolved problem in NLP.
• Abstract（参考訳）: 社会学的な要素(性別や年齢など)が言語を形成する。 従来のNLPモデルでは,特定の社会デマトグラフィー因子を組み込むことで,様々なNLPタスクのパフォーマンスが一貫して向上することが示された。 これまでの研究結果が最先端の予習変圧器であるかどうかについて検討した。 事前学習されたトランスフォーマー(ドメイン固有あるいは地理的知識など)に外部知識を組み込むのに有効な3つの共通特殊化手法を用いる。 我々は,言語モデルと動的マルチタスク学習を用いて,ジェンダーと年齢の社会デマログラフの次元に言語表現を適応させ,社会デマログラフクラスの予測と言語モデリングを組み合わせた。 多言語モデルを用いた結果,4言語(英語,ドイツ語,フランス語,デンマーク語)で有意な性能向上を示した。 これらの結果は、過去の研究結果と一致し、社会デミノグラフィーの専門化の成功を約束する。 しかし、ドメインや言語のような相反する要因の制御は、社会デマログラフの適応は下流のパフォーマンスを改善するが、その利得は必ずしも社会デマログラフの知識に由来するわけではないことを示している。 以上の結果から,社会デマトグラフィーの専門化は非常に重要であるものの,NLPでは未解決の問題であることが示唆された。

関連論文リスト

• Quantifying the Dialect Gap and its Correlates Across Languages [69.18461982439031]
  この研究は、明らかな相違を明らかにし、マインドフルなデータ収集を通じてそれらに対処する可能性のある経路を特定することによって、方言NLPの分野を強化する基盤となる。
  論文  参考訳（メタデータ） (2023-10-23T17:42:01Z)
• Sensitivity, Performance, Robustness: Deconstructing the Effect of Sociodemographic Prompting [64.80538055623842]
  社会デマトグラフィープロンプトは、特定の社会デマトグラフィープロファイルを持つ人間が与える答えに向けて、プロンプトベースのモデルの出力を操縦する技術である。 ソシオデマトグラフィー情報はモデル予測に影響を及ぼし、主観的NLPタスクにおけるゼロショット学習を改善するのに有用であることを示す。
  論文  参考訳（メタデータ） (2023-09-13T15:42:06Z)
• A Survey of Large Language Models [81.06947636926638]
  言語モデリングは、過去20年間、言語理解と生成のために広く研究されてきた。 近年,大規模コーパス上でのトランスフォーマーモデルの事前学習により,事前学習言語モデル (PLM) が提案されている。 パラメータスケールの違いを識別するために、研究コミュニティは大規模言語モデル (LLM) という用語を提唱した。
  論文  参考訳（メタデータ） (2023-03-31T17:28:46Z)
• SocioProbe: What, When, and Where Language Models Learn about Sociodemographics [31.040600510190732]
  複数の英語データセットにおける事前学習言語モデル(PLM)の社会デマログラフ的知識について検討する。 以上の結果から, PLMはこれらの社会デマトグラフィーを符号化しており, この知識は, テスト対象のPLMの層に分散していることが示唆された。 以上の結果から,社会学的な知識がNLPにとって依然として大きな課題であることが示唆された。
  論文  参考訳（メタデータ） (2022-11-08T14:37:45Z)
• Can Demographic Factors Improve Text Classification? Revisiting Demographic Adaptation in the Age of Transformers [34.768337465321395]
  従来のNLPモデルでは,階層的要因を組み込むことで,様々なNLPタスクのパフォーマンスが一貫して向上することが示された。 事前学習したトランスフォーマーに外部知識を組み込むのに有効な3つの共通特殊化手法を用いる。 我々は、連続言語モデリングと動的マルチタスク学習を用いて、性別と年齢の人口動態の表現に適応する。
  論文  参考訳（メタデータ） (2022-10-13T21:16:27Z)
• Visual Comparison of Language Model Adaptation [55.92129223662381]
  アダプタは、モデル適応のための軽量な代替品です。 本稿では,インタラクティブな視覚的説明手法について,いくつかの設計と代替案について論じる。 例えば、文脈0の埋め込みに従って言語脱バイアスタスクを訓練したアダプタが、新しいタイプのバイアスをもたらすことを示す。
  論文  参考訳（メタデータ） (2022-08-17T09:25:28Z)
• Detecting ESG topics using domain-specific language models and data augmentation approaches [3.3332986505989446]
  金融分野における自然言語処理タスクは、適切にラベル付けされたデータのあいまいさのため、依然として困難なままである。 本稿では,これらの問題を緩和するための2つのアプローチについて検討する。 まず、ビジネスおよび財務ニュースから大量のドメイン内データを用いて、さらなる言語モデルの事前学習実験を行う。 次に、モデル微調整のためのデータセットのサイズを増やすために拡張アプローチを適用します。
  論文  参考訳（メタデータ） (2020-10-16T11:20:07Z)
• Grounded Compositional Outputs for Adaptive Language Modeling [59.02706635250856]
  言語モデルの語彙$-$典型的にはトレーニング前に選択され、後で永久に固定される$-$は、そのサイズに影響します。 言語モデルのための完全合成出力埋め込み層を提案する。 我々の知る限り、この結果はトレーニング語彙に依存しないサイズを持つ最初の単語レベル言語モデルである。
  論文  参考訳（メタデータ） (2020-09-24T07:21:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。