論文の概要: Can Demographic Factors Improve Text Classification? Revisiting Demographic Adaptation in the Age of Transformers

• arxiv url: http://arxiv.org/abs/2210.07362v2
• Date: Tue, 9 May 2023 08:56:48 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-10 16:26:51.374602
• Title: Can Demographic Factors Improve Text Classification? Revisiting Demographic Adaptation in the Age of Transformers
• Title（参考訳）: 図形要素はテキスト分類を改善するか? 変圧器時代における人口動態適応の再検討
• Authors: Chia-Chien Hung, Anne Lauscher, Dirk Hovy, Simone Paolo Ponzetto, Goran Glava\v{s}
• Abstract要約: 従来のNLPモデルでは,階層的要因を組み込むことで,様々なNLPタスクのパフォーマンスが一貫して向上することが示された。 事前学習したトランスフォーマーに外部知識を組み込むのに有効な3つの共通特殊化手法を用いる。 我々は、連続言語モデリングと動的マルチタスク学習を用いて、性別と年齢の人口動態の表現に適応する。
• 参考スコア（独自算出の注目度）: 34.768337465321395
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Demographic factors (e.g., gender or age) shape our language. Previous work showed that incorporating demographic factors can consistently improve performance for various NLP tasks with traditional NLP models. In this work, we investigate whether these previous findings still hold with state-of-the-art pretrained Transformer-based language models (PLMs). We use three common specialization methods proven effective for incorporating external knowledge into pretrained Transformers (e.g., domain-specific or geographic knowledge). We adapt the language representations for the demographic dimensions of gender and age, using continuous language modeling and dynamic multi-task learning for adaptation, where we couple language modeling objectives with the prediction of demographic classes. Our results, when employing a multilingual PLM, show substantial gains in task performance across four languages (English, German, French, and Danish), which is consistent with the results of previous work. However, controlling for confounding factors - primarily domain and language proficiency of Transformer-based PLMs - shows that downstream performance gains from our demographic adaptation do not actually stem from demographic knowledge. Our results indicate that demographic specialization of PLMs, while holding promise for positive societal impact, still represents an unsolved problem for (modern) NLP.
• Abstract（参考訳）: デモグラフィー要素(性別や年齢など)が言語を形成する。 従来のNLPモデルでは,階層的要因を組み込むことで,様々なNLPタスクのパフォーマンスが一貫して向上することが示された。 本研究では,先行研究が最先端の事前学習型トランスフォーマー言語モデル (plms) で継続されているかどうかについて検討する。 事前学習されたトランスフォーマー(ドメイン固有あるいは地理的知識など)に外部知識を組み込むのに有効な3つの共通特殊化手法を用いる。 言語表現を性別と年齢の比率に適応させ,連続的な言語モデリングと動的マルチタスク学習を適応に利用し,言語モデル目標と人口統計学クラスの予測を組み合わせる。 本研究は,多言語 PLM を用いた場合,従来の作業結果と一致した4言語(英語,ドイツ語,フランス語,デンマーク語)でタスク性能が大幅に向上したことを示す。 しかし、主にトランスフォーマーベースのplmのドメインと言語習熟度といった結合要因の制御は、人口統計学的適応によるダウンストリームのパフォーマンス向上が、実際には人口統計学的知識に起因するものではないことを示している。 以上の結果から, PLMの人口統計学的特化は, 肯定的な社会的影響を約束しながらも, NLPの未解決問題であることが明らかとなった。

関連論文リスト

• Multilingual Text-to-Image Generation Magnifies Gender Stereotypes and Prompt Engineering May Not Help You [64.74707085021858]
  多言語モデルは、モノリンガルモデルと同様に、有意な性別バイアスに悩まされていることを示す。 多言語モデルにおけるジェンダーバイアスの研究を促進するための新しいベンチマークMAGBIGを提案する。 以上の結果から,モデルが強い性バイアスを示すだけでなく,言語によって異なる行動を示すことが明らかとなった。
  論文  参考訳（メタデータ） (2024-01-29T12:02:28Z)
• L2CEval: Evaluating Language-to-Code Generation Capabilities of Large Language Models [102.00201523306986]
  大規模言語モデル(LLM)の言語間コード生成能力を体系的に評価するL2CEvalを提案する。 モデルのサイズ、事前学習データ、命令チューニング、異なるプロンプトメソッドなど、それらのパフォーマンスに影響を与える可能性のある要因を分析する。 モデル性能の評価に加えて、モデルに対する信頼性校正を計測し、出力プログラムの人間による評価を行う。
  論文  参考訳（メタデータ） (2023-09-29T17:57:00Z)
• Sensitivity, Performance, Robustness: Deconstructing the Effect of Sociodemographic Prompting [64.80538055623842]
  社会デマトグラフィープロンプトは、特定の社会デマトグラフィープロファイルを持つ人間が与える答えに向けて、プロンプトベースのモデルの出力を操縦する技術である。 ソシオデマトグラフィー情報はモデル予測に影響を及ぼし、主観的NLPタスクにおけるゼロショット学習を改善するのに有用であることを示す。
  論文  参考訳（メタデータ） (2023-09-13T15:42:06Z)
• Benchmarking Large Language Model Capabilities for Conditional Generation [15.437176676169997]
  既存のアプリケーション固有の生成ベンチマークをPLMに適応させる方法について論じる。 PLMは異なるデータ体系に適用可能であり、複数の言語に一般化可能であることを示す。
  論文  参考訳（メタデータ） (2023-06-29T08:59:40Z)
• HumBEL: A Human-in-the-Loop Approach for Evaluating Demographic Factors of Language Models in Human-Machine Conversations [26.59671463642373]
  LM言語スキルの人口統計学的要因を計測して,対象とする人口動態との整合性を決定する方法について検討する。 ヒトにおける言語スキル獲得の基準を持つ音声言語病理の臨床的手法を提案する。 本稿では,専門医(臨床認可言語病理医)と共同で評価を行い,臨床評価を大規模に補完する自動手法を提案する。
  論文  参考訳（メタデータ） (2023-05-23T16:15:24Z)
• A Survey of Large Language Models [81.06947636926638]
  言語モデリングは、過去20年間、言語理解と生成のために広く研究されてきた。 近年,大規模コーパス上でのトランスフォーマーモデルの事前学習により,事前学習言語モデル (PLM) が提案されている。 パラメータスケールの違いを識別するために、研究コミュニティは大規模言語モデル (LLM) という用語を提唱した。
  論文  参考訳（メタデータ） (2023-03-31T17:28:46Z)
• On the Limitations of Sociodemographic Adaptation with Transformers [34.768337465321395]
  社会学的な要因(性別や年齢など)が我々の言語を形作っている。 これまでの研究は、特定の社会デマログラフィー要素を組み込むことで、様々なNLPタスクのパフォーマンスを継続的に改善できることを示した。 事前学習したトランスフォーマーに外部知識を組み込むのに有効な3つの共通特殊化手法を用いる。
  論文  参考訳（メタデータ） (2022-08-01T17:58:02Z)
• Pre-Trained Language Models for Interactive Decision-Making [72.77825666035203]
  目的と観測を埋め込みのシーケンスとして表現する模倣学習の枠組みを述べる。 このフレームワークは様々な環境にまたがって効果的な一般化を可能にすることを実証する。 新たなゴールや新しいシーンを含むテストタスクでは、言語モデルによる初期化ポリシーはタスク完了率を43.6%改善する。
  論文  参考訳（メタデータ） (2022-02-03T18:55:52Z)
• Detecting ESG topics using domain-specific language models and data augmentation approaches [3.3332986505989446]
  金融分野における自然言語処理タスクは、適切にラベル付けされたデータのあいまいさのため、依然として困難なままである。 本稿では,これらの問題を緩和するための2つのアプローチについて検討する。 まず、ビジネスおよび財務ニュースから大量のドメイン内データを用いて、さらなる言語モデルの事前学習実験を行う。 次に、モデル微調整のためのデータセットのサイズを増やすために拡張アプローチを適用します。
  論文  参考訳（メタデータ） (2020-10-16T11:20:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。