論文の概要: Fine-Grained Detection of Solidarity for Women and Migrants in 155 Years of German Parliamentary Debates
- arxiv url: http://arxiv.org/abs/2210.04359v2
- Date: Mon, 24 Jun 2024 20:01:19 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-26 23:29:11.785480
- Title: Fine-Grained Detection of Solidarity for Women and Migrants in 155 Years of German Parliamentary Debates
- Title(参考訳): ドイツ議会議員155年における女性・家族の連帯関係の微粒化
- Authors: Aida Kostikova, Benjamin Paassen, Dominik Beese, Ole Pütz, Gregor Wiedemann, Steffen Eger,
- Abstract要約: 我々は1867年から2022年にかけてのドイツ議会の議論において、女性や移民に対する連帯性について研究した。
2,864個の注釈付きテキストスニペットを用いて,Llama 3, GPT-3.5, GPT-4などの大規模言語モデル(LLM)を評価する。
GPT-4を使用して、155年間で18k以上のインスタンス(約500ユーロ)を自動的に注釈付けします。
- 参考スコア(独自算出の注目度): 16.382860418871804
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Solidarity is a crucial concept to understand social relations in societies. In this paper, we explore fine-grained solidarity frames to study solidarity towards women and migrants in German parliamentary debates between 1867 and 2022. Using 2,864 manually annotated text snippets (with a cost exceeding 18k Euro), we evaluate large language models (LLMs) like Llama 3, GPT-3.5, and GPT-4. We find that GPT-4 outperforms other LLMs, approaching human annotation quality. Using GPT-4, we automatically annotate more than 18k further instances (with a cost of around 500 Euro) across 155 years and find that solidarity with migrants outweighs anti-solidarity but that frequencies and solidarity types shift over time. Most importantly, group-based notions of (anti-)solidarity fade in favor of compassionate solidarity, focusing on the vulnerability of migrant groups, and exchange-based anti-solidarity, focusing on the lack of (economic) contribution. Our study highlights the interplay of historical events, socio-economic needs, and political ideologies in shaping migration discourse and social cohesion. We also show that powerful LLMs, if carefully prompted, can be cost-effective alternatives to human annotation for hard social scientific tasks.
- Abstract(参考訳): 連帯は社会における社会的関係を理解するための重要な概念である。
本稿では,1867年から2022年にかけてのドイツ議会の議論において,女性や移民に対する連帯性を研究するための微粒な連帯構造について検討する。
Llama 3, GPT-3.5, GPT-4などの大規模言語モデル (LLM) を手動で注釈付きテキストスニペットを用いて評価した。
GPT-4 は他の LLM よりも優れており、人間のアノテーションの品質に近づいている。
GPT-4を使用して155年間で18k以上のインスタンス(約500ユーロ)を自動的に注釈付けし、移民との連帯が反連帯性を上回るが、その頻度と連帯性は時間とともに変化することを発見した。
最も重要なことは、(反)連帯というグループベースの概念は、(経済的)貢献の欠如に焦点をあてて、移民集団の脆弱性に焦点を当て、(反)連帯性を支持する。
本研究は,移動談話や社会的結束を形成する上での歴史的出来事,社会経済的ニーズ,政治的イデオロギーの相互作用に注目した。
また、強力なLCMは、注意を喚起されたとしても、ハードな社会科学的タスクに対する人間のアノテーションに代わる費用対効果があることも示している。
関連論文リスト
- Large Language Models Reflect the Ideology of their Creators [73.25935570218375]
大規模言語モデル(LLM)は、自然言語を生成するために大量のデータに基づいて訓練される。
異なるLLMや言語にまたがるイデオロギー的姿勢の顕著な多様性を明らかにする。
論文 参考訳(メタデータ) (2024-10-24T04:02:30Z) - Arabic Dataset for LLM Safeguard Evaluation [62.96160492994489]
本研究では,アラビア語における大言語モデル(LLM)の安全性と,その言語的・文化的複雑さについて考察する。
本稿では, 直接攻撃, 間接攻撃, センシティブな単語による無害な要求を含む5,799の質問からなるアラブ地域固有の安全評価データセットを提案する。
論文 参考訳(メタデータ) (2024-10-22T14:12:43Z) - Are Social Sentiments Inherent in LLMs? An Empirical Study on Extraction of Inter-demographic Sentiments [14.143299702954023]
本研究は、国籍、宗教、人種・民族の観点で定義された社会集団に焦点を当てる。
我々は、あるグループから別のグループへの感情に関する質問をLSMに入力し、反応に感情分析を適用し、その結果を社会調査と比較する。
論文 参考訳(メタデータ) (2024-08-08T08:13:25Z) - In Silico Sociology: Forecasting COVID-19 Polarization with Large Language Models [0.0]
我々は、デジタル化されたテキストの膨大なアーカイブにディープニューラルネットワークをトレーニングし、歴史的および現代的な言説を構成する複雑な言語パターンを学習する。
我々は、2019年の世論の展望を再構築し、既存の政治談話の中で、COVID-19に対する今後の偏極がどの程度予測されたかを調べる。
その結果、シミュレートされた回答者は84%の患者において、新型コロナウイルスの態度のパルチザン的な違いを再現した。
論文 参考訳(メタデータ) (2024-05-23T22:10:12Z) - The Call for Socially Aware Language Technologies [94.6762219597438]
NLPが機能する社会環境の要因、文脈、意味の認識の欠如である。
我々は、NLPが社会意識を発達させる上で大きな課題が残っており、この分野の新しい時代の始まりであると主張している。
論文 参考訳(メタデータ) (2024-05-03T18:12:39Z) - AraTrust: An Evaluation of Trustworthiness for LLMs in Arabic [0.0]
AraTrustはアラビア語でLarge Language Models(LLMs)の総合的信頼性ベンチマークである。
GPT-4は最も信頼できるLCMであり、特にAceGPT 7BやJais 13Bといったオープンソースモデルはベンチマークで60%のスコアを得るのに苦労しました。
論文 参考訳(メタデータ) (2024-03-14T00:45:24Z) - Large Language Models are Not Yet Human-Level Evaluators for Abstractive
Summarization [66.08074487429477]
抽象的な要約のための自動評価器として,大規模言語モデル(LLM)の安定性と信頼性について検討する。
また、ChatGPTとGPT-4は、一般的に使われている自動測定値よりも優れていますが、人間の代替品として準備ができていません。
論文 参考訳(メタデータ) (2023-05-22T14:58:13Z) - Consistency Analysis of ChatGPT [65.268245109828]
本稿では,ChatGPTとGPT-4の論理的一貫した行動に対する信頼性について検討する。
その結果,両モデルとも言語理解能力と推論能力が向上しているように見えるが,論理的に一貫した予測が得られないことが示唆された。
論文 参考訳(メタデータ) (2023-03-11T01:19:01Z) - Changes in European Solidarity Before and During COVID-19: Evidence from
a Large Crowd- and Expert-Annotated Twitter Dataset [77.27709662210363]
我々は,NLPにおける教師付き機械学習の新たな課題として,社会的連帯という社会科学的概念とその競争,反連帯の概念を導入する。
我々は,複数のアノテータと2つのアノテーションアプローチ(専門家対群衆)を利用して,(反)整合性表現のための2.3kの英語とドイツ語のつぶやきを注釈する。
今回の結果は、新型コロナウイルス危機で連帯がますます健全になり、競争が激化したことを示している。
論文 参考訳(メタデータ) (2021-08-02T17:03:12Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。