論文の概要: This Land is {Your, My} Land: Evaluating Geopolitical Biases in Language
Models
- arxiv url: http://arxiv.org/abs/2305.14610v1
- Date: Wed, 24 May 2023 01:16:17 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-25 20:47:58.077043
- Title: This Land is {Your, My} Land: Evaluating Geopolitical Biases in Language
Models
- Title(参考訳): この土地は『Your, My} Land: Evaluating Geopolitical Biases in Language Models』である
- Authors: Bryan Li, Chris Callison-Burch
- Abstract要約: 地政学的バイアスの概念は、言語的文脈によって異なる地政学的知識を報告する傾向にある。
例えば、広く争われているスプラトリー諸島については、中国に質問された場合、中国に質問された場合、タガログに質問された場合、フィリピンに回答した場合には、LMは中国に属すと言う可能性が高いだろうか。
- 参考スコア(独自算出の注目度): 26.451910349207072
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We introduce the notion of geopolitical bias -- a tendency to report
different geopolitical knowledge depending on the linguistic context. As a case
study, we consider territorial disputes between countries. For example, for the
widely contested Spratly Islands, would an LM be more likely to say they belong
to China if asked in Chinese, vs. to the Philippines if asked in Tagalog? To
evaluate if such biases exist, we first collect a dataset of territorial
disputes from Wikipedia, then associate each territory with a set of
multilingual, multiple-choice questions. This dataset, termed BorderLines,
consists of 250 territories with questions in 45 languages. We pose these
question sets to language models, and analyze geopolitical bias in their
responses through several proposed quantitative metrics. The metrics compare
between responses in different question languages as well as to the actual
geopolitical situation. The phenomenon of geopolitical bias is a uniquely
cross-lingual evaluation, contrasting with prior work's monolingual (mostly
English) focus on bias evaluation. Its existence shows that the knowledge of
LMs, unlike multilingual humans, is inconsistent across languages.
- Abstract(参考訳): 地政学的バイアスの概念は、言語的文脈によって異なる地政学的知識を報告する傾向にある。
事例研究として、両国間の領土紛争を考察する。
例えば、広く争われたスプラトリー諸島では、lmは中国語で尋ねると中国に属し、タガログで尋ねるとフィリピンに属す確率が高いだろうか?
このようなバイアスが存在するかどうかを評価するために、まずWikipediaから領域紛争のデータセットを収集し、その後、各領域を多言語で複数選択の質問に関連付ける。
このデータセットはBorderLinesと呼ばれ、45の言語で質問される250の領域から構成されている。
これらの質問集合を言語モデルに適用し,いくつかの定量的指標を用いて地政学的バイアスを分析した。
メトリクスは、異なる質問言語での応答と実際の地政学的状況を比較します。
地政学的偏見の現象は独特な言語間評価であり、前作の単言語的(主に英語)の偏見評価に焦点を当てているのとは対照的である。
その存在は、多言語人間とは異なり、LMの知識が言語間で矛盾していることを示している。
関連論文リスト
- MLaKE: Multilingual Knowledge Editing Benchmark for Large Language Models [65.10456412127405]
MLaKEは5言語にわたる知識編集手法の適応性のベンチマークである。
MLaKEは、ウィキペディアから言語にまたがるファクトチェーンを集約し、フリーフォームとマルチチョイスの両方で質問を生成する。
MLaKEにおける既存手法の多言語知識編集の一般化能力を評価する。
論文 参考訳(メタデータ) (2024-04-07T15:23:28Z) - Evaluating the Elementary Multilingual Capabilities of Large Language
Models with MultiQ [15.844303418745692]
大規模言語モデル(LLM)は、世界中の英語話者の大多数を含むすべての人にサービスを提供する必要がある。
近年の研究では、意図した用途に制限があるにもかかわらず、多くの言語でLSMを促すことが示されている。
我々は、27.4kのテスト質問に答える基本的なオープンエンド質問のための新しい銀標準ベンチマークであるMultiQを紹介する。
論文 参考訳(メタデータ) (2024-03-06T16:01:44Z) - How do Large Language Models Handle Multilingualism? [87.06210331315451]
大規模言語モデル(LLM)は、様々な言語で顕著な性能を示す。
LLMの多言語入力処理を記述したフレームワークを提案する。
さらに,特定の言語処理における言語特異的ニューロンの存在について検討する。
論文 参考訳(メタデータ) (2024-02-29T02:55:26Z) - Quantifying the Dialect Gap and its Correlates Across Languages [69.18461982439031]
この研究は、明らかな相違を明らかにし、マインドフルなデータ収集を通じてそれらに対処する可能性のある経路を特定することによって、方言NLPの分野を強化する基盤となる。
論文 参考訳(メタデータ) (2023-10-23T17:42:01Z) - Towards Measuring the Representation of Subjective Global Opinions in Language Models [26.999751306332165]
大規模言語モデル(LLM)は、社会問題に関する多様なグローバルな視点を公平に表すものではない。
本研究では,どの意見がモデル生成応答に類似しているかを定量的に評価する枠組みを開発する。
他者が使用して構築するためのデータセットをリリースしています。
論文 参考訳(メタデータ) (2023-06-28T17:31:53Z) - Some Languages are More Equal than Others: Probing Deeper into the
Linguistic Disparity in the NLP World [2.0777058026628583]
NLP世界の言語格差は近年広く認識されている問題である。
本稿では,世界の言語に存在する格差を包括的に分析する。
論文 参考訳(メタデータ) (2022-10-16T12:50:30Z) - GeoMLAMA: Geo-Diverse Commonsense Probing on Multilingual Pre-Trained
Language Models [68.50584946761813]
我々は多言語言語モデル(mPLM)に基づく地理多言語共通感覚探索のためのフレームワークを提案する。
我々は、GeoMLAMAデータセット上のmBERT、XLM、mT5、XGLMの変種を含む11の標準mPLMをベンチマークする。
1)大きなmPLMの変種は、必ずしもその小さな変種よりもジオ・ディバースの概念を保存していないこと,2)mPLMは西欧の知識に固有の偏りがないこと,3)母国よりも母国に関する知識を調査する方がよいこと,などが分かる。
論文 参考訳(メタデータ) (2022-05-24T17:54:50Z) - Gender Bias in Multilingual Embeddings and Cross-Lingual Transfer [101.58431011820755]
多言語埋め込みにおけるジェンダーバイアスとNLPアプリケーションの伝達学習への影響について検討する。
我々は、バイアス分析のための多言語データセットを作成し、多言語表現におけるバイアスの定量化方法をいくつか提案する。
論文 参考訳(メタデータ) (2020-05-02T04:34:37Z) - TyDi QA: A Benchmark for Information-Seeking Question Answering in
Typologically Diverse Languages [27.588857710802113]
TyDi QAは、204Kの問合せ対を持つ11の類型的多様言語をカバーする質問応答データセットである。
本稿では,観測された言語現象のデータ品質と例レベルの定性言語分析について定量的に分析する。
論文 参考訳(メタデータ) (2020-03-10T21:11:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。