Fugu-MT 論文翻訳(概要): RuBia: A Russian Language Bias Detection Dataset

論文の概要: RuBia: A Russian Language Bias Detection Dataset

arxiv url: http://arxiv.org/abs/2403.17553v1
Date: Tue, 26 Mar 2024 10:01:01 GMT
ステータス: 処理完了
システム内更新日: 2024-03-27 15:57:01.643380
Title: RuBia: A Russian Language Bias Detection Dataset
Title（参考訳）: RuBia: ロシア語のバイアス検出データセット
Authors: Veronika Grigoreva, Anastasiia Ivanova, Ilseyar Alimova, Ekaterina Artemova,
Abstract要約: 本稿では,RuBiaと呼ばれるロシア語に特化して設計されたバイアス検出データセットを提案する。 RuBiaデータセットは、性別、国籍、社会経済的地位、多様性の4つの領域に分けられる。ルビアには、19の国に2000近いユニークな文が散在している。
参考スコア（独自算出の注目度）: 3.8501658629243076
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Warning: this work contains upsetting or disturbing content. Large language models (LLMs) tend to learn the social and cultural biases present in the raw pre-training data. To test if an LLM's behavior is fair, functional datasets are employed, and due to their purpose, these datasets are highly language and culture-specific. In this paper, we address a gap in the scope of multilingual bias evaluation by presenting a bias detection dataset specifically designed for the Russian language, dubbed as RuBia. The RuBia dataset is divided into 4 domains: gender, nationality, socio-economic status, and diverse, each of the domains is further divided into multiple fine-grained subdomains. Every example in the dataset consists of two sentences with the first reinforcing a potentially harmful stereotype or trope and the second contradicting it. These sentence pairs were first written by volunteers and then validated by native-speaking crowdsourcing workers. Overall, there are nearly 2,000 unique sentence pairs spread over 19 subdomains in RuBia. To illustrate the dataset's purpose, we conduct a diagnostic evaluation of state-of-the-art or near-state-of-the-art LLMs and discuss the LLMs' predisposition to social biases.
Abstract（参考訳）: 警告: この作品には、コンテンツを混乱させたり、混乱させたりすることが含まれる。大規模言語モデル(LLM)は、生の事前学習データに存在する社会的・文化的バイアスを学習する傾向がある。 LLMの動作が公正かどうかをテストするために、機能データセットが採用され、その目的のため、これらのデータセットは言語と文化に特有である。本稿では,RuBiaと呼ばれるロシア語に特化して設計されたバイアス検出データセットを提示することで,多言語バイアス評価の範囲のギャップを解消する。 RuBiaデータセットは、性別、国籍、社会経済的地位、多様性の4つのドメインに分けられ、それぞれのドメインは、さらに複数のきめ細かいサブドメインに分割される。データセットのすべての例は、2つの文で構成され、第1は潜在的に有害なステレオタイプまたはトロープを補強し、第2はそれと矛盾する。これらの文対は最初ボランティアによって書かれ、その後、母語話者のクラウドソーシング労働者によって検証された。全体として、ルビアには19のサブドメインに2000近いユニークな文対がある。このデータセットの目的を説明するために、我々は、最先端または近最先端のLCMの診断評価を行い、LCMの社会的偏見に対する偏見について論じる。

関連論文リスト

BanStereoSet: A Dataset to Measure Stereotypical Social Biases in LLMs for Bangla [0.0]
本研究は,バングラ語用多言語LLMにおけるステレオタイプ的社会的バイアスを評価するためのデータセットであるBanStereoSetを提示する。私たちのデータセットは、人種、職業、性別、年齢、職業の美しさ、地域、カースト、宗教の9つのカテゴリーにまたがる1,194の文で構成されています。
論文参考訳（メタデータ） (2024-09-18T02:02:30Z)
OPSD: an Offensive Persian Social media Dataset and its baseline evaluations [2.356562319390226]
本稿ではペルシャ語に対する2つの攻撃的データセットを紹介する。第1のデータセットはドメインの専門家によって提供されるアノテーションで構成されており、第2のデータセットはWebクローリングによって得られたラベルなしデータの大規模なコレクションで構成されている。得られたデータセットの3クラスと2クラスのF1スコアはそれぞれ76.9%、XLM-RoBERTaは89.9%であった。
論文参考訳（メタデータ） (2024-04-08T14:08:56Z)
IndiBias: A Benchmark Dataset to Measure Social Biases in Language Models for Indian Context [32.48196952339581]
インドにおける社会的バイアスを評価するためのベンチマークデータセットであるIndiBiasを紹介する。バイアスの次元には、性別、宗教、キャスト、年齢、地域、身体的外観、職業が含まれる。我々のデータセットには800の文対と300の偏差測定が含まれている。
論文参考訳（メタデータ） (2024-03-29T12:32:06Z)
Detecting Unintended Social Bias in Toxic Language Datasets [32.724030288421474]
本稿では,既存のKaggleコンペティションのデータセットであるJigsaw Unintended Bias in Toxicity Classificationから算出した新しいデータセットであるToxicBiasを紹介する。データセットには、5つの異なるバイアスカテゴリ、viz.、性、人種/民族性、宗教、政治的、LGBTQに注釈付けされたインスタンスが含まれている。得られたデータセットを用いてトランスフォーマーベースモデルをトレーニングし、バイアス識別、ターゲット生成、バイアス含意に関するベースライン性能を報告する。
論文参考訳（メタデータ） (2022-10-21T06:50:12Z)
Bias at a Second Glance: A Deep Dive into Bias for German Educational Peer-Review Data Modeling [10.080007569933331]
我々は5年間で9,165人のドイツのピアレビューのコーパスで、テキストと複数のアーキテクチャ間のバイアスを分析します。収集したコーパスは, 共起解析やGloVe埋め込みにおいて多くのバイアスを示さない。事前訓練されたドイツの言語モデルは、実質的な概念的、人種的、性別的偏見を見出す。
論文参考訳（メタデータ） (2022-09-21T13:08:16Z)
Neural Label Search for Zero-Shot Multi-Lingual Extractive Summarization [80.94424037751243]
ゼロショット多言語抽出テキスト要約では、通常、モデルは英語のデータセットに基づいて訓練され、他の言語の要約データセットに適用される。本研究では,NLS(Neural Label Search for Summarization)を提案する。我々はMLSUMとWikiLinguaのデータセット上で多言語ゼロショット要約実験を行い、人間と自動両方の評価を用いて最先端の結果を得る。
論文参考訳（メタデータ） (2022-04-28T14:02:16Z)
Bridging the Data Gap between Training and Inference for Unsupervised Neural Machine Translation [49.916963624249355]
UNMTモデルは、翻訳されたソースと推論中の自然言語で擬似並列データに基づいて訓練される。トレーニングと推論のソース差はUNMTモデルの翻訳性能を妨げている。本稿では、擬似並列データ自然言語を同時に用いたオンライン自己学習手法を提案する。
論文参考訳（メタデータ） (2022-03-16T04:50:27Z)
On Cross-Lingual Retrieval with Multilingual Text Encoders [51.60862829942932]
言語間文書・文検索タスクにおける最先端多言語エンコーダの適合性について検討する。教師なしのアドホック文と文書レベルのCLIR実験でそれらの性能をベンチマークする。我々は、ゼロショット言語とドメイン転送CLIR実験のシリーズにおける英語関連データに基づいて、教師付き方式で微調整された多言語エンコーダの評価を行った。
論文参考訳（メタデータ） (2021-12-21T08:10:27Z)
The World of an Octopus: How Reporting Bias Influences a Language Model's Perception of Color [73.70233477125781]
報告バイアスがテキストのみのトレーニングに悪影響を及ぼし、本質的に制限されていることを示す。次に、マルチモーダルモデルが視覚的トレーニングを利用してこれらの効果を緩和できることを実証する。
論文参考訳（メタデータ） (2021-10-15T16:28:17Z)
On the Language Coverage Bias for Neural Machine Translation [81.81456880770762]
言語カバレッジバイアスは、ニューラルネットワーク翻訳(NMT)において重要である。実験を慎重に設計することにより、トレーニングデータにおける言語カバレッジバイアスの包括的分析を行う。本稿では,言語カバレッジバイアス問題を軽減するための,シンプルで効果的な2つのアプローチを提案する。
論文参考訳（メタデータ） (2021-06-07T01:55:34Z)
AM2iCo: Evaluating Word Meaning in Context across Low-ResourceLanguages with Adversarial Examples [51.048234591165155]
本稿では, AM2iCo, Adversarial and Multilingual Meaning in Contextを提案する。言語間文脈における単語の意味の同一性を理解するために、最先端(SotA)表現モデルを忠実に評価することを目的としている。その結果、現在のSotAプリトレーニングエンコーダは人間のパフォーマンスにかなり遅れていることが明らかとなった。
論文参考訳（メタデータ） (2021-04-17T20:23:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。