論文の概要: Multiple-Debias: A Full-process Debiasing Method for Multilingual Pre-trained Language Models

• arxiv url: http://arxiv.org/abs/2604.02772v1
• Date: Fri, 03 Apr 2026 06:30:06 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-06 17:20:24.349779
• Title: Multiple-Debias: A Full-process Debiasing Method for Multilingual Pre-trained Language Models
• Title（参考訳）: マルチデバイアス:多言語事前学習言語モデルのためのフルプロセスデバイアス法
• Authors: Haoyu Liang, Peijian Zeng, Wentao Huang, Aimin Yang, Dong Zhou,
• Abstract要約: 我々は,複数の言語にまたがるこれらの問題に対処するために,Multiple-Debiasという名前の包括的多言語脱バイアス手法を提案する。 我々は,MPLMのバイアスを,4言語で3つの感度特性に対して有意に低減した。 実験の結果, (i)多言語脱バイアス法は, 偏見を効果的に緩和する一言語的アプローチを超越し, (ii) 異なる言語からの脱バイアス情報を統合することでMPLMの公平性を向上させることが示唆された。
• 参考スコア（独自算出の注目度）: 6.799058074740485
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Multilingual Pre-trained Language Models (MPLMs) have become essential tools for natural language processing. However, they often exhibit biases related to sensitive attributes such as gender, race, and religion. In this paper, we introduce a comprehensive multilingual debiasing method named Multiple-Debias to address these issues across multiple languages. By incorporating multilingual counterfactual data augmentation and multilingual Self-Debias across both pre-processing and post-processing stages, alongside parameter-efficient fine-tuning, we significantly reduced biases in MPLMs across three sensitive attributes in four languages. We also extended CrowS-Pairs to German, Spanish, Chinese, and Japanese, validating our full-process multilingual debiasing method for gender, racial, and religious bias. Our experiments show that (i) multilingual debiasing methods surpass monolingual approaches in effectively mitigating biases, and (ii) integrating debiasing information from different languages notably improves the fairness of MPLMs.
• Abstract（参考訳）: 多言語事前学習言語モデル(MPLM)は自然言語処理に不可欠なツールとなっている。 しかし、彼らはしばしば、性別、人種、宗教などの敏感な属性に関連するバイアスを示す。 本稿では,複数の言語にまたがるこれらの問題に対処するために,Multiple-Debiasという名前の包括的多言語脱バイアス手法を提案する。 多言語対物データ拡張と多言語自己バイアスを前処理と後処理の両方の段階に組み込むことで、パラメータ効率の良い微調整とともに、4つの言語における3つの感度属性にまたがるMPLMのバイアスを著しく低減した。 また, CrowS-Pairsをドイツ語, スペイン語, 中国語, 日本語に拡張し, 性別, 人種, 宗教的偏見の多言語的偏見を全プロセスで検証した。 私たちの実験は 一 偏見を効果的に緩和する多言語脱バイアス法 (II)異なる言語からのデバイアス情報の統合は,MPLMの公平性を顕著に向上させる。

関連論文リスト

• Crosslingual Capabilities and Knowledge Barriers in Multilingual Large Language Models [62.91524967852552]
  大規模言語モデル(LLM)は、多言語コーパスの事前訓練のため、一般的に多言語である。 しかし、これらのモデルは言語間の対応する概念、すなわち言語を横断的に関連付けることができるだろうか? 本研究は,言語横断的タスクにおける最先端LLMの評価である。
  論文  参考訳（メタデータ） (2024-06-23T15:15:17Z)
• Comparing Biases and the Impact of Multilingual Training across Multiple Languages [70.84047257764405]
  ダウンストリーム感情分析タスクにおいて,イタリア語,中国語,英語,ヘブライ語,スペイン語のバイアス分析を行う。 我々は、既存の感情バイアスのテンプレートを、人種、宗教、国籍、性別の4つの属性で、イタリア語、中国語、ヘブライ語、スペイン語に適応させる。 以上の結果から,各言語の文化に支配的な集団の嗜好など,バイアス表現の類似性を明らかにした。
  論文  参考訳（メタデータ） (2023-05-18T18:15:07Z)
• Romanization-based Large-scale Adaptation of Multilingual Language Models [124.57923286144515]
  大規模多言語事前学習言語モデル (mPLMs) は,NLPにおける多言語間移動のデファクトステートとなっている。 我々は、mPLMをローマン化および非ロマン化した14の低リソース言語コーパスに適用するためのデータとパラメータ効率の戦略を多数検討し、比較した。 以上の結果から, UROMAN をベースとしたトランスリテラルは,多くの言語で高い性能を達成できることがわかった。
  論文  参考訳（メタデータ） (2023-04-18T09:58:34Z)
• Multilingual BERT has an accent: Evaluating English influences on fluency in multilingual models [23.62852626011989]
  我々は,高次情報源言語における文法構造が低次情報源言語に肥大化したことを示す。 このバイアスは、多言語モデルの流布度とモノリンガルのスペイン語とギリシア語のモデルの流布度を比較する新しい方法によって示される。
  論文  参考訳（メタデータ） (2022-10-11T17:06:38Z)
• High-resource Language-specific Training for Multilingual Neural Machine Translation [109.31892935605192]
  負の干渉を軽減するために,HLT-MT(High-Resource Language-specific Training)を用いた多言語翻訳モデルを提案する。 具体的には、まずマルチ言語モデルを高リソースペアでトレーニングし、デコーダの上部にある言語固有のモジュールを選択する。 HLT-MTは、高リソース言語から低リソース言語への知識伝達のために、利用可能なすべてのコーパスでさらに訓練されている。
  論文  参考訳（メタデータ） (2022-07-11T14:33:13Z)
• Mitigating Language-Dependent Ethnic Bias in BERT [11.977810781738603]
  単言語BERTにおける民族バイアスの分析と緩和により、民族バイアスと言語によってどのように異なるかを研究する。 民族バイアスを観察・定量化するために,カテゴリーバイアススコアと呼ばれる新しい指標を開発した。 本稿では,まず多言語モデルと2つの単言語モデルの文脈的単語アライメントを用いた2つの緩和手法を提案する。
  論文  参考訳（メタデータ） (2021-09-13T04:52:41Z)
• Discovering Representation Sprachbund For Multilingual Pre-Training [139.05668687865688]
  多言語事前学習モデルから言語表現を生成し、言語分析を行う。 すべての対象言語を複数のグループにクラスタリングし、表現のスプラックバンドとして各グループに名前を付ける。 言語間ベンチマークで実験を行い、強いベースラインと比較して大幅な改善が達成された。
  論文  参考訳（メタデータ） (2021-09-01T09:32:06Z)
• Gender Bias in Multilingual Embeddings and Cross-Lingual Transfer [101.58431011820755]
  多言語埋め込みにおけるジェンダーバイアスとNLPアプリケーションの伝達学習への影響について検討する。 我々は、バイアス分析のための多言語データセットを作成し、多言語表現におけるバイアスの定量化方法をいくつか提案する。
  論文  参考訳（メタデータ） (2020-05-02T04:34:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。