論文の概要: Debiasing Multilingual LLMs in Cross-lingual Latent Space

• arxiv url: http://arxiv.org/abs/2508.17948v1
• Date: Mon, 25 Aug 2025 12:13:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-26 18:43:45.764407
• Title: Debiasing Multilingual LLMs in Cross-lingual Latent Space
• Title（参考訳）: 言語横断空間における多言語LLMの劣化
• Authors: Qiwei Peng, Guimin Hu, Yekun Chai, Anders Søgaard,
• Abstract要約: 並列TEDトークスクリプトに基づいて訓練されたオートエンコーダを用いて,言語間ラテント空間を構築する。 Aya-expanseと4つの言語(英語、フランス語、ドイツ語、オランダ語)にわたる2つのデバイアス技術の実験により、a)オートエンコーダは、適切に整合した言語間ラテント空間を効果的に構築し、b)学習された言語間ラテント空間におけるデバイアス技術の適用により、全体的なデバイアス性能と言語間トランスファービリティの両方が大幅に向上することを示した。
• 参考スコア（独自算出の注目度）: 41.301081707860575
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Debiasing techniques such as SentDebias aim to reduce bias in large language models (LLMs). Previous studies have evaluated their cross-lingual transferability by directly applying these methods to LLM representations, revealing their limited effectiveness across languages. In this work, we therefore propose to perform debiasing in a joint latent space rather than directly on LLM representations. We construct a well-aligned cross-lingual latent space using an autoencoder trained on parallel TED talk scripts. Our experiments with Aya-expanse and two debiasing techniques across four languages (English, French, German, Dutch) demonstrate that a) autoencoders effectively construct a well-aligned cross-lingual latent space, and b) applying debiasing techniques in the learned cross-lingual latent space significantly improves both the overall debiasing performance and cross-lingual transferability.
• Abstract（参考訳）: SentDebiasのようなデバイアス技術は、大きな言語モデル(LLM)のバイアスを減らすことを目的としている。 従来の研究では、これらの手法をLLM表現に直接適用することにより、言語間の相互変換性を評価し、言語間での限定的な有効性を明らかにしている。 そこで本研究では, LLM表現に直接依存するのではなく, 連立潜在空間でデバイアスを行う手法を提案する。 並列TEDトークスクリプトに基づいて訓練されたオートエンコーダを用いて,言語間ラテント空間を構築する。 Aya-expanseと4つの言語(英語、フランス語、ドイツ語、オランダ語)にわたる2つのデバイアス技術による実験は、このことを実証している。 a) 自己エンコーダは、適切に整合した言語間ラテント空間を効果的に構築し、 b) 学習した言語間潜伏空間における脱バイアス技術の適用は、全体的な脱バイアス性能と言語間移動性の両方を著しく向上させる。

関連論文リスト

• Exploring Pretraining via Active Forgetting for Improving Cross Lingual Transfer for Decoder Language Models [7.998168689120558]
  大規模言語モデル(LLM)は、多数のNLPタスクにおいて例外的な機能を示す。 英語以外の言語に対するそのようなモデルの有効性は制限されることが多い。 能動的忘れを前提としたLLMは,新しい言語や目に見えない言語に適応する上で非常に有効であることを示す。
  論文  参考訳（メタデータ） (2024-10-21T16:33:16Z)
• Crosslingual Capabilities and Knowledge Barriers in Multilingual Large Language Models [62.91524967852552]
  大規模言語モデル(LLM)は、多言語コーパスの事前訓練のため、一般的に多言語である。 しかし、これらのモデルは言語間の対応する概念、すなわち言語を横断的に関連付けることができるだろうか? 本研究は,言語横断的タスクにおける最先端LLMの評価である。
  論文  参考訳（メタデータ） (2024-06-23T15:15:17Z)
• Efficiently Aligned Cross-Lingual Transfer Learning for Conversational Tasks using Prompt-Tuning [98.60739735409243]
  英語のような高リソース言語で訓練された言語モデルの言語間移動は、多くのNLPタスクのために広く研究されている。 並列および大規模多言語会話データセットである言語間アライメント事前学習のためのXSGDを導入する。 協調的な言語間表現を容易にするために,アライメントプロンプトを学習するための効率的なプロンプトチューニング手法を開発した。
  論文  参考訳（メタデータ） (2023-04-03T18:46:01Z)
• A Simple and Effective Method to Improve Zero-Shot Cross-Lingual Transfer Learning [6.329304732560936]
  既存のゼロショットのクロスリンガル転送法は、並列コーパスやバイリンガル辞書に依存している。 意味喪失のない仮想多言語埋め込みに英語の埋め込みを移すための埋め込み・プッシュ・アテンション・プル・ロバスト・ターゲットを提案する。
  論文  参考訳（メタデータ） (2022-10-18T15:36:53Z)
• Exposing Cross-Lingual Lexical Knowledge from Multilingual Sentence Encoders [85.80950708769923]
  本稿では,多言語言語モデルを用いて,それらのパラメータに格納された言語間語彙の知識量を探索し,元の多言語LMと比較する。 また、この知識を付加的に微調整した多言語モデルにより公開する新しい手法も考案した。 標準ベンチマークの大幅な向上を報告します。
  論文  参考訳（メタデータ） (2022-04-30T13:23:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。