Fugu-MT 論文翻訳(概要): Bias in, Bias out: Annotation Bias in Multilingual Large Language Models

論文の概要: Bias in, Bias out: Annotation Bias in Multilingual Large Language Models

arxiv url: http://arxiv.org/abs/2511.14662v1
Date: Tue, 18 Nov 2025 17:02:12 GMT
ステータス: 翻訳完了
システム内更新日: 2025-11-19 16:23:53.223302
Title: Bias in, Bias out: Annotation Bias in Multilingual Large Language Models
Title（参考訳）: Bias in, Bias out:多言語大言語モデルにおけるアノテーションバイアス
Authors: Xia Cui, Ziyi Huang, Naeemeh Adel,
Abstract要約: NLPデータセットのバイアスは、多言語大言語モデルを開発する上で、依然として大きな課題である。本稿では, アノテーションバイアスの理解, 指示バイアス, アノテーションバイアス, 文脈バイアス, 文化バイアスを総合的に検討する。
参考スコア（独自算出の注目度）: 4.032367157209129
License: http://creativecommons.org/licenses/by-nc-nd/4.0/
Abstract: Annotation bias in NLP datasets remains a major challenge for developing multilingual Large Language Models (LLMs), particularly in culturally diverse settings. Bias from task framing, annotator subjectivity, and cultural mismatches can distort model outputs and exacerbate social harms. We propose a comprehensive framework for understanding annotation bias, distinguishing among instruction bias, annotator bias, and contextual and cultural bias. We review detection methods (including inter-annotator agreement, model disagreement, and metadata analysis) and highlight emerging techniques such as multilingual model divergence and cultural inference. We further outline proactive and reactive mitigation strategies, including diverse annotator recruitment, iterative guideline refinement, and post-hoc model adjustments. Our contributions include: (1) a typology of annotation bias; (2) a synthesis of detection metrics; (3) an ensemble-based bias mitigation approach adapted for multilingual settings, and (4) an ethical analysis of annotation processes. Together, these insights aim to inform more equitable and culturally grounded annotation pipelines for LLMs.
Abstract（参考訳）: NLPデータセットのアノテーションバイアスは、特に文化的に多様な設定において、多言語大言語モデル(LLM)を開発する上で大きな課題である。タスクフレーミング、アノテータの主観性、文化的なミスマッチからのバイアスは、アウトプットを歪め、社会的損害を悪化させる。本稿では, アノテーションバイアスの理解, 指示バイアス, アノテーションバイアス, 文脈バイアス, 文化バイアスを総合的に検討する。本稿では, アノテーション間合意, モデル不一致, メタデータ分析などの検出手法を概観し, 多言語モデル分岐や文化推論といった新しい手法を強調した。さらに,多彩なアノテータ採用,反復的ガイドライン改良,ポストホックモデル調整など,積極的かつ反応性の緩和戦略を概説する。本研究の貢献は,(1) アノテーションバイアスの類型化,(2) 検出指標の合成,(3) 多言語設定に適応したアンサンブルに基づくバイアス緩和,(4) アノテーションプロセスの倫理的分析である。これらの知見は、LLMのためのより公平で文化的に基盤付けられたアノテーションパイプラインを知らせることを目的としている。

関連論文リスト

When Meanings Meet: Investigating the Emergence and Quality of Shared Concept Spaces during Multilingual Language Model Training [57.230355403478995]
本研究では,EuroLLMの事前学習における言語に依存しない概念空間の開発について検討する。共有概念空間は早期に出現し、洗練され続けていますが、それらとの整合性は言語に依存しています。従来の作業とは対照的に、細かな手作業分析により、翻訳品質の顕著な向上は、行動の変化を反映していることが判明した。
論文参考訳（メタデータ） (2026-01-30T11:23:01Z)
Mitigating Biases in Language Models via Bias Unlearning [27.565946855618368]
両経路のアンラーニング機構によって目的のデバイアスを実現する新しいモデルデバイアスフレームワークであるBiasUnlearnを提案する。その結果、BiasUnlearnは言語モデルにおけるバイアスを軽減するために既存の手法よりも優れており、言語モデリング能力は維持されていることがわかった。
論文参考訳（メタデータ） (2025-09-30T02:15:12Z)
SESGO: Spanish Evaluation of Stereotypical Generative Outputs [1.1549572298362782]
本稿では,多言語大言語モデル(LLM)におけるバイアス評価における限界ギャップについて論じる。現在の評価は、主に米国英語中心であり、他の言語や文化の文脈で潜在的に危害が及ばないままである。教科学習における社会的偏見を検出するための,新しい文化的な枠組みを提案する。
論文参考訳（メタデータ） (2025-09-03T14:04:51Z)
Social Bias in Multilingual Language Models: A Survey [5.756606441319472]
この体系的なレビューは、バイアス評価と緩和アプローチを多言語および非英語の文脈に拡張する新興研究を分析している。本稿では,言語多様性,文化意識,評価指標の選択,緩和手法について検討する。
論文参考訳（メタデータ） (2025-08-27T18:25:32Z)
MyCulture: Exploring Malaysia's Diverse Culture under Low-Resource Language Constraints [7.822567458977689]
MyCultureは、マレーシアの文化に関する大規模言語モデル(LLM)を総合的に評価するために設計されたベンチマークである。従来のベンチマークとは異なり、MyCultureは未定義のオプションなしで、新しいオープンエンドの複数選択質問フォーマットを採用している。構造化された出力と自由形式出力のモデル性能を比較して構造バイアスを解析し、多言語的プロンプト変動による言語バイアスを評価する。
論文参考訳（メタデータ） (2025-08-07T14:17:43Z)
Beyond Early-Token Bias: Model-Specific and Language-Specific Position Effects in Multilingual LLMs [50.07451351559251]
我々は,5言語(英語,ロシア語,ドイツ語,ヒンディー語,ベトナム語)にまたがる調査を行った。位置バイアスが即時戦略とどのように相互作用し、出力エントロピーに影響を及ぼすかを検討する。
論文参考訳（メタデータ） (2025-05-22T02:23:00Z)
Uncovering Biases with Reflective Large Language Models [2.5200794639628032]
人間のラベル付きデータのバイアスとエラーは、機械学習にとって重要な課題である。本稿では,多種多様な視点を明らかにするために,構造化逆対話を利用した反射型LLM対話フレームワーク RLDF を提案する。実験の結果、RDDFは人間のラベル付きデータの制限を露呈しながら、公開コンテンツの潜在的なバイアスを特定することに成功した。
論文参考訳（メタデータ） (2024-08-24T04:48:32Z)
Spoken Stereoset: On Evaluating Social Bias Toward Speaker in Speech Large Language Models [50.40276881893513]
本研究では,音声大言語モデル(SLLM)における社会的バイアスの評価を目的としたデータセットであるSpken Stereosetを紹介する。多様な人口集団の発話に対して異なるモデルがどのように反応するかを調べることで、これらのバイアスを特定することを目指している。これらの結果から,ほとんどのモデルではバイアスが最小であるが,ステレオタイプや反ステレオタイプ傾向がわずかにみられた。
論文参考訳（メタデータ） (2024-08-14T16:55:06Z)
Exploring the Jungle of Bias: Political Bias Attribution in Language Models via Dependency Analysis [86.49858739347412]
大規模言語モデル(LLM)は、これらのモデルにおけるバイアスの頻度とその緩和に関する激しい議論を引き起こしている。本稿では,意思決定プロセスに寄与する属性の抽出と仲介を行うためのプロンプトベースの手法を提案する。観察された異なる治療は、少なくとも部分的には、属性の相違とモデルの相違によるものであることが判明した。
論文参考訳（メタデータ） (2023-11-15T00:02:25Z)
SeaEval for Multilingual Foundation Models: From Cross-Lingual Alignment to Cultural Reasoning [44.53966523376327]
SeaEvalは多言語基盤モデルのベンチマークである。これらのモデルがどのように理解し、自然言語で推論するかを特徴付ける。また、文化の実践やニュアンス、価値観をいかに理解したかについても検討する。
論文参考訳（メタデータ） (2023-09-09T11:42:22Z)
Bias and Fairness in Large Language Models: A Survey [73.87651986156006]
本稿では,大規模言語モデル(LLM)のバイアス評価と緩和手法に関する総合的な調査を行う。まず、自然言語処理における社会的偏見と公平性の概念を統合し、形式化し、拡張する。次に,3つの直感的な2つのバイアス評価法と1つの緩和法を提案し,文献を統一する。
論文参考訳（メタデータ） (2023-09-02T00:32:55Z)
An Analysis of Social Biases Present in BERT Variants Across Multiple Languages [0.0]
多様な言語からなる単言語BERTモデルにおけるバイアスについて検討する。文の擬似類似度に基づいて,任意のバイアスを測定するテンプレートベースの手法を提案する。偏見探索の現在の手法は言語に依存していると結論付けている。
論文参考訳（メタデータ） (2022-11-25T23:38:08Z)
Analyzing the Limits of Self-Supervision in Handling Bias in Language [52.26068057260399]
我々は、言語モデルが、認識、識別、抽出、言い換えの4つのタスクのセマンティクスをいかにうまく捉えているかを評価する。分析の結果,言語モデルでは,ジェンダーや政治的アフィリエイトなど,様々なバイアス次元にまたがって,これらのタスクを広範囲にわたって実行することが可能であることが示唆された。
論文参考訳（メタデータ） (2021-12-16T05:36:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。