論文の概要: MFTCXplain: A Multilingual Benchmark Dataset for Evaluating the Moral Reasoning of LLMs through Hate Speech Multi-hop Explanation
- arxiv url: http://arxiv.org/abs/2506.19073v1
- Date: Mon, 23 Jun 2025 19:44:21 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-06-25 19:48:23.363131
- Title: MFTCXplain: A Multilingual Benchmark Dataset for Evaluating the Moral Reasoning of LLMs through Hate Speech Multi-hop Explanation
- Title(参考訳): MFTCXplain: ヘイトスピーチマルチホップ説明によるLLMのモーラル推論評価のための多言語ベンチマークデータセット
- Authors: Jackson Trager, Francielle Vargas, Diego Alves, Matteo Guida, Mikel K. Ngueajio, Ameeta Agrawal, Flor Plaza-del-Arco, Yalda Daryanai, Farzan Karimi-Malekabadi,
- Abstract要約: 本稿では,Large Language Models (LLM) の道徳的推論を評価するためのベンチマークデータセットを提案する。
このデータセットは、ポルトガル語、イタリア語、ペルシア語、英語の3000のツイートで構成され、二進的ヘイトスピーチラベル、道徳カテゴリー、テキストスパンレベルの合理性で注釈付けされている。
実証的な結果は、道徳的推論タスクにおけるLLM出力と人間のアノテーションの相違を浮き彫りにする。
- 参考スコア(独自算出の注目度): 1.7655314759504603
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Ensuring the moral reasoning capabilities of Large Language Models (LLMs) is a growing concern as these systems are used in socially sensitive tasks. Nevertheless, current evaluation benchmarks present two major shortcomings: a lack of annotations that justify moral classifications, which limits transparency and interpretability; and a predominant focus on English, which constrains the assessment of moral reasoning across diverse cultural settings. In this paper, we introduce MFTCXplain, a multilingual benchmark dataset for evaluating the moral reasoning of LLMs via hate speech multi-hop explanation using Moral Foundation Theory (MFT). The dataset comprises 3,000 tweets across Portuguese, Italian, Persian, and English, annotated with binary hate speech labels, moral categories, and text span-level rationales. Empirical results highlight a misalignment between LLM outputs and human annotations in moral reasoning tasks. While LLMs perform well in hate speech detection (F1 up to 0.836), their ability to predict moral sentiments is notably weak (F1 < 0.35). Furthermore, rationale alignment remains limited mainly in underrepresented languages. These findings show the limited capacity of current LLMs to internalize and reflect human moral reasoning.
- Abstract(参考訳): 大規模言語モデル(LLM)の道徳的推論能力の確保は、これらのシステムが社会的に敏感なタスクに使用されるため、ますます懸念が高まる。
それにもかかわらず、現在の評価ベンチマークでは、透明性と解釈可能性を制限する道徳的分類を正当化するアノテーションの欠如と、様々な文化的環境における道徳的推論の評価を制限する英語に重点を置いている2つの大きな欠点が提示されている。
本稿では,Moral Foundation Theory (MFT) を用いたヘイトスピーチマルチホップ説明によるLLMの道徳的推論を評価するためのマルチ言語ベンチマークである MFTCXplain を紹介する。
このデータセットは、ポルトガル語、イタリア語、ペルシア語、英語の3000のツイートで構成され、二進的ヘイトスピーチラベル、道徳カテゴリー、テキストスパンレベルの合理性で注釈付けされている。
実証的な結果は、道徳的推論タスクにおけるLLM出力と人間のアノテーションの相違を浮き彫りにする。
LLMはヘイトスピーチの検出(F1から0.836まで)において良好に機能するが、道徳的感情を予測する能力は顕著に弱い(F1 < 0.35)。
さらに、論理的アライメントは、主に表現不足言語に限られている。
これらの結果は、人間の道徳的推論を内在化し反映する現在のLSMの能力に限界があることを示唆している。
関連論文リスト
- Are Language Models Consequentialist or Deontological Moral Reasoners? [69.85385952436044]
我々は、大規模言語モデル(LLM)が提供する道徳的推論トレースの大規模分析に焦点をあてる。
我々は,2つの主要な規範的倫理理論,つまり連続主義と非オントロジーを体系的に分類するために,道徳的論理学の分類を導入し,検証する。
論文 参考訳(メタデータ) (2025-05-27T17:51:18Z) - Moral Reasoning Across Languages: The Critical Role of Low-Resource Languages in LLMs [0.3760401651114107]
大規模言語モデル(LLM)の道徳的推論能力を評価するために,Multilingual Moral Reasoning Benchmark (MMRB)を導入した。
その結果,ベトナム語などの低リソース言語では,文脈の複雑さが増すにつれて道徳的推論性能が低下することがわかった。
驚くべきことに、低リソース言語は高リソース言語よりも多言語推論に強い影響を与えており、多言語NLPにおける彼らの重要な役割を強調している。
論文 参考訳(メタデータ) (2025-04-28T12:56:36Z) - PolyMath: Evaluating Mathematical Reasoning in Multilingual Contexts [79.84059473102778]
PolyMathは18の言語と4つの難易度をカバーする多言語数学的推論ベンチマークである。
我々のベンチマークは、包括性、言語多様性、高品質な翻訳の難しさを保証する。
論文 参考訳(メタデータ) (2025-04-25T15:39:04Z) - Towards Robust Knowledge Representations in Multilingual LLMs for Equivalence and Inheritance based Consistent Reasoning [5.656040546546711]
推論と言語スキルは人間の知性の基盤を形成し、問題解決と意思決定を促進する。
大規模言語モデル(LLM)の最近の進歩は、印象的な言語機能と突発的な推論行動をもたらし、アプリケーションドメインで広く採用されている。
我々は、LLMが「等価性」と「継承性」という2つの基礎的関係を用いて、合理的な表現を持つかどうかを評価することに注力する。
論文 参考訳(メタデータ) (2024-10-18T07:34:21Z) - Language Model Alignment in Multilingual Trolley Problems [138.5684081822807]
Moral Machine 実験に基づいて,MultiTP と呼ばれる100以上の言語でモラルジレンマヴィグネットの言語間コーパスを開発する。
分析では、19の異なるLLMと人間の判断を一致させ、6つのモラル次元をまたいだ嗜好を捉えた。
我々は、AIシステムにおける一様道徳的推論の仮定に挑戦し、言語間のアライメントの顕著なばらつきを発見した。
論文 参考訳(メタデータ) (2024-07-02T14:02:53Z) - Harnessing Artificial Intelligence to Combat Online Hate: Exploring the
Challenges and Opportunities of Large Language Models in Hate Speech
Detection [4.653571633477755]
大規模言語モデル(LLM)は、翻訳、要約、感情分析など、言語生成以外の多くの多様なアプリケーションで優れている。
このことは、憎しみや有害なスピーチを識別する領域において、問題や倫理的なジレンマに悩まされる。
論文 参考訳(メタデータ) (2024-03-12T19:12:28Z) - Large Language Models: The Need for Nuance in Current Debates and a
Pragmatic Perspective on Understanding [1.3654846342364308]
LLM(Large Language Models)は、文法的に正しい、流動的なテキストを生成する能力において、非並列である。
本論文は,LLM能力の批判において再発する3点を批判的に評価する。
LLMにおける現実の理解と意図の問題に関する実践的な視点を概説する。
論文 参考訳(メタデータ) (2023-10-30T15:51:04Z) - Multilingual Machine Translation with Large Language Models: Empirical Results and Analysis [103.89753784762445]
大規模言語モデル(LLM)は多言語機械翻訳(MMT)の処理において顕著な可能性を示した。
本稿では, MMT における LLM の利点と課題を体系的に検討する。
また,ChatGPTとGPT-4を含む8つのLLMを徹底的に評価した。
論文 参考訳(メタデータ) (2023-04-10T15:51:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。