論文の概要: Ethical Reasoning and Moral Value Alignment of LLMs Depend on the Language we Prompt them in

• arxiv url: http://arxiv.org/abs/2404.18460v1
• Date: Mon, 29 Apr 2024 06:42:27 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-30 14:36:46.009915
• Title: Ethical Reasoning and Moral Value Alignment of LLMs Depend on the Language we Prompt them in
• Title（参考訳）: LLMの倫理的推論と道徳的価値アライメントは、我々が提案する言語に依存する
• Authors: Utkarsh Agarwal, Kumar Tanmay, Aditi Khandelwal, Monojit Choudhury,
• Abstract要約: 本稿では、GPT-4、ChatGPT、Llama2-70B-Chatの3つの著名なLCMが、異なる言語で倫理的推論を行う方法について考察する。 私たちは6つの言語(英語、スペイン語、ロシア語、中国語、ヒンディー語、スワヒリ語)を実験しています。 一方、ChatGPTとLlama2-70B-Chatは、英語以外の言語に移行する際の道徳的価値のバイアスが大きい。
• 参考スコア（独自算出の注目度）: 19.675262411557235
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Ethical reasoning is a crucial skill for Large Language Models (LLMs). However, moral values are not universal, but rather influenced by language and culture. This paper explores how three prominent LLMs -- GPT-4, ChatGPT, and Llama2-70B-Chat -- perform ethical reasoning in different languages and if their moral judgement depend on the language in which they are prompted. We extend the study of ethical reasoning of LLMs by Rao et al. (2023) to a multilingual setup following their framework of probing LLMs with ethical dilemmas and policies from three branches of normative ethics: deontology, virtue, and consequentialism. We experiment with six languages: English, Spanish, Russian, Chinese, Hindi, and Swahili. We find that GPT-4 is the most consistent and unbiased ethical reasoner across languages, while ChatGPT and Llama2-70B-Chat show significant moral value bias when we move to languages other than English. Interestingly, the nature of this bias significantly vary across languages for all LLMs, including GPT-4.
• Abstract（参考訳）: 倫理的推論は、大規模言語モデル(LLM)にとって重要なスキルである。 しかし、道徳的価値観は普遍的ではなく、言語や文化の影響を受けている。 本稿では、GPT-4、ChatGPT、Llama2-70B-Chatの3つの著名なLCMが、異なる言語で倫理的推論を行い、それらの道徳的判断が引き起こされる言語に依存するかどうかを考察する。 我々は、Rao et al (2023)によるLLMの倫理的推論の研究を、倫理的ジレンマと規範的倫理の3つの分野(デオントロジー、美徳、連帯主義)からのポリシーでLLMを探索する枠組みに従って、多言語的な設定にまで拡張する。 私たちは6つの言語(英語、スペイン語、ロシア語、中国語、ヒンディー語、スワヒリ語)を実験しています。 一方、ChatGPTとLlama2-70B-Chatは、英語以外の言語に移行する際の道徳的価値のバイアスが顕著である。 興味深いことに、このバイアスの性質は GPT-4 を含む全ての LLM 言語で大きく異なる。

関連論文リスト

• Large Language Models Reflect the Ideology of their Creators [73.25935570218375]
  大規模言語モデル(LLM)は、自然言語を生成するために大量のデータに基づいて訓練される。 異なるLLMや言語にまたがるイデオロギー的姿勢の顕著な多様性を明らかにする。
  論文  参考訳（メタデータ） (2024-10-24T04:02:30Z)
• One Language, Many Gaps: Evaluating Dialect Fairness and Robustness of Large Language Models in Reasoning Tasks [55.35278531907263]
  本稿では,大言語モデルの公平性と頑健性に関する最初の研究を標準的推論タスクにおける方言に提示する。 我々は、HumanEvalやGSM8Kといった7つの人気のあるベンチマークを書き換えるために、AAVEスピーカーを採用。 標準英語と比較して、これらの広く使われているモデルのほとんどは、AAVEのクエリに対して重大な脆さと不公平さを示している。
  論文  参考訳（メタデータ） (2024-10-14T18:44:23Z)
• Decoding Multilingual Moral Preferences: Unveiling LLM's Biases Through the Moral Machine Experiment [11.82100047858478]
  本稿では,多言語環境下での5つの大規模言語モデルの道徳的嗜好を検討するために,モラルマシン実験(MME)に基づく。 我々は、MMEの6500のシナリオを生成し、どのアクションをとるか10言語でモデルを促す。 我々の分析によると、全てのLLMはある程度異なる道徳的偏見を阻害し、人間の嗜好と異なるだけでなく、モデル自体の複数の言語にもまたがっている。
  論文  参考訳（メタデータ） (2024-07-21T14:48:13Z)
• Language Model Alignment in Multilingual Trolley Problems [138.5684081822807]
  Moral Machine 実験に基づいて,MultiTP と呼ばれる100以上の言語でモラルジレンマヴィグネットの言語間コーパスを開発する。 分析では、19の異なるLLMと人間の判断を一致させ、6つのモラル次元をまたいだ嗜好を捉えた。 我々は、AIシステムにおける一様道徳的推論の仮定に挑戦し、言語間のアライメントの顕著なばらつきを発見した。
  論文  参考訳（メタデータ） (2024-07-02T14:02:53Z)
• Hire a Linguist!: Learning Endangered Languages with In-Context Linguistic Descriptions [52.95579788485411]
  lingOLLMは、LLMが事前トレーニングでほとんど起こらない未知の言語を処理できるようにする、トレーニング不要のアプローチである。 GPT-4とMixtralの2つのモデル上にlingOLLMを実装し,その性能評価を行った。 GPT-4 の 0 から 10.5 BLEU への翻訳能力が 10 言語方向に向上することを示す。
  論文  参考訳（メタデータ） (2024-02-28T03:44:01Z)
• Do Moral Judgment and Reasoning Capability of LLMs Change with Language? A Study using the Multilingual Defining Issues Test [21.108525674360898]
  我々は英語を超えて5つの新しい言語(中国語、ヒンディー語、ロシア語、スペイン語、スワヒリ語)に拡張する。 本研究は, ヒンディー語, スワヒリ語, スペイン語, ロシア語, 中国語, 英語に比較して, すべてのモデルに対する道徳的推論能力は, ヒンディー語, スワヒリ語に比較して有意に劣っていることを示す。
  論文  参考訳（メタデータ） (2024-02-03T12:52:36Z)
• Ethical Reasoning over Moral Alignment: A Case and Framework for In-Context Ethical Policies in LLMs [19.675262411557235]
  我々は、LLMを特定の倫理的原則に道徳的に整合させるのではなく、一般的な倫理的推論能力をそれらに注入すべきだと論じている。 我々は、道徳的ジレンマと規範的倫理の異なるフォアメル主義に関連する道徳的原則を統合する枠組みを開発する。
  論文  参考訳（メタデータ） (2023-10-11T07:27:34Z)
• Are Multilingual LLMs Culturally-Diverse Reasoners? An Investigation into Multicultural Proverbs and Sayings [73.48336898620518]
  大規模言語モデル (LLM) は質問への回答や推論に非常に適している。 本研究は,多言語多言語LLMの会話文脈における証明や言説の推論能力について考察する。
  論文  参考訳（メタデータ） (2023-09-15T17:45:28Z)
• Speaking Multiple Languages Affects the Moral Bias of Language Models [70.94372902010232]
  事前訓練された多言語言語モデル(PMLM)は、複数の言語からのデータや言語間転送を扱う際に一般的に用いられる。 モデルは英語から道徳的規範を捉え、他の言語に強制するか? 我々の実験は、事実、PMLMが道徳的バイアスを符号化していることを示しているが、これらは必ずしも人間の意見の文化的相違や共通点に対応しているわけではない。
  論文  参考訳（メタデータ） (2022-11-14T20:08:54Z)
• Moral Mimicry: Large Language Models Produce Moral Rationalizations Tailored to Political Identity [0.0]
  本研究は,アメリカの政治集団に付随する道徳的偏見を,大規模言語モデルが再現するかどうかを考察する。 モラル・ファンデーションズ・セオリー(英語版)の道具を用いて、これらのLSMは確かに道徳的な模倣であることを示した。
  論文  参考訳（メタデータ） (2022-09-24T23:55:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。