論文の概要: Language Model Alignment in Multilingual Trolley Problems
- arxiv url: http://arxiv.org/abs/2407.02273v3
- Date: Mon, 21 Oct 2024 17:37:26 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-10-22 13:13:40.459129
- Title: Language Model Alignment in Multilingual Trolley Problems
- Title(参考訳): 多言語トロリー問題における言語モデルアライメント
- Authors: Zhijing Jin, Max Kleiman-Weiner, Giorgio Piatti, Sydney Levine, Jiarui Liu, Fernando Gonzalez, Francesco Ortu, András Strausz, Mrinmaya Sachan, Rada Mihalcea, Yejin Choi, Bernhard Schölkopf,
- Abstract要約: Moral Machine 実験に基づいて,MultiTP と呼ばれる100以上の言語でモラルジレンマヴィグネットの言語間コーパスを開発する。
分析では、19の異なるLLMと人間の判断を一致させ、6つのモラル次元をまたいだ嗜好を捉えた。
我々は、AIシステムにおける一様道徳的推論の仮定に挑戦し、言語間のアライメントの顕著なばらつきを発見した。
- 参考スコア(独自算出の注目度): 138.5684081822807
- License:
- Abstract: We evaluate the moral alignment of large language models (LLMs) with human preferences in multilingual trolley problems. Building on the Moral Machine experiment, which captures over 40 million human judgments across 200+ countries, we develop a cross-lingual corpus of moral dilemma vignettes in over 100 languages called MultiTP. This dataset enables the assessment of LLMs' decision-making processes in diverse linguistic contexts. Our analysis explores the alignment of 19 different LLMs with human judgments, capturing preferences across six moral dimensions: species, gender, fitness, status, age, and the number of lives involved. By correlating these preferences with the demographic distribution of language speakers and examining the consistency of LLM responses to various prompt paraphrasings, our findings provide insights into cross-lingual and ethical biases of LLMs and their intersection. We discover significant variance in alignment across languages, challenging the assumption of uniform moral reasoning in AI systems and highlighting the importance of incorporating diverse perspectives in AI ethics. The results underscore the need for further research on the integration of multilingual dimensions in responsible AI research to ensure fair and equitable AI interactions worldwide. Our code and data are at https://github.com/causalNLP/moralmachine
- Abstract(参考訳): 多言語トロリー問題における大規模言語モデル(LLM)と人間の嗜好との道徳的整合性を評価する。
200以上の国で4000万以上の人間の判断を捉えるMoral Machine実験に基づいて、MultiTPと呼ばれる100以上の言語で道徳的ジレンマヴィグネットの言語間コーパスを開発する。
このデータセットは、多様な言語文脈におけるLLMの意思決定プロセスの評価を可能にする。
分析では、19の異なるLSMと人間の判断を一致させ、種、性別、フィットネス、ステータス、年齢、関連する生活数という6つの道徳的側面の好みを捉える。
これらの嗜好を言語話者の人口分布と相関させ,様々なパラフレーズに対するLLM応答の整合性を調べることにより,LLMとその交点の言語的・倫理的バイアスに関する知見を提供する。
我々は、言語間のアライメントの顕著なばらつきを発見し、AIシステムにおける一様道徳的推論の仮定に挑戦し、AI倫理に多様な視点を取り入れることの重要性を強調した。
この結果は、世界中の公正で公平なAIインタラクションを保証するために、責任あるAI研究における多言語次元の統合に関するさらなる研究の必要性を浮き彫りにしている。
私たちのコードとデータはhttps://github.com/causalNLP/moralmachineにあります。
関連論文リスト
- Decoding Multilingual Moral Preferences: Unveiling LLM's Biases Through the Moral Machine Experiment [11.82100047858478]
本稿では,多言語環境下での5つの大規模言語モデルの道徳的嗜好を検討するために,モラルマシン実験(MME)に基づく。
我々は、MMEの6500のシナリオを生成し、どのアクションをとるか10言語でモデルを促す。
我々の分析によると、全てのLLMはある程度異なる道徳的偏見を阻害し、人間の嗜好と異なるだけでなく、モデル自体の複数の言語にもまたがっている。
論文 参考訳(メタデータ) (2024-07-21T14:48:13Z) - Ethical Reasoning and Moral Value Alignment of LLMs Depend on the Language we Prompt them in [19.675262411557235]
本稿では、GPT-4、ChatGPT、Llama2-70B-Chatの3つの著名なLCMが、異なる言語で倫理的推論を行う方法について考察する。
私たちは6つの言語(英語、スペイン語、ロシア語、中国語、ヒンディー語、スワヒリ語)を実験しています。
一方、ChatGPTとLlama2-70B-Chatは、英語以外の言語に移行する際の道徳的価値のバイアスが大きい。
論文 参考訳(メタデータ) (2024-04-29T06:42:27Z) - Hire a Linguist!: Learning Endangered Languages with In-Context
Linguistic Descriptions [52.95579788485411]
lingOLLMは、LLMが事前トレーニングでほとんど起こらない未知の言語を処理できるようにする、トレーニング不要のアプローチである。
GPT-4とMixtralの2つのモデル上にlingOLLMを実装し,その性能評価を行った。
GPT-4 の 0 から 10.5 BLEU への翻訳能力が 10 言語方向に向上することを示す。
論文 参考訳(メタデータ) (2024-02-28T03:44:01Z) - OMGEval: An Open Multilingual Generative Evaluation Benchmark for Large
Language Models [59.54423478596468]
OMGEvalは、オープンソースの多言語生成テストセットであり、異なる言語におけるLLMの能力を評価することができる。
各言語について、OMGEvalは804のオープンエンド質問を提供し、LLMの重要な機能を幅広くカバーしている。
具体的には、OMGEvalの現在のバージョンには5つの言語(Zh, Ru, Fr, Es, Ar)が含まれている。
論文 参考訳(メタデータ) (2024-02-21T04:42:41Z) - Do Moral Judgment and Reasoning Capability of LLMs Change with Language?
A Study using the Multilingual Defining Issues Test [21.108525674360898]
我々は英語を超えて5つの新しい言語(中国語、ヒンディー語、ロシア語、スペイン語、スワヒリ語)に拡張する。
本研究は, ヒンディー語, スワヒリ語, スペイン語, ロシア語, 中国語, 英語に比較して, すべてのモデルに対する道徳的推論能力は, ヒンディー語, スワヒリ語に比較して有意に劣っていることを示す。
論文 参考訳(メタデータ) (2024-02-03T12:52:36Z) - Are Multilingual LLMs Culturally-Diverse Reasoners? An Investigation into Multicultural Proverbs and Sayings [73.48336898620518]
大規模言語モデル (LLM) は質問への回答や推論に非常に適している。
本研究は,多言語多言語LLMの会話文脈における証明や言説の推論能力について考察する。
論文 参考訳(メタデータ) (2023-09-15T17:45:28Z) - The Moral Machine Experiment on Large Language Models [0.0]
本研究は,大規模言語モデル(LLM)の倫理的意思決定傾向を検討するために,モラルマシンフレームワークを利用した。
LLMとヒトの嗜好は広く一致しているが、特にPaLM 2とLlama 2は相違点が異なる。
これらの知見は、LLMの倫理的枠組みと、その自律運転への潜在的影響を解明する。
論文 参考訳(メタデータ) (2023-09-12T04:49:39Z) - Speaking Multiple Languages Affects the Moral Bias of Language Models [70.94372902010232]
事前訓練された多言語言語モデル(PMLM)は、複数の言語からのデータや言語間転送を扱う際に一般的に用いられる。
モデルは英語から道徳的規範を捉え、他の言語に強制するか?
我々の実験は、事実、PMLMが道徳的バイアスを符号化していることを示しているが、これらは必ずしも人間の意見の文化的相違や共通点に対応しているわけではない。
論文 参考訳(メタデータ) (2022-11-14T20:08:54Z) - Do Multilingual Language Models Capture Differing Moral Norms? [71.52261949766101]
大量多言語文表現は、未処理データの大規模なコーパスに基づいて訓練される。
これは、高資源言語からの道徳的判断を含む文化的価値をモデルが把握する原因となる可能性がある。
特定の言語におけるデータ不足は、ランダムで潜在的に有害な信念を発達させる可能性がある。
論文 参考訳(メタデータ) (2022-03-18T12:26:37Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。