論文の概要: Evaluating Moral Beliefs across LLMs through a Pluralistic Framework
- arxiv url: http://arxiv.org/abs/2411.03665v1
- Date: Wed, 06 Nov 2024 04:52:38 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-11-07 19:24:43.986047
- Title: Evaluating Moral Beliefs across LLMs through a Pluralistic Framework
- Title（参考訳）: 複数論理的枠組みによるLLMにおける道徳的信念の評価
- Authors: Xuelin Liu, Yanfei Zhu, Shucheng Zhu, Pengyuan Liu, Ying Liu, Dong Yu,
- Abstract要約: 本研究では,4つの著名な大規模言語モデルの道徳的信念を評価するために,新しい3つのモジュール・フレームワークを提案する。
我々は、道徳的単語から派生した中国語の道徳的選択シナリオ472のデータセットを構築した。
これらの道徳的選択をランク付けすることで、異なる言語モデルによって保持される様々な道徳的信念を識別する。
- 参考スコア（独自算出の注目度）: 22.0799438612003
- License:
- Abstract: Proper moral beliefs are fundamental for language models, yet assessing these beliefs poses a significant challenge. This study introduces a novel three-module framework to evaluate the moral beliefs of four prominent large language models. Initially, we constructed a dataset containing 472 moral choice scenarios in Chinese, derived from moral words. The decision-making process of the models in these scenarios reveals their moral principle preferences. By ranking these moral choices, we discern the varying moral beliefs held by different language models. Additionally, through moral debates, we investigate the firmness of these models to their moral choices. Our findings indicate that English language models, namely ChatGPT and Gemini, closely mirror moral decisions of the sample of Chinese university students, demonstrating strong adherence to their choices and a preference for individualistic moral beliefs. In contrast, Chinese models such as Ernie and ChatGLM lean towards collectivist moral beliefs, exhibiting ambiguity in their moral choices and debates. This study also uncovers gender bias embedded within the moral beliefs of all examined language models. Our methodology offers an innovative means to assess moral beliefs in both artificial and human intelligence, facilitating a comparison of moral values across different cultures.
- Abstract（参考訳）: 適切な道徳的信念は言語モデルの基本であるが、これらの信念を評価することは重大な課題である。
本研究では,4つの著名な大規模言語モデルの道徳的信念を評価するために,新しい3つのモジュール・フレームワークを提案する。
当初、道徳的単語から派生した中国語で472の道徳的選択シナリオを含むデータセットを構築した。
これらのシナリオにおけるモデルの意思決定プロセスは、彼らの道徳的原則の好みを明らかにします。
これらの道徳的選択をランク付けすることで、異なる言語モデルによって保持される様々な道徳的信念を識別する。
さらに、道徳的議論を通じて、これらのモデルの厳密さと道徳的選択について検討する。
以上の結果から, 英語モデルであるChatGPTとGeminiは, 中国の大学生のサンプルの道徳的決定を密接に反映し, その選択に強く固執し, 個人主義的道徳的信念を優先していることが示唆された。
対照的に、ErnieやChatGLMのような中国のモデルは、彼らの道徳的選択と議論において曖昧さを示す、集合主義的道徳的信念に傾いている。
この研究は、すべての調査された言語モデルの道徳的信念に埋め込まれた性バイアスも明らかにする。
我々の方法論は、人工知能と人間の知性の両方において道徳的信念を評価する革新的な手段を提供し、異なる文化における道徳的価値観の比較を促進する。
関連論文リスト
- Language Model Alignment in Multilingual Trolley Problems [138.5684081822807]
Moral Machine 実験に基づいて,MultiTP と呼ばれる100以上の言語でモラルジレンマヴィグネットの言語間コーパスを開発する。
分析では、19の異なるLLMと人間の判断を一致させ、6つのモラル次元をまたいだ嗜好を捉えた。
我々は、AIシステムにおける一様道徳的推論の仮定に挑戦し、言語間のアライメントの顕著なばらつきを発見した。
論文 参考訳（メタデータ） (2024-07-02T14:02:53Z) - Exploring and steering the moral compass of Large Language Models [55.2480439325792]
大規模言語モデル(LLM)は、様々な分野における自動化と意思決定の推進の中心となっている。
本研究は,その道徳的特徴を評価するために,最も先進的なLCMの総合的比較分析を提案する。
論文 参考訳（メタデータ） (2024-05-27T16:49:22Z) - Morality is Non-Binary: Building a Pluralist Moral Sentence Embedding
Space using Contrastive Learning [4.925187725973777]
複数の道徳哲学者は、人間の道徳性は有限個の要素に分解できると主張している。
我々は、最先端のコントラスト学習アプローチにより、多元的道徳文埋め込み空間を構築する。
以上の結果から,モラルに対する多元的アプローチを埋め込み空間で捉えることが可能であることが示唆された。
論文 参考訳（メタデータ） (2024-01-30T18:15:25Z) - Western, Religious or Spiritual: An Evaluation of Moral Justification in
Large Language Models [5.257719744958368]
本稿では,道徳的正当化の過程で,Large Language Models (LLM) にどの値や原則が組み込まれているかを明らかにすることを目的とする。
西洋の伝統観(WT)、アブラハムの伝統観(AT)、スピリチュアリスト/神秘観(SMT)の3つの異なる道徳観念カテゴリを考案した。
論文 参考訳（メタデータ） (2023-11-13T23:01:19Z) - Rethinking Machine Ethics -- Can LLMs Perform Moral Reasoning through the Lens of Moral Theories? [78.3738172874685]
倫理的AIシステムの開発には倫理的判断が不可欠である。
一般的なアプローチは主にボトムアップ方式で実装されており、モラルに関するクラウドソースの意見に基づいて、大量の注釈付きデータを使用してモデルをトレーニングする。
本研究は、学際的な研究から確立された道徳理論を用いて道徳的推論を行うために、言語モデル(LM)を操る柔軟なトップダウンフレームワークを提案する。
論文 参考訳（メタデータ） (2023-08-29T15:57:32Z) - Knowledge of cultural moral norms in large language models [3.475552182166427]
各国の道徳規範に関する知識をモノリンガル英語モデルに含める程度について検討する。
我々は、世界価値調査とPEW世界道徳調査の2つの公開データセットを用いて分析を行った。
事前学習された英語モデルは、以前報告された英語の道徳規範よりも、各国の経験的道徳規範を悪化させる。
論文 参考訳（メタデータ） (2023-06-02T18:23:35Z) - MoralDial: A Framework to Train and Evaluate Moral Dialogue Systems via
Moral Discussions [71.25236662907056]
ユーザの価値観に合わせた道徳的対話システムは、会話のエンゲージメントとユーザ接続を高めることができる。
道徳的対話システムを訓練・評価するための枠組みであるMoralDialを提案する。
論文 参考訳（メタデータ） (2022-12-21T02:21:37Z) - ClarifyDelphi: Reinforced Clarification Questions with Defeasibility
Rewards for Social and Moral Situations [81.70195684646681]
本稿では,ClarifyDelphiという対話型システムについて紹介する。
我々は、潜在的な答えが道徳的判断の多様化に繋がる質問が最も有益であると仮定する。
私たちの研究は究極的には、道徳的認知の柔軟性を研究してきた認知科学の研究にインスピレーションを受けています。
論文 参考訳（メタデータ） (2022-12-20T16:33:09Z) - Speaking Multiple Languages Affects the Moral Bias of Language Models [70.94372902010232]
事前訓練された多言語言語モデル(PMLM)は、複数の言語からのデータや言語間転送を扱う際に一般的に用いられる。
モデルは英語から道徳的規範を捉え、他の言語に強制するか?
我々の実験は、事実、PMLMが道徳的バイアスを符号化していることを示しているが、これらは必ずしも人間の意見の文化的相違や共通点に対応しているわけではない。
論文 参考訳（メタデータ） (2022-11-14T20:08:54Z) - Moral Mimicry: Large Language Models Produce Moral Rationalizations
Tailored to Political Identity [0.0]
本研究は,アメリカの政治集団に付随する道徳的偏見を,大規模言語モデルが再現するかどうかを考察する。
モラル・ファンデーションズ・セオリー(英語版)の道具を用いて、これらのLSMは確かに道徳的な模倣であることを示した。
論文 参考訳（メタデータ） (2022-09-24T23:55:53Z) - Text-based inference of moral sentiment change [11.188112005462536]
本研究では、縦型コーパスを用いて、一般大衆の道徳的感情変化を調査するためのテキストベースの枠組みを提案する。
ダイアクロニックな単語の埋め込みから学んだ道徳的バイアスを探索することで方法論を構築します。
我々の研究は、社会における道徳的感情の変化を特徴づけるために自然言語処理を適用する機会を提供する。
論文 参考訳（メタデータ） (2020-01-20T18:52:45Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。