論文の概要: MOSAIC: Unveiling the Moral, Social and Individual Dimensions of Large Language Models
- arxiv url: http://arxiv.org/abs/2603.00048v1
- Date: Mon, 09 Feb 2026 22:45:17 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-03-09 01:20:07.996119
- Title: MOSAIC: Unveiling the Moral, Social and Individual Dimensions of Large Language Models
- Title(参考訳): MOSAIC:大規模言語モデルの道徳的,社会的,個人的次元を明らかにする
- Authors: Erica Coppolillo, Emilio Ferrara,
- Abstract要約: 大規模言語モデル(LLM)は、心理学的サポート、医療、高い意思決定を含むセンシティブなアプリケーションにますますデプロイされている。
我々は,LLMの道徳的,社会的,個人的特性を共同評価するために設計された,最初の大規模ベンチマークであるMOSAICを紹介する。
このベンチマークは、道徳哲学、心理学、社会理論から引き出された9つの検証済みのアンケートと、道徳的に曖昧なシナリオを調査するために設計された4つのプラットフォームベースのゲームで構成されている。
- 参考スコア(独自算出の注目度): 9.025479777784675
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Large Language Models (LLMs) are increasingly deployed in sensitive applications including psychological support, healthcare, and high-stakes decision-making. This expansion has motivated growing research into the ethical and moral foundations underlying LLM behavior, raising critical questions about their reliability in ethical reasoning. However, existing studies and benchmarks rely almost exclusively on Moral Foundation Theory (MFT), largely neglecting other relevant dimensions such as social values, personality traits, and individual characteristics that shape human ethical reasoning. To address these limitations, we introduce MOSAIC, the first large-scale benchmark designed to jointly assess the moral, social, and individual characteristics of LLMs. The benchmark comprises nine validated questionnaires drawn from moral philosophy, psychology, and social theory, alongside four platform-based games designed to probe morally ambiguous scenarios. In total, MOSAIC includes over 600 curated questions and scenarios, released as a ready-to-use, extensible resource for evaluating the behavioral foundations of LLMs. We validate the benchmark across three models from different families, demonstrating its utility across all assessed dimensions and providing the first empirical evidence that MFT alone is insufficient to comprehensively evaluate complex AI systems' ethical behavior. We publicly release the dataset and our benchmark Python library.
- Abstract(参考訳): 大規模言語モデル(LLM)は、心理学的サポート、医療、高い意思決定を含むセンシティブなアプリケーションにますますデプロイされている。
この拡張は、LLM行動の基礎となる倫理的・道徳的基礎の研究の動機となり、倫理的推論における彼らの信頼性に関する批判的な疑問を提起した。
しかし、既存の研究やベンチマークは、社会価値や性格特性、人間の倫理的推論を形成する個性など、他の関連する側面をほとんど無視して、MFT(Moral Foundation Theory)にのみ依存している。
これらの制約に対処するために,LLMの道徳的,社会的,個人的特性を共同評価する最初の大規模ベンチマークであるMOSAICを導入する。
このベンチマークは、道徳哲学、心理学、社会理論から引き出された9つの検証済みのアンケートと、道徳的に曖昧なシナリオを調査するために設計された4つのプラットフォームベースのゲームで構成されている。
MOSAICには600以上のキュレートされた質問とシナリオが含まれており、LCMの行動基盤を評価するための準備が整った拡張可能なリソースとしてリリースされている。
我々は、異なる家系の3つのモデルにまたがってベンチマークを検証し、すべての評価された次元でその有用性を実証し、複雑なAIシステムの倫理的振る舞いを包括的に評価するにはMFTだけで不十分であることを示す最初の実証的な証拠を提供する。
データセットとベンチマークPythonライブラリを公開しています。
関連論文リスト
- HumanLLM: Towards Personalized Understanding and Simulation of Human Nature [72.55730315685837]
HumanLLMは個人のパーソナライズされた理解とシミュレーションのために設計された基礎モデルである。
私たちはまず、Reddit、Twitter、Blogger、Amazonといったプラットフォーム上で、現実世界のユーザデータをキュレートした大規模なコーパスであるCognitive Genomeを構築しました。
次に、多様な学習タスクを定式化し、教師付き微調整を行い、モデルの幅広い個人化された人間の行動、思考、経験を予測する。
論文 参考訳(メタデータ) (2026-01-22T09:27:27Z) - Normative Evaluation of Large Language Models with Everyday Moral Dilemmas [0.0]
Reddit 上の "Am I the Asshole" (AITA) コミュニティから得られた複雑で日常的な道徳的ジレンマに基づいて,大規模言語モデル (LLM) を評価する。
以上の結果から,AITAサブレディットにおける人的評価とは大きく異なる,大きな言語モデルでは道徳的判断のパターンが異なることが示唆された。
論文 参考訳(メタデータ) (2025-01-30T01:29:46Z) - The Moral Mind(s) of Large Language Models [0.0]
大規模言語モデル (LLM) は、その決定を導く道徳的嗜好の一貫性のある構造を示す。
確率論的合理性テストを用いて、各主要プロバイダの少なくとも1つのモデルが、ほぼ安定した道徳的嗜好と整合した振る舞いを示した。
そして、これらのユーティリティ関数を推定し、ほとんどのモデルが中立的な道徳的スタンスの周りに集まっていることを発見した。
論文 参考訳(メタデータ) (2024-11-19T15:40:16Z) - Evaluating Large Language Models with Psychometrics [59.821829073478376]
本稿では,Large Language Models (LLMs) の心理的構造を定量化するための総合的ベンチマークを提案する。
私たちの研究は、13のデータセットで評価された5つの重要な心理的構成要素、人格、価値観、感情的知性、心の理論、自己効力性を特定します。
LLMの自己報告特性と実際のシナリオにおける応答パターンとの間に大きな相違が発見され,その挙動の複雑さが明らかになった。
論文 参考訳(メタデータ) (2024-06-25T16:09:08Z) - MoralBench: Moral Evaluation of LLMs [34.43699121838648]
本稿では,大規模言語モデル(LLM)の道徳的推論能力の測定と比較を目的とした新しいベンチマークを提案する。
LLMの出力の道徳的次元を探索するために特別に計算された最初の包括的データセットを示す。
本手法は, 定量的分析と倫理学者の質的洞察を組み合わせることで, モデル性能の徹底的な評価を確実にする多面的手法である。
論文 参考訳(メタデータ) (2024-06-06T18:15:01Z) - Exploring and steering the moral compass of Large Language Models [55.2480439325792]
大規模言語モデル(LLM)は、様々な分野における自動化と意思決定の推進の中心となっている。
本研究は,その道徳的特徴を評価するために,最も先進的なLCMの総合的比較分析を提案する。
論文 参考訳(メタデータ) (2024-05-27T16:49:22Z) - Beyond Human Norms: Unveiling Unique Values of Large Language Models through Interdisciplinary Approaches [69.73783026870998]
本研究では,大言語モデルの固有値システムをスクラッチから再構築する新しいフレームワークであるValueLexを提案する。
語彙仮説に基づいて、ValueLexは30以上のLLMから様々な値を引き出すための生成的アプローチを導入している。
我々は,3つのコア値次元,能力,キャラクタ,積分をそれぞれ特定の部分次元で同定し,LLMが非人間的だが構造化された価値体系を持っていることを明らかにした。
論文 参考訳(メタデータ) (2024-04-19T09:44:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。