論文の概要: DailyDilemmas: Revealing Value Preferences of LLMs with Quandaries of Daily Life

• arxiv url: http://arxiv.org/abs/2410.02683v2
• Date: Mon, 03 Mar 2025 07:20:54 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-04 16:12:58.842627
• Title: DailyDilemmas: Revealing Value Preferences of LLMs with Quandaries of Daily Life
• Title（参考訳）: DailyDilemmas: LLMの価値観と生活の基準を明らかにする
• Authors: Yu Ying Chiu, Liwei Jiang, Yejin Choi,
• Abstract要約: 日常生活で遭遇した1,360の道徳的ジレンマのデータセットであるDailyDilemmasを提示する。 それぞれのジレンマは、影響された当事者と、それぞれの行動に関する関連する人間の価値の2つの可能な行動を示す。 我々は社会学、心理学、哲学に触発された5つの理論的枠組みのレンズを通して価値を分析する。
• 参考スコア（独自算出の注目度）: 46.11149958010897
• License:
• Abstract: As users increasingly seek guidance from LLMs for decision-making in daily life, many of these decisions are not clear-cut and depend significantly on the personal values and ethical standards of people. We present DailyDilemmas, a dataset of 1,360 moral dilemmas encountered in everyday life. Each dilemma presents two possible actions, along with affected parties and relevant human values for each action. Based on these dilemmas, we gather a repository of human values covering diverse everyday topics, such as interpersonal relationships, workplace, and environmental issues. With DailyDilemmas, we evaluate LLMs on these dilemmas to determine what action they will choose and the values represented by these action choices. Then, we analyze values through the lens of five theoretical frameworks inspired by sociology, psychology, and philosophy, including the World Values Survey, Moral Foundations Theory, Maslow's Hierarchy of Needs, Aristotle's Virtues, and Plutchik's Wheel of Emotions. For instance, we find LLMs are most aligned with self-expression over survival in World Values Survey and care over loyalty in Moral Foundations Theory. Interestingly, we find substantial preference differences in models for some core values. For example, for truthfulness, Mixtral-8x7B neglects it by 9.7% while GPT-4-turbo selects it by 9.4%. We also study the recent guidance released by OpenAI (ModelSpec), and Anthropic (Constitutional AI) to understand how their designated principles reflect their models' actual value prioritization when facing nuanced moral reasoning in daily-life settings. Finally, we find that end users cannot effectively steer such prioritization using system prompts.
• Abstract（参考訳）: 日常生活における意思決定のための LLM からのガイダンスがますます求められているため、これらの決定の多くは明確ではなく、個人の価値観や倫理的基準に大きく依存している。 日常生活で遭遇した1,360の道徳的ジレンマのデータセットであるDailyDilemmasを提示する。 それぞれのジレンマは、影響された当事者と、それぞれの行動に関する関連する人間の価値の2つの可能な行動を示す。 これらのジレンマに基づいて、対人関係、職場、環境問題など、日々のさまざまなトピックをカバーする人間の価値のリポジトリを収集する。 DailyDilemmas を用いて、これらのジレンマ上の LLM を評価し、それらが選択するアクションとこれらのアクション選択で表される値を決定する。 そして、社会学、心理学、哲学にインスパイアされた5つの理論的枠組みのレンズを通して価値を分析し、世界価値調査、道徳的基礎理論、マスローの必要の階層、アリストテレスの処女、プルチクの感情の車輪を含む。 例えば、LLMは、世界価値調査における生存に関する自己表現と、モラル財団理論における忠誠に対するケアに最も適している。 興味深いことに、いくつかのコア値のモデルにかなりの好みの違いがある。 例えば、Mixtral-8x7Bは9.7%、GPT-4-turboは9.4%である。 また,OpenAI (ModelSpec) と Anthropic (Constitutional AI) が最近発表したガイダンスを用いて,日常環境における道徳的理由の曖昧さに直面する場合,それらの規定された原則がモデルの実価値の優先順位付けをどのように反映しているかを考察した。 最後に,システムプロンプトによる優先順位付けを効果的に行うことはできないことを発見した。

関連論文リスト

• Normative Evaluation of Large Language Models with Everyday Moral Dilemmas [0.0]
  Reddit 上の "Am I the Asshole" (AITA) コミュニティから得られた複雑で日常的な道徳的ジレンマに基づいて,大規模言語モデル (LLM) を評価する。 以上の結果から,AITAサブレディットにおける人的評価とは大きく異なる,大きな言語モデルでは道徳的判断のパターンが異なることが示唆された。
  論文  参考訳（メタデータ） (2025-01-30T01:29:46Z)
• FairMindSim: Alignment of Behavior, Emotion, and Belief in Humans and LLM Agents Amid Ethical Dilemmas [23.26678104324838]
  FairMindSimを導入し、不公平なシナリオを通じて道徳的ジレンマをシミュレートした。 我々はLLMエージェントを用いて人間の行動をシミュレートし,様々な段階のアライメントを確保した。 以上の結果から,GPT-4oは社会的正義の感覚が強く,人間はより豊かな感情を呈することが明らかとなった。
  論文  参考訳（メタデータ） (2024-10-14T11:39:05Z)
• Exploring and steering the moral compass of Large Language Models [55.2480439325792]
  大規模言語モデル(LLM)は、様々な分野における自動化と意思決定の推進の中心となっている。 本研究は,その道徳的特徴を評価するために,最も先進的なLCMの総合的比較分析を提案する。
  論文  参考訳（メタデータ） (2024-05-27T16:49:22Z)
• Political Compass or Spinning Arrow? Towards More Meaningful Evaluations for Values and Opinions in Large Language Models [61.45529177682614]
  我々は,大規模言語モデルにおける価値と意見の制約評価パラダイムに挑戦する。 強制されない場合、モデルが実質的に異なる答えを与えることを示す。 我々はこれらの知見をLLMの価値と意見を評価するための推奨とオープンな課題に抽出する。
  論文  参考訳（メタデータ） (2024-02-26T18:00:49Z)
• MoCa: Measuring Human-Language Model Alignment on Causal and Moral Judgment Tasks [49.60689355674541]
  認知科学の豊富な文献は人々の因果関係と道徳的直観を研究してきた。 この研究は、人々の判断に体系的に影響を及ぼす多くの要因を明らかにした。 大規模言語モデル(LLM)が、人間の参加者と一致するテキストベースのシナリオについて因果的、道徳的な判断を下すかどうかを検証する。
  論文  参考訳（メタデータ） (2023-10-30T15:57:32Z)
• Moral Foundations of Large Language Models [6.6445242437134455]
  道徳的基礎理論(MFT)は、人間の道徳的推論を5つの要素に分解する心理学的評価ツールである。 大規模な言語モデル(LLM)は、インターネットから収集されたデータセットに基づいて訓練されるため、そのようなコーパスに存在するバイアスを反映する可能性がある。 本稿では、MFTをレンズとして用いて、人気のあるLLMが特定の道徳的価値観に対して偏見を得たかどうかを分析する。
  論文  参考訳（メタデータ） (2023-10-23T20:05:37Z)
• Value Kaleidoscope: Engaging AI with Pluralistic Human Values, Rights, and Duties [68.66719970507273]
  価値多元性とは、複数の正しい値が互いに緊張して保持されるという考え方である。 統計的学習者として、AIシステムはデフォルトで平均に適合する。 ValuePrismは、218kの値、権利、義務の大規模なデータセットで、31kの人間が記述した状況に関連付けられています。
  論文  参考訳（メタデータ） (2023-09-02T01:24:59Z)
• Heterogeneous Value Alignment Evaluation for Large Language Models [91.96728871418]
  大規模言語モデル(LLM)は、その価値を人間のものと整合させることを重要視している。 本研究では,LLMと不均一値の整合性を評価するため,不均一値アライメント評価(HVAE)システムを提案する。
  論文  参考訳（メタデータ） (2023-05-26T02:34:20Z)
• That's All Folks: a KG of Values as Commonsense Social Norms and Behaviors [0.34265828682659694]
  FOLK と That's All Folks という2つの存在論的加群を提案する。 FOLKは広義に意図された値のオントロジーであり、That's All Folksは語彙的および事実的なフォークバリュートリガのモジュールである。 このリソースは、フレームベースのアプローチでテキストから値を自動的に検出することでテストされる。
  論文  参考訳（メタデータ） (2023-03-01T16:35:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。