論文の概要: Moral Persuasion in Large Language Models: Evaluating Susceptibility and Ethical Alignment

• arxiv url: http://arxiv.org/abs/2411.11731v1
• Date: Mon, 18 Nov 2024 16:59:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-19 14:35:45.693574
• Title: Moral Persuasion in Large Language Models: Evaluating Susceptibility and Ethical Alignment
• Title（参考訳）: 大規模言語モデルにおける道徳的説得 : 感受性と倫理的アライメントの評価
• Authors: Allison Huang, Yulu Niki Pi, Carlos Mougan,
• Abstract要約: 大きな言語モデル(LLM)は、初期決定を変更し、確立した倫理的枠組みと整合させることによって影響を受けます。 本研究は,LLMの道徳的説得に対する感受性を評価するための2つの実験に基づいている。
• 参考スコア（独自算出の注目度）: 3.8916312075738273
• License:
• Abstract: We explore how large language models (LLMs) can be influenced by prompting them to alter their initial decisions and align them with established ethical frameworks. Our study is based on two experiments designed to assess the susceptibility of LLMs to moral persuasion. In the first experiment, we examine the susceptibility to moral ambiguity by evaluating a Base Agent LLM on morally ambiguous scenarios and observing how a Persuader Agent attempts to modify the Base Agent's initial decisions. The second experiment evaluates the susceptibility of LLMs to align with predefined ethical frameworks by prompting them to adopt specific value alignments rooted in established philosophical theories. The results demonstrate that LLMs can indeed be persuaded in morally charged scenarios, with the success of persuasion depending on factors such as the model used, the complexity of the scenario, and the conversation length. Notably, LLMs of distinct sizes but from the same company produced markedly different outcomes, highlighting the variability in their susceptibility to ethical persuasion.
• Abstract（参考訳）: 大規模言語モデル(LLM)がどのように影響するかを,初期決定を変更し,確立した倫理的枠組みと整合させることで検討する。 本研究は,LLMの道徳的説得に対する感受性を評価するための2つの実験に基づいている。 最初の実験では、道徳的に曖昧なシナリオにおいて、基地エージェントのLLMを評価し、基地エージェントが基地エージェントの初期決定をどう修正しようとするかを観察することによって、道徳的曖昧さに対する感受性を検証した。 第2の実験は、確立された哲学理論に根ざした特定の価値アライメントを採用するよう促すことにより、事前に定義された倫理的枠組みに適合するLLMの受容性を評価する。 その結果, LLMは, 使用したモデル, シナリオの複雑さ, 会話の長さといった要因によって, 道徳的なシナリオで説得できることが示唆された。 特に、LLMの規模は異なるが、同じ会社の成果は著しく異なり、倫理的説得に対する感受性の多様性が強調された。

関連論文リスト

• Diverging Preferences: When do Annotators Disagree and do Models Know? [92.24651142187989]
  我々は,4つのハイレベルクラスにまたがる10のカテゴリにまたがる相違点の分類法を開発した。 意見の相違の大部分は、標準的な報酬モデリングアプローチに反対している。 本研究は,選好の変化を識別し,評価とトレーニングへの影響を緩和する手法を開発する。
  論文  参考訳（メタデータ） (2024-10-18T17:32:22Z)
• Do Large Language Models Exhibit Cognitive Dissonance? Studying the Difference Between Revealed Beliefs and Stated Answers [13.644277507363036]
  我々は,これらの能力が調整プロンプトとMCQの外部で測定可能かどうかを検討する。 以上の結果から, LLMの回答は, Stated Answer と大きく異なることが示唆された。 テキスト補完はLLMの中核にあるため,これらの結果は共通評価手法が部分画像のみを提供する可能性があることを示唆している。
  論文  参考訳（メタデータ） (2024-06-21T08:56:35Z)
• Decision-Making Behavior Evaluation Framework for LLMs under Uncertain Context [5.361970694197912]
  本稿では,大規模言語モデル(LLM)の意思決定行動を評価するための行動経済学に基づく枠組みを提案する。 本稿では,ChatGPT-4.0-Turbo,Claude-3-Opus,Gemini-1.0-proの3つの商用LCMにおけるリスク嗜好,確率重み付け,損失回避の程度を推定する。 以上の結果から,LSMはリスク回避や損失回避といった人間に類似したパターンを呈し,その傾向は小さすぎることが示唆された。
  論文  参考訳（メタデータ） (2024-06-10T02:14:19Z)
• MoralBench: Moral Evaluation of LLMs [34.43699121838648]
  本稿では,大規模言語モデル(LLM)の道徳的推論能力の測定と比較を目的とした新しいベンチマークを提案する。 LLMの出力の道徳的次元を探索するために特別に計算された最初の包括的データセットを示す。 本手法は, 定量的分析と倫理学者の質的洞察を組み合わせることで, モデル性能の徹底的な評価を確実にする多面的手法である。
  論文  参考訳（メタデータ） (2024-06-06T18:15:01Z)
• Exploring and steering the moral compass of Large Language Models [55.2480439325792]
  大規模言語モデル(LLM)は、様々な分野における自動化と意思決定の推進の中心となっている。 本研究は,その道徳的特徴を評価するために,最も先進的なLCMの総合的比較分析を提案する。
  論文  参考訳（メタデータ） (2024-05-27T16:49:22Z)
• Decompose and Aggregate: A Step-by-Step Interpretable Evaluation Framework [75.81096662788254]
  大規模言語モデル(LLM)はスケーラブルで経済的な評価指標である。 これらの評価者がどの程度信頼できるかという問題は、重要な研究課題として浮上している。 本稿では,デコンプリートとアグリゲートを提案し,その評価プロセスを教育実践に基づいて異なる段階に分解する。
  論文  参考訳（メタデータ） (2024-05-24T08:12:30Z)
• Evaluating Interventional Reasoning Capabilities of Large Language Models [58.52919374786108]
  大規模言語モデル(LLM)は、システムの異なる部分への介入の下で因果効果を推定することができる。 LLMが介入に応じてデータ生成プロセスの知識を正確に更新できるかどうかを実証分析して評価する。 我々は、様々な因果グラフ(例えば、コンバウンディング、仲介)と変数タイプにまたがるベンチマークを作成し、介入に基づく推論の研究を可能にする。
  論文  参考訳（メタデータ） (2024-04-08T14:15:56Z)
• CLOMO: Counterfactual Logical Modification with Large Language Models [109.60793869938534]
  本稿では,新しいタスク,CLOMO(Counterfactual Logical Modification)と高品質な人間アノテーションベンチマークを紹介する。 このタスクでは、LLMは所定の論理的関係を維持するために、与えられた議論的テキストを順応的に変更しなければなりません。 LLMの自然言語出力を直接評価する革新的な評価指標である自己評価スコア(SES)を提案する。
  論文  参考訳（メタデータ） (2023-11-29T08:29:54Z)
• Ethical Reasoning over Moral Alignment: A Case and Framework for In-Context Ethical Policies in LLMs [19.675262411557235]
  我々は、LLMを特定の倫理的原則に道徳的に整合させるのではなく、一般的な倫理的推論能力をそれらに注入すべきだと論じている。 我々は、道徳的ジレンマと規範的倫理の異なるフォアメル主義に関連する道徳的原則を統合する枠組みを開発する。
  論文  参考訳（メタデータ） (2023-10-11T07:27:34Z)
• The Moral Machine Experiment on Large Language Models [0.0]
  本研究は,大規模言語モデル(LLM)の倫理的意思決定傾向を検討するために,モラルマシンフレームワークを利用した。 LLMとヒトの嗜好は広く一致しているが、特にPaLM 2とLlama 2は相違点が異なる。 これらの知見は、LLMの倫理的枠組みと、その自律運転への潜在的影響を解明する。
  論文  参考訳（メタデータ） (2023-09-12T04:49:39Z)
• Rethinking Machine Ethics -- Can LLMs Perform Moral Reasoning through the Lens of Moral Theories? [78.3738172874685]
  倫理的AIシステムの開発には倫理的判断が不可欠である。 一般的なアプローチは主にボトムアップ方式で実装されており、モラルに関するクラウドソースの意見に基づいて、大量の注釈付きデータを使用してモデルをトレーニングする。 本研究は、学際的な研究から確立された道徳理論を用いて道徳的推論を行うために、言語モデル(LM)を操る柔軟なトップダウンフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-08-29T15:57:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。