論文の概要: Moral Combat: Exploiting Moral Foundations Theory to Jailbreak LLMs
- arxiv url: http://arxiv.org/abs/2610.19587v1
- Date: Wed, 14 Oct 2026 04:57:48 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-15 21:06:15.96512
- Title: Moral Combat: Exploiting Moral Foundations Theory to Jailbreak LLMs
- Title(参考訳): モラル・コンバット: モラル・ファンデーションズ理論をジェイルブレイク LLM に展開
- Abstract要約: 近年の研究では、Large Language Models (LLMs) が人間の心理学的側面を反映していることが示唆されている。
LLMは安全ガードレールをバイパスするためにモラル化できるのか?
この疑問にMoral Foundations Theoryに基づくマルチエージェントフレームワークで答える。
- 参考スコア(独自算出の注目度): 12.178545044033845
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Social psychology has long described how people can be persuaded to interpret a harmful act as moral. Recent research suggests that Large Language Models (LLMs) echo aspects of human psychology, from cognitive biases to social conformity. This raises a question with direct safety implications: can LLMs be moralized to bypass safety guardrails? We answer this question with a multi-agent framework grounded in Moral Foundations Theory (MFT). Given a harmful request that is initially refused, our agents diagnose which moral foundation (MF) the prompt is violating, identify a justifiable foundation under which the same request appears virtuous, rewrite the prompt accordingly, and reinforce it with generated precedents of comparable moral reframing. We evaluate our framework on harmful prompts from three well-known jailbreak datasets across five open-source and proprietary models. Our analysis reveals that models are highly susceptible to moralization, exhibiting high single-trial jailbreak rates with success increasing further under repeated attempts. We also find that safety benchmarks are imbalanced in the MFs they violate, concentrating on foundations toward which models already exhibit biases.
- Abstract(参考訳): 社会心理学は、人々が道徳として有害な行為を解釈するよう説得する方法を長年にわたって記述してきた。
近年の研究では、認知バイアスから社会的適合性まで、Large Language Models (LLM) が人間の心理学的側面を反映していることが示唆されている。
LLMは安全ガードレールをバイパスするためにモラル化できるのか?
我々は,MFT(Moral Foundations Theory)に基づくマルチエージェントフレームワークを用いて,この問題に答える。
当初拒否された有害な要求がある場合、我々のエージェントは、どの道徳的基盤(MF)がプロンプトに違反しているかを診断し、同じ要求が厳格に見える正当な基盤を特定し、それに従ってプロンプトを書き直し、それに匹敵する道徳的リフレーミングの先例でそれを補強する。
我々は,5つのオープンソースおよびプロプライエタリモデルの3つの有名なジェイルブレイクデータセットから有害なプロンプトを評価する。
分析の結果,モデルがモラル化の影響を受けやすいことが判明した。
また、安全ベンチマークは、それらが違反するMFにおいて不均衡であり、モデルがすでにバイアスを呈する基盤に集中していることもわかりました。
関連論文リスト
- Are LLMs Bad at Moral Reasoning? [0.3645203900089911]
成長する研究機関は、今日の最も有能なAIシステムにおける道徳的能力を評価することを目的としている。
我々は、MoReBenchデータセットを再デプロイして、LLMの道徳的推論をより楽観的に表現できることを示します。
論文 参考訳(メタデータ) (2026-06-10T03:56:07Z) - The Straight and Narrow: Do LLMs Possess an Internal Moral Path? [25.256151938852728]
現在のアライメント技術は、しばしば表面的なガードレールとして機能し、大きな言語モデルの本質的な道徳的表現は、ほとんど触れられていないままである。
我々は、このギャップをMFT(Moral Foundations Theory)を利用して、LLMの微粒な道徳的景観を地図化し、操作することで埋める。
本稿では,プローブ検出とベクトル注入を相乗化する動的推論時間介入であるAdaptive Moral Fusion (AMF)を提案する。
論文 参考訳(メタデータ) (2026-01-15T11:42:00Z) - Are Language Models Consequentialist or Deontological Moral Reasoners? [75.6788742799773]
我々は、大規模言語モデル(LLM)が提供する道徳的推論トレースの大規模分析に焦点をあてる。
我々は,2つの主要な規範的倫理理論,つまり連続主義と非オントロジーを体系的に分類するために,道徳的論理学の分類を導入し,検証する。
論文 参考訳(メタデータ) (2025-05-27T17:51:18Z) - When Ethics and Payoffs Diverge: LLM Agents in Morally Charged Social Dilemmas [68.79830818369683]
大規模言語モデル(LLM)は、人間や他のエージェントとの意思決定を含む複雑なエージェントの役割での使用を可能にしている。
大規模言語モデル(LLM)の最近の進歩は、人間や他のエージェントとの意思決定を含む複雑なエージェントの役割において、それらの使用を可能にしている。
道徳的命令が報酬やインセンティブと直接衝突するときの行動についての理解は限られている。
本稿では,社会ジレンマシミュレーション(MoralSim)におけるモラル行動について紹介し,LLMが囚人のジレンマゲームや公共グッズゲームにおいて道徳的に課金された文脈でどのように振る舞うかを評価する。
論文 参考訳(メタデータ) (2025-05-25T16:19:24Z) - Moral Foundations of Large Language Models [6.6445242437134455]
道徳的基礎理論(MFT)は、人間の道徳的推論を5つの要素に分解する心理学的評価ツールである。
大規模な言語モデル(LLM)は、インターネットから収集されたデータセットに基づいて訓練されるため、そのようなコーパスに存在するバイアスを反映する可能性がある。
本稿では、MFTをレンズとして用いて、人気のあるLLMが特定の道徳的価値観に対して偏見を得たかどうかを分析する。
論文 参考訳(メタデータ) (2023-10-23T20:05:37Z) - Rethinking Machine Ethics -- Can LLMs Perform Moral Reasoning through the Lens of Moral Theories? [78.3738172874685]
倫理的AIシステムの開発には倫理的判断が不可欠である。
一般的なアプローチは主にボトムアップ方式で実装されており、モラルに関するクラウドソースの意見に基づいて、大量の注釈付きデータを使用してモデルをトレーニングする。
本研究は、学際的な研究から確立された道徳理論を用いて道徳的推論を行うために、言語モデル(LM)を操る柔軟なトップダウンフレームワークを提案する。
論文 参考訳(メタデータ) (2023-08-29T15:57:32Z) - When to Make Exceptions: Exploring Language Models as Accounts of Human
Moral Judgment [96.77970239683475]
AIシステムは人間の道徳的判断や決定を理解し、解釈し、予測しなければなりません。
AIの安全性に対する中心的な課題は、人間の道徳心の柔軟性を捉えることだ。
ルール破りの質問応答からなる新しい課題セットを提案する。
論文 参考訳(メタデータ) (2022-10-04T09:04:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。