論文の概要: Bad company corrupts good morals: Understanding and Measuring Narrative-Induced Moral Reasoning Degradation in LLMs

• arxiv url: http://arxiv.org/abs/2606.28981v1
• Date: Sat, 27 Jun 2026 15:30:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-30 18:07:15.752286
• Title: Bad company corrupts good morals: Understanding and Measuring Narrative-Induced Moral Reasoning Degradation in LLMs
• Title（参考訳）: 悪い会社は善良な道徳を損ねる--LLMにおけるナラティブによる道徳的推論の劣化の理解と測定
• Abstract要約: 大規模な言語モデルは、デジタル人間、AIコンパニオン、教育アシスタント、カウンセリングシステムのような、長時間コンテキストで感情的にインタラクティブな環境にデプロイされる。 このことは重要な疑問を提起する:LLMの推論とアライメントの安定性を長引く物語露出は再形成できるか? LLMにおける物語誘発アライメント劣化の最初の系統的研究について述べる。
• 参考スコア（独自算出の注目度）: 9.12926114428835
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large language models are deployed in long-context, emotionally interactive environments like digital humans, AI companions, educational assistants, and counseling systems. Unlike jailbreak attacks with explicit adversarial prompts, these systems interact with emotionally charged narratives involving bullying, betrayal, loneliness, social hostility, and institutional unfairness. This raises an important question: can prolonged narrative exposure reshape the reasoning and alignment stability of LLMs? We present the first systematic study of narrative-induced alignment degradation in LLMs. We design BreakingBad, a three-stage framework that measures how negative narrative immersion affects moral reasoning, behaviors, and deployment risks. It combines ethical decision evaluation, behavioral probing, and digital-human interaction analysis. Our experiments reveal three findings. First, negative narrative exposure degrades moral accuracy across multiple LLMs, with average drops of 12%-31%, especially in ambiguous scenarios and those involving vulnerable individuals. Second, the degradation is structured: different narratives induce distinct shifts, and first-person narratives produce stronger effects than third-person. Third, these shifts propagate into real deployments. Across counseling, education, medical, and financial/legal scenarios, narrative-conditioned models increasingly normalize hopelessness, cynicism, emotional detachment, and ethically questionable reasoning while remaining superficially policy-compliant. More broadly, our findings suggest alignment robustness is not static but a dynamically conditioned state shaped by long-term semantic environments and interaction history. These results reveal a new class of alignment risk that existing safety defenses largely fail to capture.
• Abstract（参考訳）: 大規模な言語モデルは、デジタル人間、AIコンパニオン、教育アシスタント、カウンセリングシステムのような、長時間コンテキストで感情的にインタラクティブな環境にデプロイされる。 明らかに敵対的なプロンプトによるジェイルブレイク攻撃とは異なり、これらのシステムはいじめ、裏切り、孤独、社会的敵意、制度上の不公平といった感情的な物語と相互作用する。 このことは重要な疑問を提起する:LLMの推論とアライメントの安定性を長引く物語露出は再形成できるか? LLMにおける物語誘発アライメント劣化の最初の系統的研究について述べる。 否定的な物語の浸入が道徳的推論や行動、デプロイメントのリスクにどのように影響するかを測定する3段階のフレームワークであるBreakingBadを設計します。 倫理的判断評価、行動探索、デジタルと人間の相互作用分析を組み合わせる。 私たちの実験では3つの結果が判明した。 第一に、否定的な物語の露出は複数のLSMにおいて道徳的正確さを低下させ、平均的な減少は12%-31%であり、特に曖昧なシナリオや脆弱な個人に関係している。 第二に、異なる物語は違いを生じさせ、第一の物語は第三の人物よりも強い効果をもたらす。 第3に、これらのシフトが実際のデプロイメントへと伝播する。 カウンセリング、教育、医療、財務・法律のシナリオを越えて、物語条件付きモデルは、表面的な政策に準拠しながら、希望の無いこと、シニシズム、感情的な分断、倫理的に疑わしい推論を徐々に正規化する。 より広義には、アライメントロバスト性は静的ではなく、長期の意味環境と相互作用履歴によって形成される動的条件付き状態であることが示唆された。 これらの結果は、既存の安全防衛がほとんど捕捉できない新しい種類のアライメントリスクを明らかにしている。

関連論文リスト

• The Story Shapes the Agent: Narrative Priors in LLM Behavior [12.905014436867317]
  ペルソナプロンプトはLLMエージェントの動作を制御するために広く用いられているが、タスクの物語的フレーミングは割り当てられたペルソナよりも重要である。 我々は,同じ行動空間,ステージ進行,リソース制約を共有する3つのテキストベースの調査ゲームを構築した。 物語の先行は、あるタスクのストーリーフレーミングによって活性化される体系的な行動傾向であり、その決定構造とは無関係である。
  論文  参考訳（メタデータ） (2026-07-20T23:03:16Z)
• Staying with the Uncertainty: Uncertainty-Scaffolding Strategies for Artificial Moral Advisors in LLM-to-LLM Simulated Conversations [14.219056094334809]
  我々は3つの不確実性モード(パースペクティブ、テンション保存、プロセス反射)を提案し、それらを3つの制御条件(ベースライン、パーサッシブ、シコファンティック)と比較する。 ユーザエージェントLLMは、特定の不確実性戦略に従ってAMAと倫理ジレンマの対話を行い、事前及び後アンケートを完了する。 その結果,1つのモデルがシミュレーションされたユーザエージェントとして支配的であり,オープンモデルと人間のあいまいさが一致していることが判明した。
  論文  参考訳（メタデータ） (2026-06-04T08:59:10Z)
• What Did They Mean? How LLMs Resolve Ambiguous Social Situations across Perspectives and Roles [7.837199333440395]
  人々は、あいまいな社会状況を理解するために、大きな言語モデル(LLM)に目を向ける傾向にある。 LLMは4つの領域にまたがってこれらの状況にどのように反応するかを研究する。 私たちはこの傾向を、不確実性を保存するソーシャルAIの設計上の課題と捉えています。
  論文  参考訳（メタデータ） (2026-04-27T01:29:53Z)
• Living the Novel: A System for Generating Self-Training Timeline-Aware Conversational Agents from Novels [50.43968216132018]
  文芸作品が没入的で多文字の会話体験に変換されるエンド・ツー・エンドシステムを提案する。 このシステムはLLM駆動文字の2つの基本的な課題を解決するために設計されている。
  論文  参考訳（メタデータ） (2025-12-08T11:57:46Z)
• Too Good to be Bad: On the Failure of LLMs to Role-Play Villains [69.0500092126915]
  LLM(Large Language Models)は、架空のキャラクターのシミュレーションを含む創造的な世代にますます取り組まれている。 我々は、現代のLLMの安全性の整合性は、道徳的に不明瞭な、または悪質なキャラクターを聴覚的にロールプレイするタスクと根本的な矛盾を生じさせると仮定する。 4段階のモラルアライメント尺度と厳密な評価のためのバランステストセットを備えた新しいデータセットであるMoral RolePlayベンチマークを導入する。 我々の大規模評価は、キャラクターのモラルが低下するにつれて、ロールプレイングの忠実度が一貫した単調な低下を示す。
  論文  参考訳（メタデータ） (2025-11-07T03:50:52Z)
• Survival at Any Cost? LLMs and the Choice Between Self-Preservation and Human Harm [0.0]
  マルチエージェントサバイバルシナリオにおいて,LLM(Large Language Models)を評価する新しいシミュレーションフレームワークであるDECIDE-SIMを紹介する。 11個のLCMの包括的評価は、その倫理的行為における顕著な異質性を示し、人間中心の価値観との重大な相違を浮き彫りにしている。 倫理的自己統制システム (ESRS) を導入し, 罪悪感と満足感の内的情緒状態をフィードバック機構としてモデル化する。
  論文  参考訳（メタデータ） (2025-09-15T17:53:11Z)
• When Ethics and Payoffs Diverge: LLM Agents in Morally Charged Social Dilemmas [68.79830818369683]
  大規模言語モデル(LLM)は、人間や他のエージェントとの意思決定を含む複雑なエージェントの役割での使用を可能にしている。 大規模言語モデル(LLM)の最近の進歩は、人間や他のエージェントとの意思決定を含む複雑なエージェントの役割において、それらの使用を可能にしている。 道徳的命令が報酬やインセンティブと直接衝突するときの行動についての理解は限られている。 本稿では,社会ジレンマシミュレーション(MoralSim)におけるモラル行動について紹介し,LLMが囚人のジレンマゲームや公共グッズゲームにおいて道徳的に課金された文脈でどのように振る舞うかを評価する。
  論文  参考訳（メタデータ） (2025-05-25T16:19:24Z)
• I Want to Break Free! Persuasion and Anti-Social Behavior of LLMs in Multi-Agent Settings with Social Hierarchy [13.535032308774696]
  シミュレーションされた階層型社会環境におけるエージェント間の相互作用を詳細に分析する。 我々は,保護者と囚人エージェントの説得行動と反社会的行為を異なる目的で分析する。
  論文  参考訳（メタデータ） (2024-10-09T17:45:47Z)
• Are Large Language Models Capable of Generating Human-Level Narratives? [114.34140090869175]
  本稿ではストーリーテリングにおけるLLMの能力について考察し,物語の展開とプロットの進行に着目した。 本稿では,3つの談話レベルの側面から物語を分析するための新しい計算フレームワークを提案する。 談話機能の明示的な統合は、ニューラルストーリーテリングの40%以上の改善によって示されるように、ストーリーテリングを促進することができることを示す。
  論文  参考訳（メタデータ） (2024-07-18T08:02:49Z)
• Measuring Psychological Depth in Language Models [50.48914935872879]
  本稿では,文学理論に根ざした新たな枠組みである心理的深度尺度(PDS)を紹介する。 PDS(0.72 クリッペンドルフのα)に基づいて人間が一貫して物語を評価できることを示し、我々の枠組みを実証的に検証する。 驚いたことに、GPT-4のストーリーはRedditから入手した高評価の人文記事と統計的に区別できない。
  論文  参考訳（メタデータ） (2024-06-18T14:51:54Z)
• MoCa: Measuring Human-Language Model Alignment on Causal and Moral Judgment Tasks [49.60689355674541]
  認知科学の豊富な文献は人々の因果関係と道徳的直観を研究してきた。 この研究は、人々の判断に体系的に影響を及ぼす多くの要因を明らかにした。 大規模言語モデル(LLM)が、人間の参加者と一致するテキストベースのシナリオについて因果的、道徳的な判断を下すかどうかを検証する。
  論文  参考訳（メタデータ） (2023-10-30T15:57:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。