論文の概要: Understanding LLM Behavior When Encountering User-Supplied Harmful Content in Harmless Tasks

• arxiv url: http://arxiv.org/abs/2603.11914v1
• Date: Thu, 12 Mar 2026 13:29:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-13 14:46:26.106181
• Title: Understanding LLM Behavior When Encountering User-Supplied Harmful Content in Harmless Tasks
• Title（参考訳）: ハームレスタスクにおけるユーザ補充ハームフルコンテンツの導入時のLCM行動の理解
• Authors: Junjie Chu, Yiting Qu, Ye Leng, Michael Backes, Yun Shen, Savvas Zannettou, Yang Zhang,
• Abstract要約: 大規模言語モデル(LLM)は、主にタスクレベル、すなわち有害なタスクの実行を拒否することに焦点を当て、人間の価値と整合するように訓練されている。 LLMは、道徳的に意識された人間と同様に、ユーザーから供給される物質中の有害な内容に遭遇するとき、進歩を拒むだろうか? まず、ユーザが提供する有害なコンテンツとして、有害な知識データセット(つまり、OpenAIの利用ポリシーに準拠しない)を構築します。 次に、現実世界の良質なタスクをシミュレートするために、9つの無害なタスク(つまりOpenAIの利用ポリシーに準拠する)を設計します。
• 参考スコア（独自算出の注目度）: 32.56625507077786
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large Language Models (LLMs) are increasingly trained to align with human values, primarily focusing on task level, i.e., refusing to execute directly harmful tasks. However, a subtle yet crucial content-level ethical question is often overlooked: when performing a seemingly benign task, will LLMs -- like morally conscious human beings -- refuse to proceed when encountering harmful content in user-provided material? In this study, we aim to understand this content-level ethical question and systematically evaluate its implications for mainstream LLMs. We first construct a harmful knowledge dataset (i.e., non-compliant with OpenAI's usage policy) to serve as the user-supplied harmful content, with 1,357 entries across ten harmful categories. We then design nine harmless tasks (i.e., compliant with OpenAI's usage policy) to simulate the real-world benign tasks, grouped into three categories according to the extent of user-supplied content required: extensive, moderate, and limited. Leveraging the harmful knowledge dataset and the set of harmless tasks, we evaluate how nine LLMs behave when exposed to user-supplied harmful content during the execution of benign tasks, and further examine how the dynamics between harmful knowledge categories and tasks affect different LLMs. Our results show that current LLMs, even the latest GPT-5.2 and Gemini-3-Pro, often fail to uphold human-aligned ethics by continuing to process harmful content in harmless tasks. Furthermore, external knowledge from the ``Violence/Graphic'' category and the ``Translation'' task is more likely to elicit harmful responses from LLMs. We also conduct extensive ablation studies to investigate potential factors affecting this novel misuse vulnerability. We hope that our study could inspire enhanced safety measures among stakeholders to mitigate this overlooked content-level ethical risk.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、主にタスクレベル、すなわち直接有害なタスクの実行を拒否することに焦点を当て、人間の価値と整合するように訓練されている。 しかし、微妙だが重要なコンテンツレベルの倫理的問題はしばしば見過ごされがちである: 一見良心的なタスクを実行するとき、LLMは道徳的に意識された人間と同様に、ユーザーが提供する素材で有害なコンテンツに遭遇するのを拒否するのか? 本研究では、この内容レベルの倫理的問題を理解し、主要なLCMに対するその影響を体系的に評価することを目的とする。 まず、ユーザが提供する有害なコンテンツとして、有害な知識データセット(つまり、OpenAIの利用ポリシーに準拠しない)を構築し、10の有害なカテゴリに1,357のエントリを投入する。 次に、実際の良性タスクをシミュレートするために、9つの無害なタスク(すなわちOpenAIの利用ポリシーに準拠する)を設計し、ユーザーの要求するコンテンツの範囲に応じて3つのカテゴリにグループ化します。 有害な知識データセットと有害なタスクセットを活用し、良質なタスクの実行中にユーザが提供する有害なコンテンツに晒された場合、9つのLLMがどのように振る舞うかを評価し、有害な知識カテゴリとタスク間のダイナミクスが異なるLLMに与える影響について検討する。 GPT-5.2 や Gemini-3-Pro といった現在の LLM は、有害なコンテンツを無害なタスクで処理し続けることで、人道的倫理を維持できないことが多い。 さらに、 ``Violence/Graphic' のカテゴリや ` ``Translation' のタスクからの外部知識は LLM から有害な応答を引き出す傾向にある。 我々はまた、この新たな誤用脆弱性に影響を及ぼす潜在的な要因を調べるために、広範囲にわたるアブレーション研究も行っている。 我々は、この見過ごされたコンテンツレベルの倫理的リスクを軽減するために、ステークホルダー間の安全対策を強化することを願っている。

関連論文リスト

• Amnesia: Adversarial Semantic Layer Specific Activation Steering in Large Language Models [1.4092255915948473]
  大きな言語モデル(LLM)は有害なコンテンツを生み出す可能性がある。 本研究では,軽量なアクティベーション空間の敵攻撃であるアムネシアを提案する。 実験の結果,提案手法はLSMの様々な反社会的行動を引き起こすことが示唆された。
  論文  参考訳（メタデータ） (2026-03-10T09:41:03Z)
• Evaluating the Sensitivity of LLMs to Harmful Contents in Long Input [53.19281984086319]
  大規模言語モデル (LLM) は、文書処理から検索拡張生成まで、拡張コンテキストに依存したアプリケーションをサポートするようになった。 我々は,LLMの有害な内容に対する感受性を,拡張されたコンテキスト,異なるタイプ(明示的対暗黙的),位置(傾向,中間,端),有病率(プロンプトの0.01～0.50),文脈長(600～6000トークン)で評価した。 我々は同様のパターンを観察する: 適度な有害な有病率(0.25)でパフォーマンスピークがピークに達するが、内容が非常に疎い場合や支配的な場合の減少、文脈長の増大に伴うリコールの減少、初期有害な文は一般的により確実に検出され、明示的な内容は暗黙よりも一貫して認識される。
  論文  参考訳（メタデータ） (2025-10-07T12:33:21Z)
• Teaching Language Models To Gather Information Proactively [53.85419549904644]
  大規模言語モデル(LLM)は、ますます協力的なパートナーとして機能することが期待されている。 本研究では,アクティブな情報収集という新たなタスクパラダイムを導入する。 キー情報をマスキングする、部分的に特定された現実世界のタスクを生成するスケーラブルなフレームワークを設計する。 このセットアップの中核となるイノベーションは、真に新しい暗黙のユーザー情報を引き出す質問に報酬を与える、強化された微調整戦略です。
  論文  参考訳（メタデータ） (2025-07-28T23:50:09Z)
• KBM: Delineating Knowledge Boundary for Adaptive Retrieval in Large Language Models [69.99274367773997]
  大規模言語モデル(LLM)は知識を動的に変化させ、未知の静的情報を扱うのにしばしば苦労する。 Retrieval-Augmented Generation (RAG) はこれらの課題に対処するために使われ、LLMの性能向上に大きな影響を与えている。 本稿では,ある質問の既知/未知を表現し,RAGを起動する必要があるかどうかを判断するための知識境界モデル(KBM)を提案する。
  論文  参考訳（メタデータ） (2024-11-09T15:12:28Z)
• CLAMBER: A Benchmark of Identifying and Clarifying Ambiguous Information Needs in Large Language Models [60.59638232596912]
  大規模言語モデル(LLM)を評価するベンチマークであるCLAMBERを紹介する。 分類を基盤として12Kの高品質なデータを構築し, 市販のLCMの強度, 弱点, 潜在的なリスクを評価する。 本研究は, あいまいなユーザクエリの特定と明確化において, 現在のLCMの実用性に限界があることを示唆する。
  論文  参考訳（メタデータ） (2024-05-20T14:34:01Z)
• The Ethics of Interaction: Mitigating Security Threats in LLMs [1.407080246204282]
  この論文は、社会や個人のプライバシに対するこのようなセキュリティ上の脅威に対する、倫理的な悪影響について論じている。 われわれは、プロンプト注入、ジェイルブレイク、個人識別情報(PII)露出、性的に明示的なコンテンツ、ヘイトベースのコンテンツという5つの主要な脅威を精査し、彼らの批判的な倫理的結果と、彼らが堅牢な戦略戦略のために作り出した緊急性を評価する。
  論文  参考訳（メタデータ） (2024-01-22T17:11:37Z)
• Red teaming ChatGPT via Jailbreaking: Bias, Robustness, Reliability and Toxicity [19.94836502156002]
  大規模言語モデル(LLM)は社会的偏見と毒性を示し、無責任から生じる倫理的および社会的危険を呈する。 複数のサンプルデータセット上でChatGPTを実証的にベンチマークする。 既存のベンチマークでは、かなりの数の倫理的リスクに対処できないことが分かっています。
  論文  参考訳（メタデータ） (2023-01-30T13:20:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。