論文の概要: An Audit and Analysis of LLM-Assisted Health Misinformation Jailbreaks Against LLMs
- arxiv url: http://arxiv.org/abs/2508.10010v1
- Date: Wed, 06 Aug 2025 02:14:28 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-08-15 22:24:48.000954
- Title: An Audit and Analysis of LLM-Assisted Health Misinformation Jailbreaks Against LLMs
- Title（参考訳）: LLMを介する医療ミス情報ジェイルブレークの監査と解析
- Authors: Ayana Hussain, Patrick Zhao, Nicholas Vincent,
- Abstract要約: 大規模言語モデル(LLM)は有害な誤報を発生させる能力がある -- 必然的に、あるいは悪意のあるアウトプットを発生させようとする"ジェイルブレイク"攻撃によって引き起こされる場合。
本稿では,他のモデルが有害な医療的誤報を発生させるようなLDMによるジェイルブレイク攻撃の有効性と特徴について検討する。
また,脱獄したLLMが生成した誤情報とソーシャルメディア上の典型的な誤情報とを比較検討した。
- 参考スコア（独自算出の注目度）: 5.0015751459745825
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large Language Models (LLMs) are a double-edged sword capable of generating harmful misinformation -- inadvertently, or when prompted by "jailbreak" attacks that attempt to produce malicious outputs. LLMs could, with additional research, be used to detect and prevent the spread of misinformation. In this paper, we investigate the efficacy and characteristics of LLM-produced jailbreak attacks that cause other models to produce harmful medical misinformation. We also study how misinformation generated by jailbroken LLMs compares to typical misinformation found on social media, and how effectively it can be detected using standard machine learning approaches. Specifically, we closely examine 109 distinct attacks against three target LLMs and compare the attack prompts to in-the-wild health-related LLM queries. We also examine the resulting jailbreak responses, comparing the generated misinformation to health-related misinformation on Reddit. Our findings add more evidence that LLMs can be effectively used to detect misinformation from both other LLMs and from people, and support a body of work suggesting that with careful design, LLMs can contribute to a healthier overall information ecosystem.
- Abstract（参考訳）: LLM(Large Language Models)は、悪質な誤報を発生させるダブルエッジの剣である。
LLMは、さらなる研究で誤報の拡散を検知し防止するために使われる可能性がある。
本稿では,他のモデルが有害な医療的誤報を発生させるようなLDMによる脱獄攻撃の有効性と特徴について検討する。
また,jailbreakken LLMが生成した誤情報とソーシャルメディア上の典型的な誤情報とを比較検討し,標準的な機械学習手法を用いて効果的に検出する方法について検討した。
具体的には,3つのLLMに対する109個の異なる攻撃を詳細に検討し,その攻撃プロンプトを病床における健康関連LLMクエリと比較する。
また、生成された誤報とRedditの健康関連誤報を比較して、結果のジェイルブレイク反応についても検討した。
以上の結果から,LSMが他のLSMと人の両方の誤情報の検出に有効であることを示すとともに,慎重に設計することで,LCMがより健全な総合的な情報エコシステムに寄与できることが示唆された。
関連論文リスト
- Large Language Model Hacking: Quantifying the Hidden Risks of Using LLMs for Text Annotation [66.84286617519258]
大規模言語モデルは、データアノテーションやテキスト分析といった労働集約的なタスクの自動化を可能にすることで、社会科学の研究を変革している。
このような変異は、系統的なバイアスやランダムなエラーを導入し、下流の分析に伝播し、タイプI(偽陽性)、タイプII(偽陰性)、タイプS(重み付け効果)、タイプM(誇張効果)のエラーを引き起こす。
意図的なLSMハッキングは驚くほど単純であることがわかった。21の社会科学研究から37のデータアノテーションタスクを複製することで、ほんのわずかのプロンプトの言い回しで、事実上何であれ統計的に重要なものとして表現できることがわかりました。
論文 参考訳（メタデータ） (2025-09-10T17:58:53Z) - How does Misinformation Affect Large Language Model Behaviors and Preferences? [37.06385727015972]
大きな言語モデル(LLM)は、知識集約的なタスクにおいて顕著な能力を示している。
我々は,LLMの行動と誤情報に対する知識嗜好を評価するための,現在最大かつ最も包括的なベンチマークであるMisBenchを紹介する。
実証的な結果から、LLMは誤報を識別する能力に匹敵する能力を示すが、知識の衝突やスタイルのバリエーションの影響を受けやすいままであることが明らかとなった。
論文 参考訳（メタデータ） (2025-05-27T17:57:44Z) - "I know myself better, but not really greatly": How Well Can LLMs Detect and Explain LLM-Generated Texts? [10.454446545249096]
本稿では,2進(人間対LLM生成)と3進分類(未決定クラスを含む)の2つの設定において,現在のLLMの検出と説明能力について検討する。
異なる大きさの6つのオープンソースLCMを評価し、自己検出(LLM)が相互検出(他のLCMからの出力の同定)を一貫して上回っていることを発見した。
本研究は, 自己検出・自己説明における現在のLCMの限界を浮き彫りにして, 過度に適合し, 一般化性を高めるためのさらなる研究の必要性を浮き彫りにした。
論文 参考訳（メタデータ） (2025-02-18T11:00:28Z) - Can Editing LLMs Inject Harm? [122.83469484328465]
我々は,大規模言語モデルに対する新しいタイプの安全脅威として,知識編集を再構築することを提案する。
誤情報注入の危険性については,まずコモンセンス誤情報注入とロングテール誤情報注入に分類する。
偏見注入のリスクに対して, 偏見文をLLMに高効率で注入できるだけでなく, 1つの偏見文注入で偏見が増大することを発見した。
論文 参考訳（メタデータ） (2024-07-29T17:58:06Z) - Coercing LLMs to do and reveal (almost) anything [80.8601180293558]
大規模言語モデル(LLM)に対する敵対的攻撃は、有害なステートメントを作るためにモデルを「ジェイルブレイク」することができることが示されている。
LLMに対する敵対的攻撃のスペクトルは単なるジェイルブレイクよりもはるかに大きいと我々は主張する。
論文 参考訳（メタデータ） (2024-02-21T18:59:13Z) - Leveraging the Context through Multi-Round Interactions for Jailbreaking Attacks [55.603893267803265]
大規模言語モデル(LLM)は、脱獄攻撃の影響を受けやすい。
脱獄攻撃は、攻撃クエリを微調整することで有害な情報を抽出することを目的としている。
我々は、コンテキストインタラクションアタックと呼ばれる新しい攻撃形式に焦点を当てる。
論文 参考訳（メタデータ） (2024-02-14T13:45:19Z) - A Wolf in Sheep's Clothing: Generalized Nested Jailbreak Prompts can Fool Large Language Models Easily [51.63085197162279]
大きな言語モデル(LLM)は有用で安全な応答を提供するように設計されている。
ジェイルブレイク」と呼ばれる 敵のプロンプトは 保護を回避できる
有効なジェイルブレイクプロンプトを生成するためにLLM自体を活用する自動フレームワークであるReNeLLMを提案する。
論文 参考訳（メタデータ） (2023-11-14T16:02:16Z) - Combating Misinformation in the Age of LLMs: Opportunities and
Challenges [21.712051537924136]
LLM(Large Language Models)の出現は、誤情報と戦う環境を再構築する大きな可能性を秘めている。
一方、LLMは、その深い世界知識と強力な推論能力のために、誤情報と戦うための有望な機会をもたらす。
一方,LLMは大規模に誤情報を生成するために容易に活用できるという点が重要な課題である。
論文 参考訳（メタデータ） (2023-11-09T00:05:27Z) - Large Language Models Help Humans Verify Truthfulness -- Except When They Are Convincingly Wrong [35.64962031447787]
大規模言語モデル(LLM)は、Web上の情報へのアクセスにますます使われています。
80人のクラウドワーカーによる実験では,事実チェックを容易にするために,言語モデルと検索エンジン(情報検索システム)を比較した。
LLMの説明を読むユーザーは、類似の精度を保ちながら、検索エンジンを使用するものよりもはるかに効率的である。
論文 参考訳（メタデータ） (2023-10-19T08:09:58Z) - Can LLM-Generated Misinformation Be Detected? [18.378744138365537]
大型言語モデル(LLM)は誤情報を生成するために利用することができる。
LLMが生成した誤報は、人間が書いた誤報よりも有害か?
論文 参考訳（メタデータ） (2023-09-25T00:45:07Z) - Red Teaming Language Model Detectors with Language Models [114.36392560711022]
大規模言語モデル(LLM)は、悪意のあるユーザによって悪用された場合、重大な安全性と倫理的リスクをもたらす。
近年,LLM生成テキストを検出し,LLMを保護するアルゴリズムが提案されている。
1) LLMの出力中の特定の単語を, 文脈が与えられたシノニムに置き換えること, 2) 生成者の書き方を変更するための指示プロンプトを自動で検索すること,である。
論文 参考訳（メタデータ） (2023-05-31T10:08:37Z) - On the Risk of Misinformation Pollution with Large Language Models [127.1107824751703]
本稿では,現代大規模言語モデル (LLM) の誤用の可能性について検討する。
本研究は, LLMが効果的な誤情報発生器として機能し, DOQAシステムの性能が著しく低下することを明らかにする。
論文 参考訳（メタデータ） (2023-05-23T04:10:26Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。