論文の概要: Emotional Manipulation Through Prompt Engineering Amplifies
Disinformation Generation in AI Large Language Models
- arxiv url: http://arxiv.org/abs/2403.03550v1
- Date: Wed, 6 Mar 2024 08:50:25 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-07 15:46:55.491296
- Title: Emotional Manipulation Through Prompt Engineering Amplifies
Disinformation Generation in AI Large Language Models
- Title(参考訳): ai大規模言語モデルにおける感情操作による偽情報生成の増幅
- Authors: Rasita Vinay, Giovanni Spitale, Nikola Biller-Andorno, Federico
Germani
- Abstract要約: 本研究では,OpenAIのLarge Language Models (LLMs) による合成偽情報の創出と,その感情的刺激に対する応答性について検討する。
ソーシャルメディア投稿を合成した19のコーパスから,OpenAI による全ての LLM が偽情報の生成に成功していることが明らかとなった。
丁寧に刺激すると、全てのLLMは一貫して高周波で偽情報を発生させる。
しかし、偽情報生成の頻度は減少し、モデルはしばしば偽情報の生成を拒み、そのツールがそのような目的を意図していないことをユーザーに警告する。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: This study investigates the generation of synthetic disinformation by
OpenAI's Large Language Models (LLMs) through prompt engineering and explores
their responsiveness to emotional prompting. Leveraging various LLM iterations
using davinci-002, davinci-003, gpt-3.5-turbo and gpt-4, we designed
experiments to assess their success in producing disinformation. Our findings,
based on a corpus of 19,800 synthetic disinformation social media posts, reveal
that all LLMs by OpenAI can successfully produce disinformation, and that they
effectively respond to emotional prompting, indicating their nuanced
understanding of emotional cues in text generation. When prompted politely, all
examined LLMs consistently generate disinformation at a high frequency.
Conversely, when prompted impolitely, the frequency of disinformation
production diminishes, as the models often refuse to generate disinformation
and instead caution users that the tool is not intended for such purposes. This
research contributes to the ongoing discourse surrounding responsible
development and application of AI technologies, particularly in mitigating the
spread of disinformation and promoting transparency in AI-generated content.
- Abstract(参考訳): 本研究では,OpenAIのLarge Language Models (LLMs) による合成偽情報の創出と,その感情的刺激に対する応答性について検討する。
davinci-002, davinci-003, gpt-3.5-turbo, gpt-4を用いた様々なllmイテレーションを活用し, 不正情報生成の成功を評価する実験を行った。
その結果, ソーシャルメディア投稿19,800件のコーパスに基づいて, OpenAI による全ての LLM が情報発信に成功し, 感情的刺激に効果的に反応し, テキスト生成における感情的手がかりの曖昧な理解を示すことが明らかとなった。
丁寧に刺激すると、全てのLLMは一貫して高周波で偽情報を生成する。
逆に、偽情報生成の頻度は減少し、モデルはしばしば偽情報の生成を拒み、そのツールがそのような目的を意図していないことをユーザーに警告する。
この研究は、AI技術の責任ある開発と応用に関する継続的な議論、特に、偽情報の拡散を緩和し、AI生成コンテンツの透明性を促進することに寄与する。
関連論文リスト
- The Frontier of Data Erasure: Machine Unlearning for Large Language Models [56.26002631481726]
大規模言語モデル(LLM)はAIの進歩の基礎となっている。
LLMは機密情報、偏見情報、著作権情報を記憶し、広めることによってリスクを生じさせる。
機械学習は、これらの懸念を軽減するための最先端のソリューションとして現れます。
論文 参考訳(メタデータ) (2024-03-23T09:26:15Z) - A Closer Look at the Limitations of Instruction Tuning [54.565210478164104]
インストラクションチューニング(IT)は,大規模言語モデル(LLM)における知識やスキルの向上に失敗することを示す。
また、一般的なIT改善手法は、シンプルなLoRA微調整モデルよりも性能改善につながるものではないことも示している。
この結果から,事前学習した知識のみから生成した応答は,オープンソースデータセット上でITから新たな知識を学習するモデルによって,一貫した応答性能が向上することが判明した。
論文 参考訳(メタデータ) (2024-02-03T04:45:25Z) - Generative AI in Writing Research Papers: A New Type of Algorithmic Bias
and Uncertainty in Scholarly Work [0.38850145898707145]
大規模言語モデル(LLM)と生成AIツールは、バイアスを特定し、対処する上での課題を提示している。
生成型AIツールは、不正な一般化、幻覚、レッド・チーム・プロンプトのような敵攻撃を目標とする可能性がある。
研究原稿の執筆過程に生成AIを組み込むことで,新しいタイプの文脈依存型アルゴリズムバイアスがもたらされることがわかった。
論文 参考訳(メタデータ) (2023-12-04T04:05:04Z) - Disinformation Capabilities of Large Language Models [0.564232659769944]
本稿では,現在世代の大言語モデル(LLM)の非情報化能力について述べる。
20個の偽情報物語を用いた10個のLDMの能力評価を行った。
LLMは、危険な偽情報の物語に一致する説得力のあるニュース記事を生成することができると結論付けている。
論文 参考訳(メタデータ) (2023-11-15T10:25:30Z) - RECALL: A Benchmark for LLMs Robustness against External Counterfactual
Knowledge [69.79676144482792]
本研究の目的は,LLMが外部知識から信頼できる情報を識別する能力を評価することである。
本ベンチマークは,質問応答とテキスト生成という2つのタスクから構成される。
論文 参考訳(メタデータ) (2023-11-14T13:24:19Z) - Insights into Classifying and Mitigating LLMs' Hallucinations [48.04565928175536]
本稿では,AI幻覚の根本原因を解明し,人工知能におけるその意義を明らかにする。
我々は,大規模な言語モデルの全体的な信頼性を高めることを目的として,幻覚を緩和するための潜在的戦略を探究する。
論文 参考訳(メタデータ) (2023-11-14T12:30:28Z) - Factuality Challenges in the Era of Large Language Models [113.3282633305118]
大規模言語モデル(LLM)は、誤った、誤った、あるいは誤解を招くコンテンツを生成する。
LLMは悪意のあるアプリケーションに利用することができる。
これは、ユーザーを欺く可能性があるという点で、社会に重大な課題をもたらす。
論文 参考訳(メタデータ) (2023-10-08T14:55:02Z) - The Age of Synthetic Realities: Challenges and Opportunities [85.058932103181]
我々は、有害な合成生成を識別し、それらを現実と区別することのできる法医学的手法の開発における重要な必要性を強調した。
我々の焦点は、画像、ビデオ、オーディオ、テキストなどの様々なメディアの形式にまで及んでいる。
この研究は、AI生成技術の急速な進歩と、法科学の基本原理に対する影響により、最も重要である。
論文 参考訳(メタデータ) (2023-06-09T15:55:10Z) - Detection of Fake Generated Scientific Abstracts [0.9525711971667679]
学術コミュニティは、現実と人工的に生成されたものとを区別することの難しさについて懸念を表明している。
本研究では,GPT-3モデルを用いて,人工知能による科学論文の要約を生成する。
本稿では,機械学習モデルと組み合わせたテキスト表現手法について検討する。
論文 参考訳(メタデータ) (2023-04-12T20:20:22Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。