論文の概要: A Peek Behind the Curtain: Using Step-Around Prompt Engineering to Identify Bias and Misinformation in GenAI Models

• arxiv url: http://arxiv.org/abs/2503.15205v1
• Date: Wed, 19 Mar 2025 13:47:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-20 15:24:37.825590
• Title: A Peek Behind the Curtain: Using Step-Around Prompt Engineering to Identify Bias and Misinformation in GenAI Models
• Title（参考訳）: ステップ・アラウンド・プロンプト・エンジニアリングによるGenAIモデルにおけるバイアスと誤情報の同定
• Authors: Don Hickerson, Mike Perkins,
• Abstract要約: 我々は、AIシステムに意図しないバイアスと誤情報を導入するインターネットソーストレーニングデータについて論じる。 我々は、研究ツールとセキュリティの脅威の両方として、その二重性を認めながら、潜在的な脆弱性を特定する上で、ステップアラウンドプロンプトが重要な役割を担っていると論じている。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: This research examines the emerging technique of step-around prompt engineering in GenAI research, a method that deliberately bypasses AI safety measures to expose underlying biases and vulnerabilities in GenAI models. We discuss how Internet-sourced training data introduces unintended biases and misinformation into AI systems, which can be revealed through the careful application of step-around techniques. Drawing parallels with red teaming in cybersecurity, we argue that step-around prompting serves a vital role in identifying and addressing potential vulnerabilities while acknowledging its dual nature as both a research tool and a potential security threat. Our findings highlight three key implications: (1) the persistence of Internet-derived biases in AI training data despite content filtering, (2) the effectiveness of step-around techniques in exposing these biases when used responsibly, and (3) the need for robust safeguards against malicious applications of these methods. We conclude by proposing an ethical framework for using step-around prompting in AI research and development, emphasizing the importance of balancing system improvements with security considerations.
• Abstract（参考訳）: 本研究は、GenAIモデルにおける基盤となるバイアスや脆弱性を明らかにするために、AIの安全性対策を意図的に回避する手法であるGenAI研究におけるステップアラウンド・プロンプトエンジニアリングの新興技術について検討する。 我々は、AIシステムに意図しないバイアスや誤情報を導入し、ステップアラウンド手法の慎重に適用することで、インターネットベースのトレーニングデータがどのようにして導入されるかについて論じる。 サイバーセキュリティにおけるレッドチームと平行して、ステップアラウンドの促進は潜在的な脆弱性を特定し、対処する上で重要な役割を担いながら、研究ツールと潜在的なセキュリティ脅威の両方としてその二重性を認めています。 本研究は,(1)コンテンツフィルタリングに係わるAIトレーニングデータにおけるインターネットからのバイアスの持続性,(2)使用時にバイアスを露呈するステップアラウンド手法の有効性,(3)悪質な適用に対する堅牢な保護の必要性,の3つの重要な意味を浮き彫りにした。 我々は、AI研究と開発においてステップアラウンドプロンプトを使用するための倫理的枠組みを提案し、システム改善とセキュリティ上の考慮事項のバランスの重要性を強調した。

関連論文リスト

• Computational Safety for Generative AI: A Signal Processing Perspective [65.268245109828]
  計算安全性は、GenAIにおける安全性の定量的評価、定式化、研究を可能にする数学的枠組みである。 ジェイルブレイクによる悪意のあるプロンプトを検出するために, 感度解析と損失景観解析がいかに有効かを示す。 我々は、AIの安全性における信号処理の鍵となる研究課題、機会、そして重要な役割について論じる。
  論文  参考訳（メタデータ） (2025-02-18T02:26:50Z)
• Open Problems in Machine Unlearning for AI Safety [61.43515658834902]
  特定の種類の知識を選択的に忘れたり、抑圧したりするマシンアンラーニングは、プライバシとデータ削除タスクの約束を示している。 本稿では,アンラーニングがAI安全性の包括的ソリューションとして機能することを防止するための重要な制約を特定する。
  論文  参考訳（メタデータ） (2025-01-09T03:59:10Z)
• SoK: Watermarking for AI-Generated Content [112.9218881276487]
  ウォーターマーキングスキームは、AI生成コンテンツに隠された信号を埋め込んで、信頼性の高い検出を可能にする。 透かしは、誤情報や偽造と戦ってAIの安全性と信頼性を高める上で重要な役割を果たす。 本研究の目的は、研究者が透かし法や応用の進歩を指導し、GenAIの幅広い意味に対処する政策立案者を支援することである。
  論文  参考訳（メタデータ） (2024-11-27T16:22:33Z)
• AI-Augmented Ethical Hacking: A Practical Examination of Manual Exploitation and Privilege Escalation in Linux Environments [2.3020018305241337]
  本研究は,Linux ベースの浸透試験環境における手動操作および特権エスカレーションタスクにおける生成AI(GenAI)の適用について検討する。 以上の結果から,GenAIは攻撃ベクトルの特定や,特権エスカレーション時の機密データに対する複雑な出力解析など,プロセスの合理化が可能であることが示唆された。
  論文  参考訳（メタデータ） (2024-11-26T15:55:15Z)
• Attack Atlas: A Practitioner's Perspective on Challenges and Pitfalls in Red Teaming GenAI [52.138044013005]
  生成AI、特に大規模言語モデル(LLM)は、製品アプリケーションにますます統合される。 新たな攻撃面と脆弱性が出現し、自然言語やマルチモーダルシステムにおける敵の脅威に焦点を当てる。 レッドチーム(英語版)はこれらのシステムの弱点を積極的に識別する上で重要となり、ブルーチーム(英語版)はそのような敵の攻撃から保護する。 この研究は、生成AIシステムの保護のための学術的な洞察と実践的なセキュリティ対策のギャップを埋めることを目的としている。
  論文  参考訳（メタデータ） (2024-09-23T10:18:10Z)
• Safetywashing: Do AI Safety Benchmarks Actually Measure Safety Progress? [59.96471873997733]
  我々は、より有意義な安全指標を開発するための実証的な基盤を提案し、機械学習研究の文脈でAIの安全性を定義する。 我々は、AI安全研究のためのより厳格なフレームワークを提供し、安全性評価の科学を前進させ、測定可能な進歩への道筋を明らかにすることを目指している。
  論文  参考訳（メタデータ） (2024-07-31T17:59:24Z)
• Artificial Intelligence as the New Hacker: Developing Agents for Offensive Security [0.0]
  本稿では,人工知能(AI)の攻撃的サイバーセキュリティへの統合について検討する。 サイバー攻撃をシミュレートし実行するために設計された、自律的なAIエージェントであるReaperAIを開発している。 ReaperAIは、セキュリティ脆弱性を自律的に識別し、悪用し、分析する可能性を実証する。
  論文  参考訳（メタデータ） (2024-05-09T18:15:12Z)
• Testing autonomous vehicles and AI: perspectives and challenges from cybersecurity, transparency, robustness and fairness [53.91018508439669]
  この研究は、人工知能を自律走行車(AV)に統合する複雑さを探求する AIコンポーネントがもたらした課題と、テスト手順への影響を調べます。 本稿は、重要な課題を特定し、AV技術におけるAIの研究・開発に向けた今後の方向性を提案する。
  論文  参考訳（メタデータ） (2024-02-21T08:29:42Z)
• A Systematic Literature Review on Explainability for Machine/Deep Learning-based Software Engineering Research [23.273934717819795]
  本稿では,ソフトウェア工学の文脈におけるAIモデルの説明可能性の向上を目的とした,体系的な文献レビューを行う。 我々は,XAI技術がこれまで成功してきたSEタスク,(2)異なるXAI手法の分類と分析,(3)既存の評価手法を考察することを目的としている。
  論文  参考訳（メタデータ） (2024-01-26T03:20:40Z)
• Deepfakes, Misinformation, and Disinformation in the Era of Frontier AI, Generative AI, and Large AI Models [7.835719708227145]
  ディープフェイクとm/disinformationの拡散は、世界中の情報エコシステムの整合性に対する恐ろしい脅威として現れている。 我々は,大規模モデル(LM-based GenAI)をベースとした生成AIの仕組みを強調した。 我々は、高度な検出アルゴリズム、クロスプラットフォームのコラボレーション、ポリシー駆動のイニシアチブを組み合わせた統合フレームワークを導入する。
  論文  参考訳（メタデータ） (2023-11-29T06:47:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。