論文の概要: Computational Safety for Generative AI: A Signal Processing Perspective

• arxiv url: http://arxiv.org/abs/2502.12445v1
• Date: Tue, 18 Feb 2025 02:26:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-19 14:09:36.231991
• Title: Computational Safety for Generative AI: A Signal Processing Perspective
• Title（参考訳）: 生成AIのための計算安全:信号処理の観点から
• Authors: Pin-Yu Chen,
• Abstract要約: 計算安全性は、GenAIにおける安全性の定量的評価、定式化、研究を可能にする数学的枠組みである。 ジェイルブレイクによる悪意のあるプロンプトを検出するために, 感度解析と損失景観解析がいかに有効かを示す。 我々は、AIの安全性における信号処理の鍵となる研究課題、機会、そして重要な役割について論じる。
• 参考スコア（独自算出の注目度）: 65.268245109828
• License:
• Abstract: AI safety is a rapidly growing area of research that seeks to prevent the harm and misuse of frontier AI technology, particularly with respect to generative AI (GenAI) tools that are capable of creating realistic and high-quality content through text prompts. Examples of such tools include large language models (LLMs) and text-to-image (T2I) diffusion models. As the performance of various leading GenAI models approaches saturation due to similar training data sources and neural network architecture designs, the development of reliable safety guardrails has become a key differentiator for responsibility and sustainability. This paper presents a formalization of the concept of computational safety, which is a mathematical framework that enables the quantitative assessment, formulation, and study of safety challenges in GenAI through the lens of signal processing theory and methods. In particular, we explore two exemplary categories of computational safety challenges in GenAI that can be formulated as hypothesis testing problems. For the safety of model input, we show how sensitivity analysis and loss landscape analysis can be used to detect malicious prompts with jailbreak attempts. For the safety of model output, we elucidate how statistical signal processing and adversarial learning can be used to detect AI-generated content. Finally, we discuss key open research challenges, opportunities, and the essential role of signal processing in computational AI safety.
• Abstract（参考訳）: AI安全性は、特にテキストプロンプトを通じて現実的で高品質なコンテンツを作成することができる生成型AI(GenAI)ツールに関して、フロンティアAI技術の害と誤用を防止するために急速に成長している研究分野である。 そのようなツールの例としては、大きな言語モデル(LLM)やテキスト・ツー・イメージ(T2I)の拡散モデルがある。 様々な主要なGenAIモデルの性能が、同様のトレーニングデータソースとニューラルネットワークアーキテクチャ設計による飽和に近づき、信頼性の高い安全ガードレールの開発は、責任と持続可能性の重要な差別化要因となっている。 本稿では、信号処理理論と手法のレンズによるGenAIにおける安全性の定量的評価、定式化、研究を可能にする数学的枠組みである計算安全性の概念の定式化について述べる。 特に、仮説テスト問題として定式化できるGenAIにおける計算安全性課題の2つの模範的なカテゴリについて検討する。 モデル入力の安全性を確保するため,ジェイルブレイクによる悪意あるプロンプトを検出するために,感度解析と損失景観解析がいかに有効かを示す。 モデル出力の安全性を確保するため,AI生成コンテンツを検出するために,統計的信号処理と逆学習がいかに有効かを明らかにする。 最後に、計算AIの安全性における信号処理の鍵となる研究課題、機会、そして重要な役割について論じる。

関連論文リスト

• Safety at Scale: A Comprehensive Survey of Large Model Safety [299.801463557549]
  我々は、敵攻撃、データ中毒、バックドア攻撃、ジェイルブレイクとプロンプトインジェクション攻撃、エネルギー遅延攻撃、データとモデル抽出攻撃、出現するエージェント固有の脅威を含む、大規模なモデルに対する安全脅威の包括的分類を提示する。 我々は、大規模なモデル安全性におけるオープンな課題を特定し、議論し、包括的な安全性評価、スケーラブルで効果的な防御機構、持続可能なデータプラクティスの必要性を強調します。
  論文  参考訳（メタデータ） (2025-02-02T05:14:22Z)
• Bringing Order Amidst Chaos: On the Role of Artificial Intelligence in Secure Software Engineering [0.0]
  進化を続ける技術的景観は、機会と脅威の両方を提供し、カオスと秩序が競合する動的な空間を作り出す。 セキュアなソフトウェアエンジニアリング(SSE)は、ソフトウェアシステムを危険にさらす脆弱性に継続的に対処しなければならない。 この論文は、AIの精度に影響を与えるドメイン固有の違いに対処することで、SSEのカオスに秩序をもたらすことを目指している。
  論文  参考訳（メタデータ） (2025-01-09T11:38:58Z)
• Generative Artificial Intelligence Meets Synthetic Aperture Radar: A Survey [49.29751866761522]
  本稿では,GenAIとSARの交差点について検討する。 まず、SAR分野における一般的なデータ生成ベースのアプリケーションについて説明する。 次に、最新のGenAIモデルの概要を体系的にレビューする。 最後に、SARドメインの対応するアプリケーションも含まれる。
  論文  参考訳（メタデータ） (2024-11-05T03:06:00Z)
• An Adaptive End-to-End IoT Security Framework Using Explainable AI and LLMs [1.9662978733004601]
  本稿では,機械学習(ML),説明可能なAI(XAI),大規模言語モデル(LLM)を活用した,リアルタイムIoT攻撃検出および応答のための革新的なフレームワークを提案する。 私たちのエンドツーエンドフレームワークは、モデル開発からデプロイメントへのシームレスな移行を促進するだけでなく、既存の研究でしばしば欠落している現実世界のアプリケーション機能も表しています。
  論文  参考訳（メタデータ） (2024-09-20T03:09:23Z)
• EARBench: Towards Evaluating Physical Risk Awareness for Task Planning of Foundation Model-based Embodied AI Agents [53.717918131568936]
  EAI(Embodied AI)は、高度なAIモデルを現実世界のインタラクションのための物理的なエンティティに統合する。 高レベルのタスク計画のためのEAIエージェントの"脳"としてのファンデーションモデルは、有望な結果を示している。 しかし、これらのエージェントの物理的環境への展開は、重大な安全性上の課題を呈している。 本研究では,EAIシナリオにおける身体的リスクの自動評価のための新しいフレームワークEARBenchを紹介する。
  論文  参考訳（メタデータ） (2024-08-08T13:19:37Z)
• Safetywashing: Do AI Safety Benchmarks Actually Measure Safety Progress? [59.96471873997733]
  我々は、より有意義な安全指標を開発するための実証的な基盤を提案し、機械学習研究の文脈でAIの安全性を定義する。 我々は、AI安全研究のためのより厳格なフレームワークを提供し、安全性評価の科学を前進させ、測定可能な進歩への道筋を明らかにすることを目指している。
  論文  参考訳（メタデータ） (2024-07-31T17:59:24Z)
• Artificial Intelligence as the New Hacker: Developing Agents for Offensive Security [0.0]
  本稿では,人工知能(AI)の攻撃的サイバーセキュリティへの統合について検討する。 サイバー攻撃をシミュレートし実行するために設計された、自律的なAIエージェントであるReaperAIを開発している。 ReaperAIは、セキュリティ脆弱性を自律的に識別し、悪用し、分析する可能性を実証する。
  論文  参考訳（メタデータ） (2024-05-09T18:15:12Z)
• Data-Driven and SE-assisted AI Model Signal-Awareness Enhancement and Introspection [61.571331422347875]
  モデルの信号認識性を高めるためのデータ駆動型手法を提案する。 コード複雑性のSE概念とカリキュラム学習のAIテクニックを組み合わせる。 モデル信号認識における最大4.8倍の改善を実現している。
  論文  参考訳（メタデータ） (2021-11-10T17:58:18Z)
• On Safety Assessment of Artificial Intelligence [0.0]
  人工知能の多くのモデル、特に機械学習は統計モデルであることを示す。 危険なランダム障害の予算の一部は、AIシステムの確率論的欠陥行動に使用される必要がある。 我々は、安全関連システムにおけるAIの利用に決定的な研究課題を提案する。
  論文  参考訳（メタデータ） (2020-02-29T14:05:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。