論文の概要: Peering Behind the Shield: Guardrail Identification in Large Language Models

• arxiv url: http://arxiv.org/abs/2502.01241v1
• Date: Mon, 03 Feb 2025 11:02:30 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-05 14:52:00.213110
• Title: Peering Behind the Shield: Guardrail Identification in Large Language Models
• Title（参考訳）: シールドを支えるピアリング:大規模言語モデルにおけるガードレール識別
• Authors: Ziqing Yang, Yixin Wu, Rui Wen, Michael Backes, Yang Zhang,
• Abstract要約: 本研究では,AIエージェントを問合せするために,ガードレール固有の敵プロンプトを活用することにより,候補ガードレールの存在を識別する新しい手法であるAP-Testを提案する。 各種シナリオ下での4つのガードレールの大規模実験により,本手法の有効性が示された。
• 参考スコア（独自算出の注目度）: 22.78318541483925
• License:
• Abstract: Human-AI conversations have gained increasing attention since the era of large language models. Consequently, more techniques, such as input/output guardrails and safety alignment, are proposed to prevent potential misuse of such Human-AI conversations. However, the ability to identify these guardrails has significant implications, both for adversarial exploitation and for auditing purposes by red team operators. In this work, we propose a novel method, AP-Test, which identifies the presence of a candidate guardrail by leveraging guardrail-specific adversarial prompts to query the AI agent. Extensive experiments of four candidate guardrails under diverse scenarios showcase the effectiveness of our method. The ablation study further illustrates the importance of the components we designed, such as the loss terms.
• Abstract（参考訳）: ヒトとAIの会話は、大規模な言語モデルの時代から注目を集めている。 その結果、このようなヒューマンAI会話の誤用を防止するため、入出力ガードレールや安全アライメントなど、より多くの技術が提案されている。 しかしながら、これらのガードレールを識別する能力は、敵の搾取とレッドチームオペレーターによる監査の両方に重要な意味を持つ。 本研究では,AIエージェントを問合せするために,ガードレール固有の敵プロンプトを活用することにより,候補ガードレールの存在を識別する新しい手法であるAP-Testを提案する。 各種シナリオ下での4つのガードレールの大規模実験により,本手法の有効性が示された。 アブレーション研究は、損失項など、我々が設計したコンポーネントの重要性をさらに示している。

関連論文リスト

• Coherence-Driven Multimodal Safety Dialogue with Active Learning for Embodied Agents [23.960719833886984]
  M-CoDAL(M-CoDAL)は、安全クリティカルな状況下でのコミュニケーションをよりよく理解するために、実施エージェント向けに設計されたマルチモーダル対話システムである。 提案手法は,2K Reddit画像から抽出した1Kの安全違反を含む,新たに作成されたマルチモーダルデータセットを用いて評価する。 このデータセットで得られた結果は、我々のアプローチが会話の安全性だけでなく、安全状況、ユーザーの感情、および会話の安全性の解決を改善することを実証している。
  論文  参考訳（メタデータ） (2024-10-18T03:26:06Z)
• Imposter.AI: Adversarial Attacks with Hidden Intentions towards Aligned Large Language Models [13.225041704917905]
  本研究では,大規模言語モデルから有害情報を抽出するために,人間の会話戦略を活かした攻撃機構を明らかにする。 明示的な悪意のある応答をターゲットとする従来の手法とは異なり、我々のアプローチは応答で提供される情報の性質を深く掘り下げている。
  論文  参考訳（メタデータ） (2024-07-22T06:04:29Z)
• RAG-based Crowdsourcing Task Decomposition via Masked Contrastive Learning with Prompts [21.69333828191263]
  本稿では、自然言語理解の観点からタスク分解(TD)をイベント検出として再認識する、検索強化世代ベースのクラウドソーシングフレームワークを提案する。 本稿では,TD (PBCT) のための Prompt-based Contrastive Learning framework を提案する。 実験結果は,教師付きおよびゼロショット検出における本手法の競合性を実証した。
  論文  参考訳（メタデータ） (2024-06-04T08:34:19Z)
• Task-Agnostic Detector for Insertion-Based Backdoor Attacks [53.77294614671166]
  本稿では,バックドア検出の先駆的手法であるTABDet(Task-Agnostic Backdoor Detector)を紹介する。 TABDetは、最終層ロジットと効率的なプーリング技術を組み合わせて、3つの著名なNLPタスクをまたいだ統一ロジット表現を可能にする。 TABDetは多様なタスク特化モデルから共同で学習し、従来のタスク特化手法よりも優れた検出効率を示す。
  論文  参考訳（メタデータ） (2024-03-25T20:12:02Z)
• Pre-trained Trojan Attacks for Visual Recognition [106.13792185398863]
  PVM(Pre-trained Vision Model)は、下流タスクを微調整する際、例外的なパフォーマンスのため、主要なコンポーネントとなっている。 本稿では,PVMにバックドアを埋め込んだトロイの木馬攻撃を提案する。 バックドア攻撃の成功において、クロスタスクアクティベーションとショートカット接続がもたらす課題を強調します。
  論文  参考訳（メタデータ） (2023-12-23T05:51:40Z)
• Push-Pull: Characterizing the Adversarial Robustness for Audio-Visual Active Speaker Detection [88.74863771919445]
  我々は、音声のみ、視覚のみ、および音声-視覚的敵対攻撃下でのAVASDモデルの脆弱性を明らかにする。 また,攻撃者が現実的な相手を見つけるのを困難にするため,新たな音声・視覚的相互作用損失(AVIL)を提案する。
  論文  参考訳（メタデータ） (2022-10-03T08:10:12Z)
• Exploring Robustness of Unsupervised Domain Adaptation in Semantic Segmentation [74.05906222376608]
  クリーンな画像とそれらの逆の例との一致を、出力空間における対照的な損失によって最大化する、逆向きの自己スーパービジョンUDA(ASSUDA)を提案する。 i) セマンティックセグメンテーションにおけるUDA手法のロバスト性は未解明のままであり, (ii) 一般的に自己スーパービジョン(回転やジグソーなど) は分類や認識などのイメージタスクに有効であるが, セグメンテーションタスクの識別的表現を学習する重要な監視信号の提供には失敗している。
  論文  参考訳（メタデータ） (2021-05-23T01:50:44Z)
• An Adversarially-Learned Turing Test for Dialog Generation Models [45.991035017908594]
  本研究では,人間による応答から機械生成応答を識別する頑健なモデルであるATTを学習するための対人訓練手法を提案する。 従来の摂動に基づく手法とは対照的に,我々の判別器は,制限のない多種多様な対向例を反復的に生成することによって訓練されている。 識別器は,DialoGPTやGPT-3などの強力な攻撃者に対して高い精度を示す。
  論文  参考訳（メタデータ） (2021-04-16T17:13:14Z)
• Probing Task-Oriented Dialogue Representation from Language Models [106.02947285212132]
  本稿では,タスク指向対話タスクにおいて,どのモデルが本質的に最も有意義な表現を担っているかを明らかにするために,事前学習された言語モデルについて検討する。 我々は、アノテートラベルを教師付き方法で固定された事前学習言語モデルの上に、分類器プローブとしてフィードフォワード層を微調整する。
  論文  参考訳（メタデータ） (2020-10-26T21:34:39Z)
• Exploiting Unsupervised Data for Emotion Recognition in Conversations [76.01690906995286]
  会話における感情認識(Emotion Recognition in Conversations:ERC)は、会話における話者の感情状態を予測することを目的としている。 ERCタスクの教師付きデータは限られている。 教師なし会話データを活用する新しい手法を提案する。
  論文  参考訳（メタデータ） (2020-10-02T13:28:47Z)
• Adversarial Attack and Defense Strategies for Deep Speaker Recognition Systems [44.305353565981015]
  本稿では, 深層話者認識システムに対する最先端の敵攻撃について考察し, 強力な防御手法を対策として用いた。 実験により、話者認識システムは敵攻撃に弱いことが示され、最も強い攻撃はシステムの精度を94%から0%に下げることができる。
  論文  参考訳（メタデータ） (2020-08-18T00:58:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。