Fugu-MT 論文翻訳(概要): LLM Robustness Leaderboard v1 --Technical report

論文の概要: LLM Robustness Leaderboard v1 --Technical report

arxiv url: http://arxiv.org/abs/2508.06296v2
Date: Wed, 13 Aug 2025 08:27:12 GMT
ステータス: 翻訳完了
システム内更新日: 2025-08-14 11:55:47.612203
Title: LLM Robustness Leaderboard v1 --Technical report
Title（参考訳）: LLMロバストネスリーダーボード v1 -- 技術報告
Authors: Pierre Peigné - Lefebvre, Quentin Feuillade-Montixi, Tom David, Nicolas Miailhe,
Abstract要約: このレポートは、PRISM Eval氏がParis AI Action Summitで発表した、堅牢性 LLM リーダボードを伴っている。 PRISM Eval Behavior Elicitation Tool (BET)を導入する。有害な行動を誘発するために必要な平均試行回数を推定し,攻撃困難度が普遍的脆弱性にもかかわらず,300倍以上に変化することを示す。
参考スコア（独自算出の注目度）: 0.0
License: http://creativecommons.org/licenses/by-nc-nd/4.0/
Abstract: This technical report accompanies the LLM robustness leaderboard published by PRISM Eval for the Paris AI Action Summit. We introduce PRISM Eval Behavior Elicitation Tool (BET), an AI system performing automated red-teaming through Dynamic Adversarial Optimization that achieves 100% Attack Success Rate (ASR) against 37 of 41 state-of-the-art LLMs. Beyond binary success metrics, we propose a fine-grained robustness metric estimating the average number of attempts required to elicit harmful behaviors, revealing that attack difficulty varies by over 300-fold across models despite universal vulnerability. We introduce primitive-level vulnerability analysis to identify which jailbreaking techniques are most effective for specific hazard categories. Our collaborative evaluation with trusted third parties from the AI Safety Network demonstrates practical pathways for distributed robustness assessment across the community.
Abstract（参考訳）: このテクニカルレポートは、パリAIアクションサミットのためにPRISM Evalが発行したLDMロバストネスリーダーボードに付随する。 PRISM Eval Behavior Elicitation Tool (BET) を導入し、41のLLMのうち37に対して100%の攻撃成功率(ASR)を達成するダイナミック・アドバイサリアル・オプティマイズ(Dynamic Adversarial Optimization)による自動リピートを行うAIシステムについて紹介する。 2値の成功指標の他に、有害な行動を誘発するために必要な平均的な試行数を推定したきめ細かな頑健度尺度を提案し、普遍的な脆弱性にもかかわらず、攻撃の難しさはモデル全体で300倍以上に変化することを示した。本稿では,特定の危険カテゴリに対して最も有効なジェイルブレイク技術を特定するために,プリミティブレベルの脆弱性分析を導入する。 AI Safety Networkの信頼できるサードパーティとの共同評価では、コミュニティ全体での分散ロバストネス評価の実践的な経路が示されています。

関連論文リスト

Toward Quantitative Modeling of Cybersecurity Risks Due to AI Misuse [50.87630846876635]
我々は9つの詳細なサイバーリスクモデルを開発する。各モデルはMITRE ATT&CKフレームワークを使用して攻撃をステップに分解する。個々の見積もりはモンテカルロシミュレーションによって集約される。
論文参考訳（メタデータ） (2025-12-09T17:54:17Z)
Friend or Foe: How LLMs' Safety Mind Gets Fooled by Intent Shift Attack [53.34204977366491]
大きな言語モデル(LLM)は、印象的な機能にもかかわらず、ジェイルブレイク攻撃に対して脆弱なままである。本稿では,攻撃意図について LLM を混乱させる ISA (Intent Shift Attack) を提案する。私たちのアプローチでは、元の要求に対して最小限の編集しか必要とせず、自然で、可読性があり、一見無害なプロンプトをもたらす。
論文参考訳（メタデータ） (2025-11-01T13:44:42Z)
Jailbreak Mimicry: Automated Discovery of Narrative-Based Jailbreaks for Large Language Models [0.0]
大規模言語モデル(LLM)は、高度な迅速なエンジニアリング攻撃に対して脆弱なままである。我々は、物語ベースのジェイルブレイクプロンプトを自動生成するために、コンパクトアタッカーモデルを訓練するための体系的方法論であるジェイルブレイク・ミミミリを紹介する。我々のアプローチは、敵の迅速な発見を手作業の職人技から再現可能な科学的プロセスに変換する。
論文参考訳（メタデータ） (2025-10-24T23:53:16Z)
Preventing Adversarial AI Attacks Against Autonomous Situational Awareness: A Maritime Case Study [0.0]
アドリラル人工知能(AI)による攻撃は、自律走行に重大な脅威をもたらす。本稿では、敵対的AIに関連する3つの重要な研究課題に対処する。本稿では,複数入力とデータ融合を利用して防御部品を構築できるビルディングディフェンスを提案する。
論文参考訳（メタデータ） (2025-05-27T17:59:05Z)
Cannot See the Forest for the Trees: Invoking Heuristics and Biases to Elicit Irrational Choices of LLMs [83.11815479874447]
本研究では,人間の認知における認知的分解と偏見に触発された新しいジェイルブレイク攻撃フレームワークを提案する。我々は、悪意のあるプロンプトの複雑さと関連バイアスを減らし、認知的分解を用いて、プロンプトを再編成する。また、従来の二分的成功または失敗のパラダイムを超越したランキングベースの有害度評価指標も導入する。
論文参考訳（メタデータ） (2025-05-03T05:28:11Z)
AutoAdv: Automated Adversarial Prompting for Multi-Turn Jailbreaking of Large Language Models [0.0]
大規模言語モデル(LLM)は、ジェイルブレイク攻撃の脆弱性を示し続けている。本稿では,敵対的即時生成を自動化する新しいフレームワークであるAutoAdvを紹介する。我々の攻撃は、有害なコンテンツ生成に対して最大86%のジェイルブレイク成功率を達成したことを示す。
論文参考訳（メタデータ） (2025-04-18T08:38:56Z)
Model Tampering Attacks Enable More Rigorous Evaluations of LLM Capabilities [49.09703018511403]
大規模言語モデル(LLM)のリスクと能力の評価は、AIのリスク管理とガバナンスフレームワークにますます取り入れられている。現在、ほとんどのリスク評価は、システムから有害な振る舞いを誘発する入力を設計することで実施されている。本稿では,遅延活性化や重みへの修正が可能なモデル改ざん攻撃を用いたLCMの評価を提案する。
論文参考訳（メタデータ） (2025-02-03T18:59:16Z)
Adversarial Reasoning at Jailbreaking Time [49.70772424278124]
大規模言語モデル(LLM)は、より有能で広く普及している。テスト時間計算の標準化, 測定, スケーリングの最近の進歩は, ハードタスクにおける高い性能を達成するためにモデルを最適化するための新しい手法を提案する。本稿では、これらの進歩をジェイルブレイクモデルに応用し、協調LDMから有害な応答を誘発する。
論文参考訳（メタデータ） (2025-02-03T18:59:01Z)
Global Challenge for Safe and Secure LLMs Track 1 [57.08717321907755]
LLM(Global Challenge for Safe and Secure Large Language Models)は、AI Singapore(AISG)とCyberSG R&D Programme Office(CRPO)が主催する先駆的イニシアチブである。本稿では,AI Singapore(AISG)とCyberSG R&D Programme Office(CRPO)が組織した先駆的イニシアチブであるLLM(Global Challenge for Safe and Secure Large Language Models)を紹介する。
論文参考訳（メタデータ） (2024-11-21T08:20:31Z)
Can We Trust Embodied Agents? Exploring Backdoor Attacks against Embodied LLM-based Decision-Making Systems [27.316115171846953]
大規模言語モデル(LLM)は、実世界のAI意思決定タスクにおいて大きな可能性を示している。 LLMは、固有の常識と推論能力を活用するために微調整され、特定の用途に適合する。この微調整プロセスは、特に安全クリティカルなサイバー物理システムにおいて、かなりの安全性とセキュリティの脆弱性をもたらす。
論文参考訳（メタデータ） (2024-05-27T17:59:43Z)
On the Vulnerability of LLM/VLM-Controlled Robotics [54.57914943017522]
大規模言語モデル(LLM)と視覚言語モデル(VLM)を統合するロボットシステムの脆弱性を,入力モダリティの感度によって強調する。 LLM/VLM制御型2つのロボットシステムにおいて,単純な入力摂動がタスク実行の成功率を22.2%,14.6%減少させることを示す。
論文参考訳（メタデータ） (2024-02-15T22:01:45Z)
LLMs as Hackers: Autonomous Linux Privilege Escalation Attacks [0.0]
我々は,完全に自動化されたLanguage Models(LLM)駆動の,自動Linux特権エスカレーション攻撃用プロトタイプであるHackingBuddyGPTを紹介する。 GPT-4-Turboは高い有効性を示し,33～83%の脆弱性を悪用した。
論文参考訳（メタデータ） (2023-10-17T17:15:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。