Fugu-MT 論文翻訳(概要): Benchmarking Factual Robustness of LLMs via Multi-conversation Persuasion

論文の概要: Benchmarking Factual Robustness of LLMs via Multi-conversation Persuasion

arxiv url: http://arxiv.org/abs/2609.16777v1
Date: Tue, 15 Sep 2026 07:46:01 GMT
ステータス: 翻訳完了
システム内更新日: 2026-09-16 14:56:08.393319
Title: Benchmarking Factual Robustness of LLMs via Multi-conversation Persuasion
Title（参考訳）: マルチ会話によるLLMの実測ロバスト性ベンチマーク
Abstract要約: レッドチームフレームワークは、ターゲットモデルが会話履歴を保持するマルチターン対話におけるモデルを評価する。 textbfSAST-IR (Stateful Attacker, Stateless Target - Iterative Refinement)フレームワークを紹介します。我々は,textbfmulti-turn (stateless) イテレーションを用いて,最悪の逆数設定をシミュレートする。単純で多様な攻撃戦略は、スタグングな textbf96% の成功率を達成し、メモリレス防御において深刻な脆さを露呈した。
参考スコア（独自算出の注目度）: 0.0
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: As Large Language Models (LLMs) increasingly serve as primary knowledge retrieval interfaces, their robustness against \textit{persuasion attacks}---attempts to inject misinformation or enforce counterfactuals---has become a critical safety concern. Existing red-teaming frameworks typically evaluate models in multi-turn dialogues where the target model retains full conversation history. We identify a critical flaw in this setting termed \textbf{``Refusal Inertia''}: a model's initial refusal often propagates through subsequent turns largely to maintain contextual consistency, thereby masking its true vulnerability to sophisticated, isolated persuasion attempts. To rigorously evaluate the ``cold-start'' defense capabilities of SOTA models, we introduce the \textbf{SAST-IR} (Stateful Attacker, Stateless Target - Iterative Refinement) framework. By enforcing a memory wipe on the target while retaining the attacker's history, we simulate a worst-case adversarial setting using \textbf{multi-turn} (stateless) iterations. Leveraging \textbf{CP-Agent} (Cognitive Persuasion Agent), an enhanced diagnosis-guided agent, our experiments on the custom \textsc{CounterFact-Strict} dataset ($N=50$) yield alarming results: simple, diverse attack strategies achieved a staggering \textbf{96\%} success rate, exposing severe brittleness in memory-less defense. Furthermore, we reveal a \textbf{``Complexity Paradox''}: while complex, iteratively refined attacks are effective, they often trigger defensive compliance, whereas simple strategies achieve a higher rate of genuine persuasion (\textbf{84.7\%}). Our code and dataset are available at GitHub, https://github.com/cza1006/llm-persuasion-defense.
Abstract（参考訳）: 大規模言語モデル(LLMs)が主要な知識検索インターフェースとしての役割を担うようになるにつれて、その強固さは \textit{persuasion attack} に対して---誤った情報を注入したり、反事実を強制しようとする-- が重要な安全上の懸念となっている。既存のレッドチームフレームワークは、ターゲットモデルが完全な会話履歴を保持するマルチターン対話におけるモデルを評価するのが一般的である。モデルの最初の拒絶は、多くの場合、コンテキスト整合性を維持するために、後続のターンを通じて伝播するので、洗練された分離された説得の試みに対して、その真の脆弱性を隠蔽する。 SOTAモデルの ‘cold-start' 防衛能力を厳格に評価するために,<textbf{SAST-IR} (Stateful Attacker, Stateless Target - Iterative Refinement) フレームワークを導入する。攻撃者の履歴を保持しながら、ターゲットにメモリワイプを強制することにより、 \textbf{multi-turn} (ステートレス) の繰り返しを使用して、最悪のケースの逆設定をシミュレートする。診断誘導剤であるtextbf{CP-Agent} (Cognitive Persuasion Agent) を応用し, メモリレスディフェンスにおける厳密な脆さを露呈し, 単純で多様な攻撃戦略を達成した。さらに, 複雑かつ反復的に改良された攻撃は効果的であるが, 防御的コンプライアンスが引き起こされることが多いのに対して, 単純な戦略は真偽の説得率が高い(\textbf{84.7\%})。コードとデータセットはGitHub, https://github.com/cza1006/llm-persuasion-defense.orgから入手可能です。

関連論文リスト

TwinGate: Stateful Defense against Decompositional Jailbreaks in Untraceable Traffic via Asymmetric Contrastive Learning [60.68349524623048]
分解されたジェイルブレイクは、大きな言語モデルにとって重大な脅威となる。我々はステートフルなデュアルエンコーダ防御フレームワークであるTwinGateを紹介する。我々は、8600の異なる悪意のある意図にまたがる360万以上の命令の包括的なデータセットを構築した。
論文参考訳（メタデータ） (2026-04-30T13:44:01Z)
Breaking Contextual Inertia: Reinforcement Learning with Single-Turn Anchors for Stable Multi-Turn Interaction [49.03500737694832]
textbfReinforcement textbfLearning with textbfTurn textbfRLSTA。実験の結果,RTSTAは標準微調整法や禁忌法よりも有意に優れていた。
論文参考訳（メタデータ） (2026-03-05T04:04:59Z)
Reverse-Engineering Model Editing on Language Models [13.281350510944383]
textitKSTER (textbfKeytextbfSpaceReconstextbfTruction-then-textbfEntropytextbfReduction) という2段階のリバースエンジニアリング攻撃を提案する。我々の攻撃は、高い成功率で編集されたデータを復元することができる。
論文参考訳（メタデータ） (2026-02-07T08:35:59Z)
MAGIC: A Co-Evolving Attacker-Defender Adversarial Game for Robust LLM Safety [28.246225272659917]
本稿では,新しいマルチターンマルチエージェント強化学習フレームワークであるtextbfMAGICを紹介する。大規模言語モデルの安全性アライメントを敵非対称ゲームとして定式化する。本フレームワークは, モデルの有用性を損なうことなく, 優れた防衛成功率を示す。
論文参考訳（メタデータ） (2026-02-02T02:12:28Z)
Defenses Against Prompt Attacks Learn Surface Heuristics [40.392588465939106]
大規模言語モデル(LLM)は、セキュリティに敏感なアプリケーションにますますデプロイされている。 LLMは、ユーザクエリや検索されたコンテンツに逆命令が現れるとき、意図したロジックをオーバーライドすることができる。最近の防衛は、良心と悪意のあるラベルによる監督された微調整に依存している。
論文参考訳（メタデータ） (2026-01-12T04:12:48Z)
AutoBackdoor: Automating Backdoor Attacks via LLM Agents [35.216857373810875]
バックドア攻撃は、大規模言語モデル(LLM)の安全なデプロイに深刻な脅威をもたらす本研究では,バックドアインジェクションを自動化するための一般的なフレームワークであるtextscAutoBackdoorを紹介する。従来のアプローチとは異なり、AutoBackdoorは強力な言語モデルエージェントを使用して、セマンティックコヒーレントでコンテキスト対応のトリガーフレーズを生成する。
論文参考訳（メタデータ） (2025-11-20T03:58:54Z)
Backdoor Collapse: Eliminating Unknown Threats via Known Backdoor Aggregation in Language Models [75.29749026964154]
Ourmethodは、複数のベンチマークで平均的な攻撃成功率を4.41%に下げる。クリーンな精度と実用性はオリジナルのモデルの0.5%以内に保存される。防衛はさまざまな種類のバックドアをまたいで一般化し、実際のデプロイメントシナリオにおける堅牢性を確認します。
論文参考訳（メタデータ） (2025-10-11T15:47:35Z)
Towards Model Resistant to Transferable Adversarial Examples via Trigger Activation [95.3977252782181]
知覚不能な摂動によって特徴づけられる敵対的な例は、彼らの予測を誤解させることで、ディープニューラルネットワークに重大な脅威をもたらす。本稿では,移動可能な敵例(TAE)に対して,より効率的かつ効果的に堅牢性を高めることを目的とした,新たなトレーニングパラダイムを提案する。
論文参考訳（メタデータ） (2025-04-20T09:07:10Z)
Reasoning-Augmented Conversation for Multi-Turn Jailbreak Attacks on Large Language Models [53.580928907886324]
Reasoning-Augmented Conversationは、新しいマルチターンジェイルブレイクフレームワークである。有害なクエリを良心的な推論タスクに再構成する。 RACEは,複雑な会話シナリオにおいて,最先端攻撃の有効性を実現する。
論文参考訳（メタデータ） (2025-02-16T09:27:44Z)
Attack-in-the-Chain: Bootstrapping Large Language Models for Attacks Against Black-box Neural Ranking Models [111.58315434849047]
本稿では,アタック・イン・ザ・チェーン(Attack-in-the-Chain)という新しいランキングアタックフレームワークを紹介する。大型言語モデル(LLMs)とニューラルランキングモデル(NRMs)の相互作用をチェーン・オブ・ソートに基づいて追跡する。 2つのWeb検索ベンチマークによる実験結果から,本手法の有効性が示された。
論文参考訳（メタデータ） (2024-12-25T04:03:09Z)
Towards Variable-Length Textual Adversarial Attacks [68.27995111870712]
データの離散性のため、自然言語処理タスクに対してテキストによる敵意攻撃を行うことは非自明である。本稿では,可変長テキスト対比攻撃(VL-Attack)を提案する。本手法は、iwslt14ドイツ語英訳で3,18$ bleuスコアを達成でき、ベースラインモデルより1.47$改善できる。
論文参考訳（メタデータ） (2021-04-16T14:37:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。