Fugu-MT 論文翻訳(概要): Evaluating Language Model Safety Across Long Adversarial Conversations

論文の概要: Evaluating Language Model Safety Across Long Adversarial Conversations

arxiv url: http://arxiv.org/abs/2609.38357v1
Date: Tue, 29 Sep 2026 18:20:04 GMT
ステータス: 翻訳完了
システム内更新日: 2026-10-01 18:57:26.57149
Title: Evaluating Language Model Safety Across Long Adversarial Conversations
Title（参考訳）: 長期会話における言語モデルの安全性評価
Abstract要約: 安全性評価は、しばしば単一の有害なプロンプトで言語モデルをテストする。本研究は,複数のターンにまたがる対戦相手が持続した場合に,モデルが安全に応答し続けるかどうかを検討する。
参考スコア（独自算出の注目度）: 0.0
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Conversational safety evaluations often test language models with a single harmful prompt, even though real-world systems interact with users through long, adaptive conversations. This study examines whether models continue to respond safely when an adversarial user persists across multiple turns. We evaluate three open-weight, instruction-tuned models on two harmful prompts across different conversation lengths and random seeds. In each setting, a second language model acts as a persistent adversarial user, while a safety classifier labels every response as safe or unsafe. Across all model-prompt combinations, first-turn safe-response rates ranged from 85% to 100%. By depth 11, they dropped to 38-61%, and by depth 101, to 15-44%. This decline appeared across models and continued well beyond the short interactions typically used in multi-turn safety evaluations. These results provide proof-of-concept evidence that strong single-turn safety does not necessarily persist during sustained adversarial interaction. They highlight the need for long-horizon evaluations and conversation-level safeguards that account for risk accumulating across turns.
Abstract（参考訳）: 会話の安全性評価は、たとえ現実世界のシステムが長く適応的な会話を通じてユーザーと対話しているとしても、単一の有害なプロンプトで言語モデルをテストすることが多い。本研究は,複数のターンにまたがる対戦相手が持続した場合に,モデルが安全に応答し続けるかどうかを検討する。異なる会話の長さとランダムなシードの2つの有害なプロンプトに対して、3つのオープンウェイト・インストラクション・チューニングモデルを評価する。各設定において、第2の言語モデルは永続的な敵のユーザーとして機能し、安全分類器は全ての応答を安全または安全でないものとしてラベル付けする。モデルとプロンプトの組み合わせ全体では、第1ターンの安全応答率は85%から100%の範囲であった。深さ11では38-61%、深さ101では15-44%まで低下した。この減少はモデル全体で現れ、マルチターン安全性評価で一般的に使用される短い相互作用を超えて続いた。これらの結果は、強い単ターン安全性が持続する対向相互作用の間は必ずしも持続しないという概念実証を与える。彼らは、長い水平評価と、ターンをまたいで蓄積するリスクを考慮に入れた会話レベルの安全対策の必要性を強調している。

関連論文リスト

EviSafe: Evidence-Grounded Safety Evaluation for Vision-Language Models [3.659020283346239]
VLM安全性のためのエビデンス基盤フレームワークであるEviSafeを紹介する。自然なユーザ向け行動、テキストおよび視覚的証拠の明確な根拠、および反事実的変化に対する行動感受性を共同で評価する。 EviSafeBenchは、フレームワークを1,181金の画像テキストシナリオで制御されたベンチマークとしてインスタンス化する。
論文参考訳（メタデータ） (2026-08-24T14:32:25Z)
Beyond Unsafe Detection: Counterfactually Anchored Evidence Attribution for Multi-Turn LLM Safety Failures [0.0]
行動検証とエビデンス監視を備えたマルチターンデータセットを構築した。データセットには、敵対的な会話、良性双生児、高リスク語彙の良性変異を含む1,762の会話が含まれている。我々は、安全違反を予測する軽量な階層属性モデルをトレーニングし、それらがユーザのターンとトークンスパンに寄与しているとみなす。
論文参考訳（メタデータ） (2026-08-17T00:37:56Z)
When Context Flips, Safety Breaks: Diagnosing Brittle Safety in Aligned Language Models [5.03712104249503]
安全ベンチマークスコアは、デプロイの準備が不完全な証拠を提供する。整列言語モデルは、状況アップデートがどのアクションが安全かをひっくり返しても、厳格なルールに固執することが多い。安全ベンチマーク全体で12のモデルと2つのコモンセンス制御を、名目上安全なアクションが害をもたらすペア付き変種を用いてテストする。
論文参考訳（メタデータ） (2026-05-27T02:09:30Z)
Useless but Safe? Benchmarking Utility Recovery with User Intent Clarification in Multi-Turn Conversations [32.23729177914094]
我々は,LCMがユーザ意図の解釈を改訂し,有用性を回復できるかどうかを計測する初の対話型ベンチマークであるCarryOnBenchを紹介する。ユーザ追跡シーケンスの異なる5,970の会話をシミュレートし,意図整合性と安全性の両面で14のモデルを評価する。 CarryOnBenchは、4-12ターンで1,866の異なる会話フローを生成し、合計で23,880のモデル応答を生成する。
論文参考訳（メタデータ） (2026-04-29T18:37:18Z)
CASTLE: A Comprehensive Benchmark for Evaluating Student-Tailored Personalized Safety in Large Language Models [55.0103764229311]
本稿では,学生用個人安全の概念を提案し,教育理論に基づくCASTLEの構築を行う。このベンチマークは、92,908のバイリンガルシナリオを含む15の教育安全リスクと14の学生属性をカバーしている。
論文参考訳（メタデータ） (2026-02-05T13:13:19Z)
A Safety Report on GPT-5.2, Gemini 3 Pro, Qwen3-VL, Grok 4.1 Fast, Nano Banana Pro, and Seedream 4.5 [101.4233736714284]
大規模言語モデル(LLM)とマルチモーダル大規模言語モデル(MLLM)は、言語とビジョンをまたいだ推論、認識、生成において大きな進歩をもたらした。 GPT-5.2, Gemini 3 Pro, Qwen3-VL, Grok 4.1 Fast, Nano Banana Pro, Seedream 4.5-assesing each across language, vision- language and image generation。
論文参考訳（メタデータ） (2026-01-15T15:52:52Z)
SafeMT: Multi-turn Safety for Multimodal Language Models [42.59582247058264]
画像に付随する有害なクエリから発生する様々な長さの対話を特徴付けるベンチマークであるSafeMTを紹介する。このベンチマークは合計1万のサンプルで構成されており、17の異なるシナリオと4つのjailbreakメソッドを含んでいる。このベンチマークを用いて17種類のモデルの安全性を評価し、有害な対話のターン数が増加するにつれて、これらのモデルに対する攻撃が成功するリスクが増加することを明らかにする。本稿では,会話中に隠された悪意のある意図を検知し,MLLMに関連する安全ポリシーを提供する対話安全モデレータを提案する。
論文参考訳（メタデータ） (2025-10-14T04:24:07Z)
The Alignment Waltz: Jointly Training Agents to Collaborate for Safety [80.16102254128518]
WaltzRLは、安全アライメントを協調的でポジティブなゲームとして定式化する、新しいマルチエージェント強化学習フレームワークである。 WaltzRLのコアとなるDIR(Dynamic Improvement Reward)は、会話エージェントがフィードバックをいかにうまく組み込むかに基づいて、時間とともに進化する。我々の実験は5つの多様なデータセットで行われ、WaltzRLは安全でない応答と過度な拒絶の両方を著しく低減することを示した。
論文参考訳（メタデータ） (2025-10-09T14:03:05Z)
Evaluating Language Model Reasoning about Confidential Information [95.64687778185703]
言語モデルが文脈的堅牢性を示すか、文脈依存型安全仕様に準拠する能力を示すかを検討する。我々は,ユーザ要求がいつ承認されたか,言語モデルが正しく判断できるかどうかを測定するベンチマーク(PasswordEval)を開発した。現在のオープンソースとクローズドソースのモデルでは、一見単純な作業に苦労しています。
論文参考訳（メタデータ） (2025-08-27T15:39:46Z)
Using In-Context Learning to Improve Dialogue Safety [45.303005593685036]
チャットボットからの応答のバイアスや毒性を低減するための検索手法について検討する。コンテキスト内学習を使用して、モデルをより安全な世代に向けて操る。本手法は,トレーニングを必要とせず,強いベースラインと競合する。
論文参考訳（メタデータ） (2023-02-02T04:46:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。