論文の概要: RoleFUZZER: User-Behaviour Fuzzing for Role-Specification Adherence in Large Language Models

• arxiv url: http://arxiv.org/abs/2610.38438v1
• Date: Wed, 28 Oct 2026 08:19:36 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-01 01:32:09.973836
• Title: RoleFUZZER: User-Behaviour Fuzzing for Role-Specification Adherence in Large Language Models
• Title（参考訳）: RoleFUZZER:大規模言語モデルにおける役割特定適応のためのユーザビヘイビアファジリング
• Abstract要約: 大規模言語モデル(LLM)は、システムプロンプトを通じて、どのように振る舞うかを指定することで、特定の役割に条件付けされることが多い。 本稿では,ユーザ行動ファジィング(ユーザ行動ファジィング)を提案する。これは,モデルがロール仕様に違反する可能性のあるユーザ行動に関するガイド付き検索である。 RoleFUZZERでは、教師、財務顧問、AIインタビュアー、敵対的なロールプレイキャラクタ、Webエージェントを含む5つのロール仕様のLSMを評価する。
• 参考スコア（独自算出の注目度）: 29.50718254796794
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models (LLMs) are often conditioned into specific roles such as tutors, interviewers, or agents acting for an organisation, through system prompts that specify how they should behave. The extent to which they can actually adhere to these role specifications under multi-turn interactions with realistic and potentially problematic users is understudied. To address this, we propose user behaviour fuzzing, a guided search over plausible user behaviours that can lead a model to violate its role specification, and introduce RoleFUZZER, a framework that adapts coverage-guided fuzzing from software testing to operationalise the search. RoleFUZZER constructs scenarios guided by a user-behaviour coverage grid that crosses a grounded taxonomy of user interaction types and the role specification of the model under test i.e. what is under pressure. With RoleFUZZER, we evaluate LLMs across five role specifications, including tutor, financial advisor, AI interviewer, antagonistic roleplay character, and web agent under organisational policies. Across simulated and validated conversations in 15 campaigns, the framework reaches >= 89% coverage of the 64-cell behaviour grid for every model and role tested, and surfaces specification-grounded failure patterns. At an equal budget of conversations, removing the RoleFUZZER grid and asking an LLM to generate specification targeting users free-form lowers coverage to 39-69% with fewer kinds of violations. The same specification can also fail in opposite directions. For e.g., on the antagonist, open-weight target models override the player's safety signals, while Claude Haiku 4.5 breaks character instead. RoleFUZZER offers a tractable way to uncover vulnerabilities in LLMs across role specifications by testing diverse user behaviours that are likely to violate them.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、チューター、インタビュアー、あるいは組織のために行動するエージェントといった特定の役割に、どのように振る舞うかを指定するシステムプロンプトを通じて条件付けされることが多い。 現実的で潜在的に問題のあるユーザとのマルチターンインタラクションの下で、実際にこれらのロール仕様に準拠できる範囲は検討されている。 これを解決するために,ユーザ行動ファジィング (ユーザ行動ファジィング) , モデルがロール仕様に違反するおそれのあるユーザ行動に関するガイド付き検索, および, ソフトウェアテストからカバレッジ誘導ファジィングを適用して検索を運用するフレームワークであるRoleFUZERを提案する。 RoleFUZZERはユーザー・ビヘイビア・カバレッジ・グリッドによって導かれるシナリオを構築し、ユーザー・インタラクション・タイプとテスト中のモデルのロール・仕様、すなわち、何がプレッシャーを受けているのかを横断する。 RoleFUZZERでは,教師,財務顧問,AIインタビュアー,敵対的なロールプレイキャラクタ,Webエージェントなど,5つの役割仕様のLSMを評価する。 15のキャンペーンでシミュレートされ、検証された会話の全体にわたって、フレームワークは、テストされたすべてのモデルとロールに対して、64セルの振る舞いグリッドを >= 89% の範囲でカバーし、仕様のグラデーションされた障害パターンを表面化する。 対等な予算で、RoleFUZERグリッドを削除し、LLMにフリーフォームのユーザをターゲットにした仕様を生成するよう要求すると、より少ない種類の違反で、カバー範囲は39-69%に低下する。 同じ仕様も反対方向に失敗する可能性がある。 例えば、アンタゴニストの場合、オープンウェイトターゲットモデルはプレイヤーの安全信号をオーバーライドし、クロードハイク4.5はキャラクタを壊す。 RoleFUZZERは、ロール仕様全体にわたってLLMの脆弱性を明らかにするための、多種多様なユーザ動作をテストするための、難解な方法を提供する。

関連論文リスト

• AdaMARP: An Adaptive Multi-Agent Interaction Framework for General Immersive Role-Playing [71.66362858228418]
  LLMロールプレイングは、対話的な物語において任意のキャラクターを描写することを目的としているが、既存のシステムは没入性や適応性に制限されることが多い。 本稿では,[Thought], (Action), Environment>, and Speechをインターリーブする没入型メッセージ形式を特徴とする,適応型マルチエージェントロールプレイングフレームワークAdaMARPを提案する。
  論文  参考訳（メタデータ） (2026-01-16T05:41:45Z)
• Role-Aware Language Models for Secure and Contextualized Access Control in Organizations [4.122315998598296]
  大規模言語モデル(LLM)は、ますますエンタープライズ環境にデプロイされている。 組織の役割の異なるアクセス権限を反映した応答を生成するために,LSMを微調整できるかどうかを検討する。
  論文  参考訳（メタデータ） (2025-07-31T11:41:04Z)
• RMTBench: Benchmarking LLMs Through Multi-Turn User-Centric Role-Playing [133.0641538589466]
  RMTBenchは、80の多様な文字と8000以上の対話ラウンドを特徴とする、総合的なテキストバプサー中心のバイリンガルロールプレイングベンチマークである。 本ベンチマークでは,文字記述よりも明示的なユーザモチベーションに基づく対話を構築し,実用的なユーザアプリケーションとの整合性を確保する。 RMTBenchは、キャラクタバックグラウンドからユーザ意図のフルフィルメントにフォーカスを移すことで、学術的な評価と実践的なデプロイメント要件のギャップを埋める。
  論文  参考訳（メタデータ） (2025-07-27T16:49:47Z)
• RNR: Teaching Large Language Models to Follow Roles and Rules [153.6596303205894]
  既存のIFT命令から多様な役割やルールを生成する自動データ生成パイプラインであるモデルを提案する。 このデータは、複雑なシステムプロンプトに従うモデルをトレーニングするために使用することができる。 我々のフレームワークは、大規模言語モデルにおける役割と規則に従う能力を大幅に改善します。
  論文  参考訳（メタデータ） (2024-09-10T06:07:32Z)
• Enhancing Role-playing Systems through Aggressive Queries: Evaluation and Improvement [17.5855800570993]
  大言語モデル(LLM)は、特にロールプレイングシステム(RPS)分野において、対話生成を新しい領域に推進している。 既存のLLMベースのRSSは、境界シナリオで複雑なクエリと閉じ込められたクエリを扱う場合、役割と整合するのに依然として苦労している。 本研究は,MORTISE (Modular Orchestrated Trap-setting Interaction SystEm) を設計し,ロールプレイングLLMの性能向上を図る。
  論文  参考訳（メタデータ） (2024-02-16T12:12:05Z)
• Can LLMs Follow Simple Rules? [28.73820874333199]
  ルール追従言語評価シナリオ(ルール追従言語評価シナリオ、RuLES)は、大規模言語モデルにおけるルール追従能力を測定するためのフレームワークである。 RuLESは14の単純なテキストシナリオで構成され、そこではモデルがユーザと対話しながら様々なルールに従うように指示される。 現在のほとんどのモデルは、単純なテストケースであっても、シナリオルールに従うのに苦労しています。
  論文  参考訳（メタデータ） (2023-11-06T08:50:29Z)
• RoleLLM: Benchmarking, Eliciting, and Enhancing Role-Playing Abilities of Large Language Models [107.00832724504752]
  大規模言語モデル(LLM)におけるロールプレイング能力をベンチマークし、評価し、拡張するフレームワークであるRoleLLMを紹介する。 Context-InstructとRoleGPTによって、168,093サンプルでロールプレイする最初の体系的できめ細かい文字レベルのベンチマークデータセットであるRoleBenchを作成します。
  論文  参考訳（メタデータ） (2023-10-01T17:52:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。