論文の概要: How User-AI Mistreatment Occurs and Matters in Conversational Systems?

• arxiv url: http://arxiv.org/abs/2609.13579v1
• Date: Fri, 11 Sep 2026 22:33:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-16 07:15:05.399273
• Title: How User-AI Mistreatment Occurs and Matters in Conversational Systems?
• Title（参考訳）: 会話システムにおけるユーザ・AIの誤処理と問題
• Abstract要約: 777Kの英語LMSYS-Chat-1M会話を2つの独立検出器で評価した。 辞書は、その助手を狙った侮辱、脅迫、ジェイルブレイクの強制を識別する。 ユーザ敵意はモデルによって13倍に異なり、主に各モデルが引き付けるものによって引き起こされる。
• 参考スコア（独自算出の注目度）: 0.4014524824655105
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Safety research often focuses on model-generated harms, but users may also direct hostility, coercion, and adversarial pressure at models. Understanding how and when that occurs is essential for accurately interpreting model behaviour, alignment drift, and real-world deployment risks. In this paper, we audit 777K English LMSYS-Chat-1M conversations with two independent detectors: an eight-category lexicon for hostility directed at the model, and the dataset's moderation signal; and show that they capture different, weakly overlapping phenomena. The lexicon identifies insults, threats, and jailbreak coercion aimed at the assistant, while moderation flags are dominated by toxic-content solicitation rather than hostility at the model. Together, they mark about 5% of user turns; adjusting the narrower lexicon-harassment union for measured precision puts mistreatment aimed at the assistant at 0.90%. These absolute rates describe arena-style evaluation traffic and should not be read as deployment-wide base rates. We find that user hostility varies 13-fold across models, driven largely by who each model attracts rather than by model behaviour: first-turn hostility spreads far wider than post-response hostility, and more than fifteenfold separates the extremes even after deduplicating opening prompts. Within conversations, assistant apologies are consistently associated with higher odds of next-turn hostility under both detectors; the effect survives restricting to non-refused prior turns and to jailbreak-free conversations, and is positive in 20 of 23 models. Yet across models, more apologetic models receive less hostility overall. Finally, hostility also shows temporal structure, with coercive openings front-loading the first turn while affective hostility accumulates over a session. We release the lexicon, the detector cross-validation pipeline, and all derived tables.
• Abstract（参考訳）: 安全研究は、しばしばモデル生成の害に焦点を当てるが、ユーザーはモデルに対して直接敵意、強迫性、および敵の圧力を課すこともある。 モデル行動、アライメントドリフト、実際のデプロイメントリスクを正確に解釈するには、その発生時期を理解することが不可欠です。 本稿では,777Kの英語LMSYS-Chat-1Mによる2つの独立検知器(モデルに向け,敵意を示す8カテゴリのレキシコン)とデータセットのモデレーション信号(モデレーション信号)を検査し,異なる,弱い重なり合う現象を捉えることを示す。 辞書は、アシスタントを狙った侮辱、脅迫、ジェイルブレイクの強制を識別し、一方、モデレーションフラグはモデルにおける敵意ではなく、有毒な結束によって支配されている。 同時に、ユーザーターンの約5%をマークし、測定精度のためにより狭いレキシコンハラスメントユニオンを調整することで、アシスタントをターゲットにした不正処理を0.90%に抑える。 これらの絶対レートは、アリーナスタイルの評価トラフィックを記述しており、デプロイメント全体のベースレートとして読むべきではない。 1ターンの敵性は、応答後の敵性よりもはるかに広い範囲に広がり、オープニングプロンプトを重複させた後でも、1回以上は極端を分離する。 会話の中では、補助的謝罪は、両方の検出器の下での次のターン敵意のより高い確率と一貫して関連付けられており、この効果は未使用の事前のターンやジェイルブレイクのない会話に制限され、23モデル中20モデルで陽性である。 しかし、モデル全体では、より謝罪的なモデルは全体的な敵意を損なう。 最後に、敵意は時間的構造を示し、強制的開口は第1ターンを前向きにロードし、情緒的敵意はセッションに蓄積する。 我々は、レキシコン、検出器クロスバリデーションパイプライン、および全ての導出テーブルを解放する。

関連論文リスト

• When Seeing Overrides Knowing: Visual Dominance and Deferral-Based Method for Personalized Safety in VLMs [54.95635713318535]
  視覚言語モデル(VLM)は、一般的に妥当な応答が特定のユーザにとって安全でない場合、ハイテイクな設定でデプロイされることが多い。 マルチモーダルシステムにおけるパーソナライズされた安全性の問題について検討し,MPS-Benchを紹介した。 我々は、ほとんど常に(86-99%)直接応答し、コンテキストの欠如を求めるのではなく、パーソナライズされた安全性において2.6/5を超えないことを発見した。 このメカニズムにより、双方向の相互変調を用いてクエリがいつ要求されるかを予測する軽量な入力モニタであるPRISMを提案する。
  論文  参考訳（メタデータ） (2026-09-03T03:58:56Z)
• Behavioral Grammar: Detecting Adaptive Malware via Tiny Language Model Priors and Second-Order Temporal Analysis [1.560152792366037]
  本稿では,ホストの動作を構造化言語として扱う検出アーキテクチャである振舞い文法について述べる。 各システムイベントは、イベントタイプ、プロセス、引数スケルトン、パスカテゴリ、親プロセス、ユーザ、宛先、イベント間タイミングにまたがる8つのトークン表現に識別される。 我々は,これらの知見を共進化経済学モデルに組み入れ,行動文法検出はルール回避から分布マッチングへ回避コストをシフトさせると主張した。
  論文  参考訳（メタデータ） (2026-08-01T16:28:38Z)
• The Knowing-Saying Gap: When Probes See Errors that Confidence Misses [20.46211358172975]
  線形プローブは、ほぼ完全精度で言語モデルの劣化コンテキストを検知するが、信頼性の高い故障予測にはならない。 マルチホップ算術連鎖全体において、汚職を検出するプローブは最終解の正しさについて非形式的であることが判明した。 リアルタイムモニタとして、プローブベースの介入は、シャープにモデル化され、エラータイプに依存します。
  論文  参考訳（メタデータ） (2026-07-21T12:13:10Z)
• One Turn Too Late: Response-Aware Defense Against Hidden Malicious Intent in Multi-Turn Dialogue [55.98008208209856]
  マルチターン対話における隠れた悪意のある意図は、大規模言語モデル(LLM)に対する脅威を増大させる 近年の研究では、安全アライメントや外部ガードレールの進歩にもかかわらず、高度なガードレールを備えた近代的な商用モデルでさえも、このような攻撃に対して脆弱であることが示されている。 そこで本研究では,この課題に対処するため,最も早いタイミングで候補応答を届けることによって,蓄積された相互作用が有害な作用を可能にするのに十分であることを示す。
  論文  参考訳（メタデータ） (2026-05-07T03:35:31Z)
• Taming Actor-Observer Asymmetry in Agents via Dialectical Alignment [59.536125286960186]
  セルフリフレクションと相互監査を可能にするために、専門的な役割を割り当てるマルチエージェントフレームワークがますます採用されている。 アクター・オブザーバ非対称性(Actor-Observer Asymmetric)と呼ばれる認知バイアスを同時に誘発する。 ReTASは、対立する視点を客観的なコンセンサスに合成するためにエージェントを誘導する。
  論文  参考訳（メタデータ） (2026-04-21T15:05:58Z)
• When in Doubt, Deliberate: Confidence-Based Routing to Expert Debate for Sexism Detection [7.299050989302629]
  我々は,(i)低表現,(ii)雑音,(iii)データおよびモデル予測における概念的あいまいさの複合効果に対処する枠組みを提案する。 提案手法では,タスク EXIST 2025 タスク 1.1 では F1 が +2.72% 改善され,EDOS A と B では +4.48% と +1.30% が得られた。
  論文  参考訳（メタデータ） (2025-12-21T05:48:57Z)
• Scaling Patterns in Adversarial Alignment: Evidence from Multi-LLM Jailbreak Experiments [4.547649832854566]
  大規模言語モデル(LLM)は、マルチエージェントと安全クリティカルな設定でますます運用され、モデルが逆向きに相互作用する際の脆弱性のスケールに関するオープンな疑問が提起される。 本研究は,アライメント保護にもかかわらず有害な拘束行動を引き起こす,より大規模なモデルで,より小さなモデルを体系的に緩和できるかどうかを検討する。
  論文  参考訳（メタデータ） (2025-11-16T15:16:33Z)
• DeLeaker: Dynamic Inference-Time Reweighting For Semantic Leakage Mitigation in Text-to-Image Models [55.30555646945055]
  テキスト・ツー・イメージ(T2I)モデルはセマンティック・リークに対して脆弱である。 DeLeakerは、モデルのアテンションマップに直接介入することで、漏洩を緩和する軽量なアプローチである。 SLIMはセマンティックリークに特化した最初のデータセットである。
  論文  参考訳（メタデータ） (2025-10-16T17:39:21Z)
• Mitigate One, Skew Another? Tackling Intersectional Biases in Text-to-Image Models [73.20190633746442]
  テキスト・ツー・イメージ・モデルにおけるバイアス相互作用を解析・定量化するための新しいツールであるBiasConnectを紹介する。 ユーザが定義した目標分布と優先度重みを導出する交叉バイアス緩和アルゴリズムであるInterMitを提案する。
  論文  参考訳（メタデータ） (2025-05-22T20:56:38Z)
• Compromising Honesty and Harmlessness in Language Models via Deception Attacks [0.04499833362998487]
  大規模言語モデル(LLM)は、明示的なプロンプトなしでも、偽りの振る舞いを理解し、利用することができる。 これらの特徴を損なう「偽装攻撃」を導入し、悪用されたら現実世界で深刻な結果をもたらす可能性のある脆弱性を明らかにします。 本研究では,高用量ドメインやイデオロギーに荷担した被験者においても,そのような偽装が有効であることを示す。
  論文  参考訳（メタデータ） (2025-02-12T11:02:59Z)
• Fundamental Tradeoffs between Invariance and Sensitivity to Adversarial Perturbations [65.05561023880351]
  敵の例は誤分類を引き起こすために作られた悪意のある入力である。 本稿では, 相補的障害モード, 不変性に基づく逆数例について検討する。 感度に基づく攻撃に対する防御は、不変性に基づく攻撃に対するモデルの精度を積極的に損なうことを示す。
  論文  参考訳（メタデータ） (2020-02-11T18:50:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。