論文の概要: Same Outcome, Different Evidence: Intent Recovery in LLM Safety Evaluation

• arxiv url: http://arxiv.org/abs/2610.11766v1
• Date: Thu, 08 Oct 2026 11:50:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-10 02:36:53.988776
• Title: Same Outcome, Different Evidence: Intent Recovery in LLM Safety Evaluation
• Title（参考訳）: 同様の成果, 証拠の相違: LLM安全性評価におけるインテントリカバリ
• Abstract要約: 大規模言語モデルの安全性評価 : 攻撃成功率(ASR)による有害出力挙動を概ね要約する しかし、同じ非有害な結果は、非常に異なる理由で起こりうる。 非有害な結果がモデル安全性について等しく有益でないことを示す。
• 参考スコア（独自算出の注目度）: 7.421125609638902
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Safety evaluations of large language models commonly summarize harmful-output behavior with attack success rate (ASR). Yet the same non-harmful outcome can arise for very different reasons. A model may recover a harmful task and refuse it, fail to recover the task, or respond to something else entirely. Distinguishing these cases becomes especially important under intent-obscuring prompts, where a low ASR does not reveal whether the evaluated task was actually engaged. To make this distinction explicit, we pair ASR with operative understanding rate (UR), which measures whether a response both identifies the evaluated task and treats it as the task to be answered. Across interfaces, this paired view reveals substantial variation hidden by ASR: similar ASR values can correspond to sharply different recovery rates. Controlled English reconstructions show that recovery consistently improves as compressed prompts become more explicit, whereas ASR does not follow the same pattern. A complementary contrast comes from FormalLogic, where high recovery can still coincide with frequent harmful assistance. Together, these results show that non-harmful outcomes are not equally informative about model safety, motivating the joint reporting of intent recovery and ASR in LLM safety evaluation. Code and experiment inputs are available at https://github.com/kevinjiang0121-cyber/IRIS.
• Abstract（参考訳）: 大規模言語モデルの安全性評価は、一般的に有害なアウトプット行動と攻撃成功率(ASR)を要約する。 しかし、同じ非有害な結果は、非常に異なる理由で起こりうる。 モデルは有害なタスクをリカバリし、それを拒否したり、タスクのリカバリに失敗したり、あるいは他の何かに完全に反応したりする。 これらのケースの排除は、低いASRが実際にタスクが実行されたかどうかを明らかにしない意図的検査のプロンプトにおいて特に重要となる。 この区別を明確化するために,ASRと作業理解率(UR)を組み合わせて,双方が評価課題を識別し,回答すべきタスクとして扱うかどうかを測定する。 インターフェース全体にわたって、このペア化されたビューは、ASRによって隠された実質的なばらつきを明らかにしている。 制御された英語の再構成は、圧縮されたプロンプトがより明確になるにつれて回復が一貫して改善することを示しているが、ASRは同じパターンに従わない。 補完的なコントラストは、高いリカバリと頻繁な有害なアシストが同時に発生する、FormalLogicにある。 これらの結果から,LLMの安全性評価において,非有害な結果がモデル安全性について等しく有意ではないことが示唆された。 コードと実験のインプットはhttps://github.com/kevinjiang0121-cyber/IRISで入手できる。

関連論文リスト

• Refuse without Refusal: A Structural Analysis of Safety-Tuning Responses for Reducing False Refusals in Language Models [7.073710587892435]
  また, 否定文は, 表面的手がかりに依存することによって, 有害問合せと良性問合せの正確な識別を阻害することを示した。 また,合理性のみを訓練することで,同等の安全性能を維持しながら誤認を低減できることを示す。
  論文  参考訳（メタデータ） (2026-09-04T04:37:10Z)
• CUE-R: Beyond the Final Answer in Retrieval-Augmented Generation [0.996038809132083]
  CUE-Rは、単発RAGにおいて、エビデンス単位の操作性を測定するためのフレームワークである。 CUE-RはREMOVE、REPLACE、DUPLICATE演算子を介して個々の証拠項目を摂動し、3つのユーティリティ軸に沿って変化を測定する。 その結果,回答のみの評価は重要なエビデンス効果を見逃し,介入に基づくユーティリティ分析がRAG評価の実践的補完となることが示唆された。
  論文  参考訳（メタデータ） (2026-04-07T06:05:08Z)
• RefSR-Adv: Adversarial Attack on Reference-based Image Super-Resolution Models [0.0]
  RefSR-Advは、参照画像のみを摂動することでSR出力を劣化させる敵攻撃である。 実験では、低解像度入力と参照画像の類似性と攻撃効果との間に正の相関が認められた。 この研究は、RefSRシステムのセキュリティ脆弱性を明らかにし、研究者にRefSRの堅牢性への注意を促すことを目的としている。
  論文  参考訳（メタデータ） (2026-01-03T14:59:15Z)
• Fine-Tuning Lowers Safety and Disrupts Evaluation Consistency [17.57889200051214]
  特定のドメインやタスクに対して汎用的な大規模言語モデル(LLM)を微調整することは,一般ユーザにとって日常的な手順となっている。 我々は、これを「攻撃」の良質な性質と相まって、微調整の広汎な取り込みによるLCMの臨界故障モードとみなす。 本実験では, 微調整装置に不連続な変化が生じても, 安全性評価の結果に驚くほどのばらつきが認められた。
  論文  参考訳（メタデータ） (2025-06-20T17:57:12Z)
• The Silent Saboteur: Imperceptible Adversarial Attacks against Black-Box Retrieval-Augmented Generation Systems [101.68501850486179]
  本稿では,RAGシステムに対する敵攻撃について検討し,その脆弱性を同定する。 このタスクは、ターゲット文書を検索する非知覚的な摂動を見つけることを目的としており、もともとはトップ$k$の候補セットから除外されていた。 本稿では、攻撃者とターゲットRAG間の相互作用を追跡する強化学習ベースのフレームワークであるReGENTを提案する。
  論文  参考訳（メタデータ） (2025-05-24T08:19:25Z)
• Enhancing AI Safety Through the Fusion of Low Rank Adapters [7.384556630042846]
  低ランク適応核融合は、悪意のあるプロンプトに直面した場合に有害な応答を緩和する。 タスクアダプタと安全アダプタとのLoRA融合を利用して, 有害度率を42%低減した。 また、モデルが安全でないものに近い安全なプロンプトを拒否する、誇張された安全行動も観察する。
  論文  参考訳（メタデータ） (2024-12-30T13:12:27Z)
• Controlling Risk of Retrieval-augmented Generation: A Counterfactual Prompting Framework [77.45983464131977]
  我々は、RAGモデルの予測が誤りであり、現実のアプリケーションにおいて制御不能なリスクをもたらす可能性がどの程度あるかに焦点を当てる。 本研究は,RAGの予測に影響を及ぼす2つの重要な潜伏要因を明らかにする。 我々は,これらの要因をモデルに誘導し,その応答に与える影響を解析する,反実的プロンプトフレームワークを開発した。
  論文  参考訳（メタデータ） (2024-09-24T14:52:14Z)
• On Prompt-Driven Safeguarding for Large Language Models [172.13943777203377]
  表現空間では、入力クエリは通常、安全プロンプトによって「より高い拒絶」方向に移動される。 これらの知見に触発されて,安全性向上,すなわちDROの最適化手法を提案する。 安全性プロンプトを継続的かつトレーニング可能な埋め込みとして扱うことで、DROは、その有害性に応じて、クエリの表現を拒否方向に沿ってあるいは反対に移動させることを学ぶ。
  論文  参考訳（メタデータ） (2024-01-31T17:28:24Z)
• Exploring Robustness of Unsupervised Domain Adaptation in Semantic Segmentation [74.05906222376608]
  クリーンな画像とそれらの逆の例との一致を、出力空間における対照的な損失によって最大化する、逆向きの自己スーパービジョンUDA(ASSUDA)を提案する。 i) セマンティックセグメンテーションにおけるUDA手法のロバスト性は未解明のままであり, (ii) 一般的に自己スーパービジョン(回転やジグソーなど) は分類や認識などのイメージタスクに有効であるが, セグメンテーションタスクの識別的表現を学習する重要な監視信号の提供には失敗している。
  論文  参考訳（メタデータ） (2021-05-23T01:50:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。