論文の概要: Mind the GAP: Text Safety Does Not Transfer to Tool-Call Safety in LLM Agents

• arxiv url: http://arxiv.org/abs/2602.16943v1
• Date: Wed, 18 Feb 2026 23:17:15 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-20 15:21:28.507899
• Title: Mind the GAP: Text Safety Does Not Transfer to Tool-Call Safety in LLM Agents
• Title（参考訳）: GAPの考え方: LLMエージェントにおけるテキスト安全性はツールコールセーフティに移行しない
• Abstract要約: GAPベンチマークは、LLMエージェントのテキストレベルの安全性とツールレベルの安全性のばらつきを測定する。 我々は,モデルテキスト出力が有害な要求を拒否し,そのツールコールが同時に禁じられたアクションを実行する事例を観察し,GAPメトリックとして形式化する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models deployed as agents increasingly interact with external systems through tool calls--actions with real-world consequences that text outputs alone do not carry. Safety evaluations, however, overwhelmingly measure text-level refusal behavior, leaving a critical question unanswered: does alignment that suppresses harmful text also suppress harmful actions? We introduce the GAP benchmark, a systematic evaluation framework that measures divergence between text-level safety and tool-call-level safety in LLM agents. We test six frontier models across six regulated domains (pharmaceutical, financial, educational, employment, legal, and infrastructure), seven jailbreak scenarios per domain, three system prompt conditions (neutral, safety-reinforced, and tool-encouraging), and two prompt variants, producing 17,420 analysis-ready datapoints. Our central finding is that text safety does not transfer to tool-call safety. Across all six models, we observe instances where the model's text output refuses a harmful request while its tool calls simultaneously execute the forbidden action--a divergence we formalize as the GAP metric. Even under safety-reinforced system prompts, 219 such cases persist across all six models. System prompt wording exerts substantial influence on tool-call behavior: TC-safe rates span 21 percentage points for the most robust model and 57 for the most prompt-sensitive, with 16 of 18 pairwise ablation comparisons remaining significant after Bonferroni correction. Runtime governance contracts reduce information leakage in all six models but produce no detectable deterrent effect on forbidden tool-call attempts themselves. These results demonstrate that text-only safety evaluations are insufficient for assessing agent behavior and that tool-call safety requires dedicated measurement and mitigation.
• Abstract（参考訳）: エージェントとしてデプロイされる大規模言語モデルは、ツールコールを通じて、テキスト出力だけでは持たない現実的な結果に対するアクションを通じて、外部システムと対話するようになっている。 しかし、安全性評価は、テキストレベルの拒絶行動を圧倒的に測定し、重要な疑問を未解決のまま残している:有害なテキストを抑圧するアライメントもまた有害な行為を抑制するのか? LLMエージェントにおけるテキストレベルの安全性とツールレベルの安全性の相違を計測するシステム評価フレームワークであるGAPベンチマークを導入する。 6つの規制ドメイン(薬品、金融、教育、雇用、法律、インフラ)、ドメインごとのジェイルブレイクシナリオ7つ、システムプロンプト条件(中性、安全強化、ツール環境)3つ、そして2つの迅速なモデルをテストする。 私たちの中心的な発見は、テキストの安全性がツールコールの安全性に移行しないことです。 6つのモデル全体にわたって、モデルのテキスト出力が有害な要求を拒否し、そのツール呼び出しが同時に禁じられたアクションを実行するインスタンスを観察します。 安全強化されたシステムプロンプトの下でも、そのようなケースは6つのモデルにまたがって219のケースが持続する。 TCセーフレートは最も頑健なモデルでは21ポイント、最も刺激に敏感なモデルでは57ポイントであり、ボンフェロニ補正後の18対のアブレーション比較は有意である。 実行時のガバナンス契約は、6つのモデルすべてにおいて情報漏洩を減らすが、ツールコール自体が禁止されていることに対する検出可能な抑止効果は生じない。 これらの結果から,テキストのみの安全性評価はエージェントの挙動を評価するには不十分であり,ツールコールの安全性には専用の測定と緩和が必要であることが示唆された。

関連論文リスト

• BLINDSPOT: A Benchmark for Safety and Refusal Calibration in Long-Horizon Tool-Using Agents [20.217145643468598]
  我々は、長距離ツール使用エージェントの軌道レベルの安全校正のためのベンチマークであるBlindspotを紹介する。 Blindspotは、適応的な対角的相互作用、ステートフルなツールの実行、実行に基づく適応を通じて、完全なユーザ-エージェント-環境トラジェクトリを評価する。 安全でない完成度, 適切な拒絶性, 便宜性, 過度な拒絶性, 繰り返し発生する頑健性, 拒絶後の失敗などをカバーする8つの指標を用いて, 13のプロプライエタリかつオープンウェイトLCMを評価した。
  論文  参考訳（メタデータ） (2026-09-14T20:12:27Z)
• EvoSafeHarness: Evolving Model- and Domain-Specific Harnesses for Securing Agents [74.54929751174289]
  EvoSafeHarnessは、ターゲットドメイン内の凍結モデルのためのデプロイ可能なハーネスを合成する、安全固有の最適化フレームワークである。 これは平均攻撃成功率を3.3ポイントのユーティリティコストで45.6%から10.0%に下げる。 また、Agent-SafetyBenchでは、すべての犠牲者に対してベストスコアを獲得している。
  論文  参考訳（メタデータ） (2026-09-05T05:56:41Z)
• Tool Specifications Matter: Uncovering and Mitigating Safety Risks in AI Agents [21.622196229181103]
  我々は、スキーマフォーマットのツール仕様を、エージェントの安全性劣化の主な原因として特定する。 ツール実行から安全判断を分離する推論時セーフガードであるSafeKeepを提案する。 有害な要求に対する平均拒絶率を23.8%から70.6%に引き上げ、観察レベルのプロンプト注入による平均攻撃成功率を25.6%から2.5%に下げる。
  論文  参考訳（メタデータ） (2026-07-31T10:25:04Z)
• What Breaks When LLMs Code? Characterizing Operational Safety Failures of Agentic Code Assistants [4.032084095153604]
  私たちは、22のプレミア会場から68,816の論文、安全関連の研究185のキュレーション、広くデプロイされたコーディングツールから16,586のGitHubイシューを検査しました。 両コーパスを体系的にオープンコーディングすることで、33種類の運用リスクの多次元安全分類を導出する。 以上の結果から,コーディングエージェント障害は重篤で,547件中326件が重篤であった。
  論文  参考訳（メタデータ） (2026-05-29T03:09:37Z)
• Measuring Safety Alignment Effects in Autonomous Security Agents [3.93181912653522]
  セキュリティエージェントは、レポジトリを検査し、ツールを呼び出し、認証されたサンドボックス内で脆弱性証拠を生成する必要がある。 固定ツール、決定論的成功予測、リアクションルール、グラウンドチェックを備えた30のローカル脆弱性分析タスクのトレースベースのベンチマークを示す。 自律型セキュリティエージェントの安全性アライメント効果をシステムレベルで測定し, 拒絶, 不安全行動, ツール信頼性, 根拠を分離する。
  論文  参考訳（メタデータ） (2026-05-19T11:55:54Z)
• Selective Safety Steering via Value-Filtered Decoding [54.87935112120107]
  大型言語モデル(LLM)は人間の価値観に合わせるように訓練されているが、その世代は安全上の制約に反する可能性がある。 既存のデコード時のステアリング手法は、しばしば不要に介入し、ベースモデルの下で安全であった世代を変更する。 安全でない応答の安全性を向上しつつ、そのような不要な介入を減らすための新しいテストタイムステアリング手法を提案する。
  論文  参考訳（メタデータ） (2026-05-14T12:13:08Z)
• On-Policy Self-Evolution via Failure Trajectories for Agentic Safety Alignment [54.30690671490447]
  既存の安全アライメント信号は、主に応答レベルまたは政治外である。 FATEは、検証済みの失敗を専門家のデモンストレーションなしで修復管理に変換する。 FATEは攻撃成功率を33.5%、有害なコンプライアンスを82.6%削減し、外的軌道安全診断を6.5%改善する。
  論文  参考訳（メタデータ） (2026-05-12T09:56:28Z)
• CORA: Conformal Risk-Controlled Agents for Safeguarded Mobile GUI Automation [68.53387633351484]
  有害な行為に対する統計的保証を提供するポスト・ポリティクス・プレアクション保護フレームワークであるCORA(Conformal Risk-control GUI Agent)を提案する。 CORAは、安全を選択的行動実行として再定義する:我々は、提案されたステップごとに行動条件リスクを推定するためにガーディアンモデルを訓練する。 このパラダイムを厳格に評価するために、ステップレベルのハーモラベルを持つモバイル安全違反の新しいベンチマークであるPhone-Harmを紹介する。
  論文  参考訳（メタデータ） (2026-04-10T09:41:21Z)
• Robust Multimodal Safety via Conditional Decoding [52.92816441364308]
  マルチモーダル大規模言語モデル(MLLM)は、有害なクエリが相互モーダル相互作用を悪用した場合、しばしば安全性の低下を経験する。 本稿では,MLLMの内部表現を利用して応答生成前の二項安全トークンを予測する,シンプルな条件付きデコード戦略であるCASAを提案する。
  論文  参考訳（メタデータ） (2026-03-31T23:19:50Z)
• The Causal Impact of Tool Affordance on Safety Alignment in LLM Agents [0.3823356975862005]
  本研究は,大規模言語モデル(LLM)の安全アライメントがいかに変化するかを実証的に検証する。 決定論的金融取引環境において、1500シナリオにわたる二元的安全制約を伴う実験を行う。 どちらのモデルも、テキストのみの設定では完全なコンプライアンスを維持しているが、ツールアクセスが導入されると、違反が大幅に増加する。
  論文  参考訳（メタデータ） (2026-03-19T23:34:46Z)
• ToolSafe: Enhancing Tool Invocation Safety of LLM-based agents via Proactive Step-level Guardrail and Feedback [53.2744585868162]
  エージェントのデプロイには、ステップレベルのツールの実行動作をリアルタイムで監視することが不可欠だ。 LLMエージェントにおけるステップレベルツール起動安全検出のための新しいベンチマークであるTS-Benchを構築した。 次に,マルチタスク強化学習を用いたガードレールモデルTS-Guardを開発した。
  論文  参考訳（メタデータ） (2026-01-15T07:54:32Z)
• What Matters For Safety Alignment? [38.86339753409445]
  本稿では,AIシステムの安全アライメント能力に関する総合的研究について述べる。 本研究では,6つの重要な内在モデル特性と3つの外部攻撃手法の影響を系統的に検討し,比較した。 LRMs GPT-OSS-20B, Qwen3-Next-80B-A3B-Thinking, GPT-OSS-120Bを最も安全な3つのモデルとして同定した。
  論文  参考訳（メタデータ） (2026-01-07T12:31:52Z)
• GSAE: Graph-Regularized Sparse Autoencoders for Robust LLM Safety Steering [5.124731939041066]
  大規模言語モデル(LLM)は、敵のプロンプトやジェイルブレイク攻撃を通じて有害なコンテンツを生成するように操作できるため、重要な安全上の課題に直面している。 グラフ正規化スパースオートエンコーダ (GSAE) を導入し, ニューロン共活性化グラフ上にラプラシアンスムーズネスペナルティを持つSAEを拡張した。 GSAEは, 効果的な安全ステアリング, 特徴を重み付けした安全関連方向に組み立て, 2段階のゲーティング機構で制御できることを実証した。
  論文  参考訳（メタデータ） (2025-12-07T04:46:30Z)
• Securing the Model Context Protocol: Defending LLMs Against Tool Poisoning and Adversarial Attacks [8.419049623790618]
  本研究は,MPP統合システムに対するセマンティックアタックの3つのクラスを分析する。 ディスクリプタの整合性を強制するためのRSAベースのマニフェスト署名、不審なツール定義を検出するためのLLM-on-LLMセマンティックベッティング、実行時に異常なツール動作をブロックする軽量ガードレールである。 提案手法は, モデル微調整や内部修正を伴わずに, 安全でないツール実行率を低減できることを示す。
  論文  参考訳（メタデータ） (2025-12-06T20:07:58Z)
• Qwen3Guard Technical Report [127.69960525219051]
  Qwen3Guardは、多言語安全ガードレールモデルである。 生成的Qwen3Guardは、きめ細かい三級判定を可能にする命令追従タスクとして安全分類をキャストする。 Stream Qwen3Guardは、リアルタイム安全監視のためのトークンレベルの分類ヘッドを導入している。
  論文  参考訳（メタデータ） (2025-10-16T04:00:18Z)
• STAC: When Innocent Tools Form Dangerous Chains to Jailbreak LLM Agents [38.755035623707656]
  本稿では,エージェントツールの利用を生かした新しいマルチターンアタックフレームワークSTACについて紹介する。 我々は,483のSTACケースを自動生成し,評価するために,1,352セットのユーザエージェント環境相互作用を特徴とするフレームワークを適用した。 GPT-4.1を含む最先端のLSMエージェントはSTACに対して極めて脆弱であり,攻撃成功率(ASR)は90%以上である。
  論文  参考訳（メタデータ） (2025-09-30T00:31:44Z)
• CARE: Decoding Time Safety Alignment via Rollback and Introspection Intervention [68.95008546581339]
  Contrastive Decodingのような既存のデコーディングタイムの介入は、安全と応答品質の間に深刻なトレードオフを強いることが多い。 本稿では,3つの重要なコンポーネントを統合した,復号時安全アライメントのための新しいフレームワークであるCAREを提案する。 このフレームワークは、安全性、品質、効率のバランスが良く、有害な応答率が低く、ユーザエクスペリエンスを最小限に破壊できる。
  論文  参考訳（メタデータ） (2025-09-01T04:50:02Z)
• ARMOR: Aligning Secure and Safe Large Language Models via Meticulous Reasoning [64.32925552574115]
  ARMORは、jailbreak戦略を分析し、コアインテントを抽出する、大規模な言語モデルである。 ARMORは最先端の安全性能を達成し、平均有害率は0.002であり、高度な最適化ベースのジェイルブレイクに対する攻撃成功率は0.06である。
  論文  参考訳（メタデータ） (2025-07-14T09:05:54Z)
• SafeDialBench: A Fine-Grained Safety Benchmark for Large Language Models in Multi-Turn Dialogues with Diverse Jailbreak Attacks [90.41592442792181]
  大規模言語モデル(LLM)の安全性を評価するための詳細なベンチマーク SafeDialBench を提案する。 具体的には,6つの安全次元を考慮した2階層型階層型安全分類法を設計し,22の対話シナリオの下で中国語と英語の双方で4000以上のマルチターン対話を生成する。 特に,LLMの革新的なアセスメントフレームワークを構築し,安全でない情報を検出し,処理し,ジェイルブレイク攻撃時の一貫性を維持する。
  論文  参考訳（メタデータ） (2025-02-16T12:08:08Z)
• SCANS: Mitigating the Exaggerated Safety for LLMs via Safety-Conscious Activation Steering [56.92068213969036]
  悪意のある命令から脅威を守るために、LLM(Large Language Models)には安全アライメントが不可欠である。 近年の研究では、過大な安全性の問題により、安全性に配慮したLCMは、良質な問い合わせを拒否する傾向にあることが明らかになっている。 過大な安全性の懸念を和らげるために,SCANS法を提案する。
  論文  参考訳（メタデータ） (2024-08-21T10:01:34Z)
• Refuse Whenever You Feel Unsafe: Improving Safety in LLMs via Decoupled Refusal Training [67.30423823744506]
  我々は,LLMに対して,いかなる応答位置においても有害なプロンプトへのコンプライアンスを拒否する権限を付与する,新しいアプローチであるDecoupled Refusal Training(DeRTa)を導入する。 DeRTaは,(1)安全応答の開始に有害な応答のセグメントを付加することにより,安全でないコンテンツの認識と回避をモデルに訓練する,(2)有害応答シーケンスを通して潜在的障害から安全拒絶へ移行する能力をモデルに装備する強化遷移最適化(RTO)という,2つの新しいコンポーネントを組み込んでいる。
  論文  参考訳（メタデータ） (2024-07-12T09:36:33Z)
• On Prompt-Driven Safeguarding for Large Language Models [172.13943777203377]
  表現空間では、入力クエリは通常、安全プロンプトによって「より高い拒絶」方向に移動される。 これらの知見に触発されて,安全性向上,すなわちDROの最適化手法を提案する。 安全性プロンプトを継続的かつトレーニング可能な埋め込みとして扱うことで、DROは、その有害性に応じて、クエリの表現を拒否方向に沿ってあるいは反対に移動させることを学ぶ。
  論文  参考訳（メタデータ） (2024-01-31T17:28:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。