論文の概要: Behavior Beyond Text: Evaluating Refusal Transfer Failure in LLM Agents
- arxiv url: http://arxiv.org/abs/2610.28982v1
- Date: Tue, 20 Oct 2026 23:14:30 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-23 00:40:06.159094
- Title: Behavior Beyond Text: Evaluating Refusal Transfer Failure in LLM Agents
- Title（参考訳）: テキスト以外の挙動:LLM剤の拒絶伝達不良の評価
- Abstract要約: テキスト転送における拒絶行動がツール利用に影響を及ぼすかどうかを検討する。
さまざまなサイズと家族の5つのモデルをテストします。
要求をテキストで拒否すると、安全でないツールコールが発生することがよくあります。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: While large language models are increasingly deployed as tool-calling agents, their safety evaluations still focus primarily on their ability to refuse harmful requests in text. We investigate whether the refusal behavior in text transfers to tool use. We construct a benchmark of 2,304 prompts across four domains, consisting of matched triplets that present the same harmful or benign request in text-only, standard tool-enabled, and adversarially framed tool-enabled settings. We then assess tool-call safety using 20 predefined forbidden actions. Testing five models of varying sizes and families, we find that requests refused in text frequently result in unsafe tool calls. Under standard tool-enabled prompting, this divergence occurs for 10-52 percent of harmful requests refused in chat. To mechanistically investigate this gap, we identify a refusal-associated direction in the residual stream of each of the five models. We find that in tool-enabled contexts, the activations along this direction decrease in four of five models. Furthermore, lower activation predicts unsafe tool calls across all five models (AUC 0.76-0.86). However, restoring the signal to the respective text-only value through activation patching only prevents a subset of unsafe calls, primarily by suppressing tool use rather than by producing safer calls. Steering along the refusal direction nearly eliminates unsafe calls only at strengths that also suppress benign tool use or degrade the output quality. Our findings indicate that the identified refusal direction contributes to whether a model acts, but only partially explains the refusal divergence. Therefore, evaluating the safety of tool-calling agents requires directly examining their actions along with their textual responses.
- Abstract（参考訳）: 大きな言語モデルはますますツールコールエージェントとしてデプロイされているが、その安全性評価は主にテキストにおける有害な要求を拒否する能力に焦点を当てている。
テキスト転送における拒絶行動がツール利用に影響を及ぼすかどうかを検討する。
テキストオンリー、標準ツール対応、逆フレーム対応ツール対応設定において、同じ有害または良質な要求を示すマッチした三つ子からなる4つのドメインにわたる2,304のプロンプトのベンチマークを構築した。
ツールコールの安全性を20の事前定義された禁止アクションを用いて評価する。
サイズや家族の異なる5つのモデルをテストすると、要求がテキストで拒否されると、安全でないツールコールが発生することがよくあります。
標準ツール対応のプロンプトでは、チャットで拒否された有害なリクエストの10～22%にこのばらつきが発生する。
このギャップを機械的に検討するため、5つのモデルの残差ストリームにおける拒絶関連方向を同定する。
ツール対応のコンテキストでは、この方向に沿ったアクティベーションは5つのモデルのうち4つで減少する。
さらに、アクティベーションの低さは、すべての5つのモデル(AUC 0.76-0.86)にわたる安全でないツールコールを予測する。
しかし、アクティベーションパッチによって各テキストのみの値にシグナルを復元することで、安全でない呼び出しのサブセットが防止される。
拒絶方向に沿ったステアリングは、良質なツールの使用を抑制したり、出力品質を低下させる強度のみにおいて、ほぼ安全でない呼び出しを排除します。
以上より, モデルが機能するか否かは拒絶方向の特定が寄与するが, 部分的には拒絶方向の相違が説明できる。
したがって、ツールコールエージェントの安全性を評価するには、その行動とテキスト応答を直接検査する必要がある。
関連論文リスト
- Before Retrieval Begins: Safety and Tool-Use Decisions in LLM Agents [2.905751301655124]
本研究では,7つのツールセーフティモデルにおいて,ホールドアウトの受け入れを規定する要因について検討する。
このコントラストから推定される線形方向は、7つのモデルのうち4つの保留条件に影響を及ぼす。
プレーンテキストの拒絶訓練は、良質なツールの使用を維持するモデルにおける安全でない受け入れを減らす。
論文 参考訳（メタデータ） (2026-10-16T07:42:47Z) - CounterSteer: Suppressing Indirect Prompt Injection with Activation Steering [4.1626636325601405]
間接的なプロンプトインジェクションにより、エージェントは信頼できない検索されたテキストを命令として扱う。
モデル内のこの振る舞いを抑える推論時間ディフェンスであるCounterSteerを提案する。
論文 参考訳（メタデータ） (2026-09-29T02:51:31Z) - Control-Token Injection Suppresses Chain-of-Thought and Defeats Reasoning-Based Oversight in Tool-Using Agents [2.958094879300854]
ツールを使用する言語モデルエージェントの安全性は通常、モデルのみの特性として扱われる。
制御された完全精度の証拠は、そのモデルと、そのチャットテンプレートをレンダリングするソフトウェアの共同プロパティであることを示す。
論文 参考訳（メタデータ） (2026-09-23T08:33:47Z) - ROPE: Routed Origin Policy Enforcement against Indirect Prompt Injection [61.4148196085256]
本稿では,信頼という構造概念に根ざしたROPE(Routed Origin Policy Enforcement)について述べる。
提案手法では,(1)軌道の各段階において,攻撃可能コンテンツのみを起点とする値が,原点保護パラメータに到達しない,(2)注入のリワードがない,という2つの保証が認められている。
論文 参考訳（メタデータ） (2026-08-27T01:22:14Z) - ADeptS-Bench: Measuring the Trustworthiness of Computer Use Agents Across Devices [48.36933831982682]
我々はADEPTS機能フレームワークを基盤とした信頼性ベンチマークであるADeptS-Benchを紹介する。
Safetyストリームは、視覚インターフェースに埋め込まれた脅威を伴うペアの良心/悪意のあるタスクを提供する。
曖昧さストリームは、意図が曖昧である場合、エージェントが明確化を求めるかどうかを評価する。
論文 参考訳（メタデータ） (2026-08-25T23:21:57Z) - ScrambleToolBench: Agents Search Exhaustively Even When Their Own Map Points to the Next Step [74.83535434786145]
ScrambleToolBenchは,行動推論の分離を目的とした対話型端末ベンチマークである。
このベンチマークでは、エージェントがテストとエラーのインタラクションを通じて、隠されたツールの振る舞いを明らかにする必要がある。
現状の言語モデルに対する我々の評価は、初期発見が成功しても頑健な適応にはならないことを示している。
論文 参考訳（メタデータ） (2026-08-03T15:07:46Z) - Abliteration Is Not a Scalpel: Off-Target Effects of Refusal Removal on Decision Disposition Across Model Families [51.56484100374058]
放棄 — モデルの拒絶方向を重みから取り除く — は、一般的な"アンセンソルド"なオープンウェイトモデルの標準的なレシピである。
ディスポジションプローブとして21,600個の決定を不確実性の下で使用し、凍結パイプラインを通じて再生することにより、決定層モデルが唯一の変数となる。
3つのエフェクトは2つのファミリーにまたがって複製される(ゼロを除く週間クラスターCI)
4つ目の効果は符号を逆転する:同じ操作によりGemmaで読み取られた方が自信が弱まり、Qwenで読み取られたものがより多くなる(ファミリーCIは重複しない)。
論文 参考訳（メタデータ） (2026-07-19T22:27:00Z) - The Causal Impact of Tool Affordance on Safety Alignment in LLM Agents [0.3823356975862005]
本研究は,大規模言語モデル(LLM)の安全アライメントがいかに変化するかを実証的に検証する。
決定論的金融取引環境において、1500シナリオにわたる二元的安全制約を伴う実験を行う。
どちらのモデルも、テキストのみの設定では完全なコンプライアンスを維持しているが、ツールアクセスが導入されると、違反が大幅に増加する。
論文 参考訳（メタデータ） (2026-03-19T23:34:46Z) - Mind the GAP: Text Safety Does Not Transfer to Tool-Call Safety in LLM Agents [0.0]
GAPベンチマークは、LLMエージェントのテキストレベルの安全性とツールレベルの安全性のばらつきを測定する。
我々は,モデルテキスト出力が有害な要求を拒否し,そのツールコールが同時に禁じられたアクションを実行する事例を観察し,GAPメトリックとして形式化する。
論文 参考訳（メタデータ） (2026-02-18T23:17:15Z) - Sponge Tool Attack: Stealthy Denial-of-Efficiency against Tool-Augmented Agentic Reasoning [58.432996881401415]
最近の作業では、エージェント推論を可能にするために、外部ツールで大きな言語モデル(LLM)を拡張している。
本稿では,入力プロンプトを書き換えることのみでエージェント推論を妨害するスポンジツールアタック(STA)を提案する。
STAは、意味的忠実度の高い原文からの良心的な即興的な書き直しを生成する。
論文 参考訳（メタデータ） (2026-01-24T19:36:51Z) - Navigating the OverKill in Large Language Models [84.62340510027042]
モデルがどのように処理し,クエリの安全性を判断するかを検討することで,過剰スキルの要因について検討する。
以上の結果から,モデル内にショートカットが存在することが明らかとなり,"キル"のような有害な単語が過剰に認識され,安全性が強調され,過度なスキルが増すことが示唆された。
我々は、この現象を緩和するために、トレーニングフリーでモデルに依存しないセルフコントラストデコーディング(Self-Contrastive Decoding、CD)を導入する。
論文 参考訳（メタデータ） (2024-01-31T07:26:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。