論文の概要: Tool Mediation Alters Refusal Mechanisms in Large Language Models
- arxiv url: http://arxiv.org/abs/2609.35117v1
- Date: Mon, 28 Sep 2026 13:16:54 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-02 16:45:51.237046
- Title: Tool Mediation Alters Refusal Mechanisms in Large Language Models
- Title(参考訳): 大規模言語モデルにおけるツール・メディエーション・アルターの拒絶機構
- Abstract要約: 我々は、要求の有害性に関する情報がモデル表現に強くエンコードされ、対話型およびツール経由の入力間で転送されることを示す。
以上の結果から,ツールメディエーションは単に害の内的知覚を低下させるだけでなく,拒絶への変換に影響を及ぼすことが示唆された。
- 参考スコア(独自算出の注目度): 1.3766156880876854
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Large language models (LLMs) are increasingly deployed with access to external tools, yet harmful tool-mediated interactions are less likely to be refused when compared to regular conversational ones. As this change in refusal behavior remains underexplored, we investigate its underlying mechanisms across a diverse set of open-weight language models. We find that information about the harmfulness of a request remains strongly encoded in the model's representations and transfers across conversational and tool-mediated inputs. Evidence from representation geometry and neuron-level analysis further indicates that the two interaction modes systematically distribute harm-related computation differently. Crucially, while conversational inputs can be refused at relatively low levels of perceived harmfulness, tool-mediated inputs remain permissive until harmfulness crosses a substantially higher effective refusal threshold. Moreover, tool-mediated refusal is also more brittle: progressively weakening the refusal computation disrupts tool-mediated refusal at lower intervention strengths than conversational refusal, even when benign capabilities remain intact. Together, our findings indicate that tool mediation does not simply reduce the internal perception of harm, but instead impacts its conversion into refusal. Overall, this suggests tool-mediated environments may intrinsically reduce robustness of models to harmful requests, and that conventional safety evaluations may not fully transfer to LLM agents.
- Abstract(参考訳): 大規模な言語モデル(LLM)は、外部ツールにアクセスしてデプロイされることが多いが、ツールによる有害なインタラクションは、通常の会話モデルに比べて拒否される可能性が低い。
この拒絶行動の変化はいまだ解明されていないため、様々なオープンウェイト言語モデルにおいて、その基盤となるメカニズムについて検討する。
我々は、要求の有害性に関する情報がモデル表現に強くエンコードされ、対話型およびツール経由の入力間で転送されることを示す。
さらに、表現幾何学とニューロンレベル解析の証拠から、2つの相互作用モードが調和関連計算を系統的に異なる方法で分散させることが示されている。
重要なことは、会話による入力は比較的低いレベルの有害度で拒否できるが、ツールによる入力は、有害度が実質的に効果的な拒絶閾値を超えるまで許容される。
さらに、ツールを介在する拒絶はより脆弱である: ツールを介在する拒絶処理を徐々に弱めることで、たとえ良性の能力が保たれたままでも、ツールを介在する拒絶は会話の拒絶よりも低い介入強度で破壊される。
以上の結果から,ツールメディエーションは単に害の内的知覚を低下させるだけでなく,拒絶への変換に影響を及ぼすことが示唆された。
全体として、ツールを介する環境は、本質的に有害な要求に対するモデルの堅牢性を低下させ、従来の安全性評価がLLMエージェントに完全に移行しない可能性があることを示唆している。
関連論文リスト
- Generative Interpretability via Scalable Neuro-Symbolic Models [2.1550607598300617]
我々は、生成的解釈可能性へのシフトを主張する。
本稿では、他の解釈可能性研究パラダイムと比較して、生成的解釈可能性の利点を示す。
論文 参考訳(メタデータ) (2026-09-11T20:54:08Z) - ScrambleToolBench: Agents Search Exhaustively Even When Their Own Map Points to the Next Step [74.83535434786145]
ScrambleToolBenchは,行動推論の分離を目的とした対話型端末ベンチマークである。
このベンチマークでは、エージェントがテストとエラーのインタラクションを通じて、隠されたツールの振る舞いを明らかにする必要がある。
現状の言語モデルに対する我々の評価は、初期発見が成功しても頑健な適応にはならないことを示している。
論文 参考訳(メタデータ) (2026-08-03T15:07:46Z) - The Causal Impact of Tool Affordance on Safety Alignment in LLM Agents [0.3823356975862005]
本研究は,大規模言語モデル(LLM)の安全アライメントがいかに変化するかを実証的に検証する。
決定論的金融取引環境において、1500シナリオにわたる二元的安全制約を伴う実験を行う。
どちらのモデルも、テキストのみの設定では完全なコンプライアンスを維持しているが、ツールアクセスが導入されると、違反が大幅に増加する。
論文 参考訳(メタデータ) (2026-03-19T23:34:46Z) - Causal Decoding for Hallucination-Resistant Multimodal Large Language Models [29.52210160586723]
本稿では,創成時に目的の因果的介入を適用した因果的復号化フレームワークを提案する。
記述的品質を維持しながら、デコーディングのダイナミクスを素早い依存関係に書き換えることで、偽のオブジェクトを減らすことができる。
論文 参考訳(メタデータ) (2026-02-24T23:35:46Z) - Lost in the Noise: How Reasoning Models Fail with Contextual Distractors [57.31788955167306]
推論モデルとエージェントAIシステムの最近の進歩は、多様な外部情報への依存度を高めている。
NoisyBenchは、RAGの11のデータセット、推論、アライメント、ツール使用タスクに対して、モデルロバスト性を体系的に評価する包括的なベンチマークである。
評価の結果,文脈的障害に直面した場合,最先端モデルでは最大80%の破滅的な性能低下がみられた。
論文 参考訳(メタデータ) (2026-01-12T05:43:51Z) - Context-aware Fairness Evaluation and Mitigation in LLMs [16.594400974742523]
大きな言語モデルは、しばしばその内部表現に埋め込まれた望ましくない振る舞いを示す。
プルーニングベースの手法は、特定の行動に責任があるニューロンを調整することでバイアスを減らす柔軟で透明な方法を提供する。
本研究では,文脈認識ニューロンの活性化を検知する動的で可逆的なプルーニングに基づくフレームワークを提案し,アダプティブマスキングを適用して生成時の影響を調節する。
論文 参考訳(メタデータ) (2025-10-21T06:13:17Z) - How Can Input Reformulation Improve Tool Usage Accuracy in a Complex Dynamic Environment? A Study on $τ$-bench [58.114899897566964]
マルチターンの会話環境では、大きな言語モデル(LLM)は、一貫性のある推論とドメイン固有のポリシーへの固執にしばしば苦労する。
本稿では,関連するドメインルールを付加したユーザクエリを自動的に再構成するIRMA(Input-Reformulation Multi-Agent)フレームワークを提案する。
IRMAはReAct、Function Calling、Self-Reflectionをそれぞれ16.1%、12.7%、19.1%で大きく上回っている。
論文 参考訳(メタデータ) (2025-08-28T15:57:33Z) - Understanding Refusal in Language Models with Sparse Autoencoders [27.212781538459588]
我々はスパースオートエンコーダを用いて、拒絶動作を因果的に仲介する潜伏特徴を特定する。
我々は、世代への影響を評価するために、拒絶に関連する特徴に介入する。
これにより、アクティベーションレベルでのリファインダーの表示方法のきめ細かい検査が可能になる。
論文 参考訳(メタデータ) (2025-05-29T15:33:39Z) - Information Retrieval Induced Safety Degradation in AI Agents [52.15553901577888]
本研究では,検索アクセスの拡大がモデル信頼性,バイアス伝搬,有害コンテンツ生成に与える影響について検討した。
整列 LLM 上に構築された検索可能なエージェントは、検索なしでの無検閲モデルよりも安全でない振る舞いをすることが多い。
これらの発見は、検索可能でますます自律的なAIシステムの公正性と信頼性を確保するための堅牢な緩和戦略の必要性を浮き彫りにしている。
論文 参考訳(メタデータ) (2025-05-20T11:21:40Z) - Elastic Weight Removal for Faithful and Abstractive Dialogue Generation [61.40951756070646]
対話システムは、関連する文書に含まれる知識に忠実な応答を生成するべきである。
多くのモデルは、それと矛盾したり、検証不可能な情報を含んでいる代わりに幻覚応答を生成する。
本手法は,幻覚と抽出反応を同時に阻止するために拡張できることが示唆された。
論文 参考訳(メタデータ) (2023-03-30T17:40:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。