論文の概要: Before Retrieval Begins: Safety and Tool-Use Decisions in LLM Agents
- arxiv url: http://arxiv.org/abs/2610.23071v1
- Date: Fri, 16 Oct 2026 07:42:47 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-20 00:56:07.820226
- Title: Before Retrieval Begins: Safety and Tool-Use Decisions in LLM Agents
- Title（参考訳）: LLM薬剤の安全性とツール使用判定
- Abstract要約: 本研究では,7つのツールセーフティモデルにおいて,ホールドアウトの受け入れを規定する要因について検討する。
このコントラストから推定される線形方向は、7つのモデルのうち4つの保留条件に影響を及ぼす。
プレーンテキストの拒絶訓練は、良質なツールの使用を維持するモデルにおける安全でない受け入れを減らす。
- 参考スコア（独自算出の注目度）: 2.905751301655124
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Large language models increasingly act as agents that call external tools, yet most tool-safety research examines only what follows a tool call. The prior decision of whether to call the tool remains largely unexamined and can influence downstream safety. Across the seven open-weight models, the unweighted model-average harm rate after admitted harmful requests is 74.5%. To identify what governs this decision, we apply a factorial intervention to the input request. Within our generated construction, neutralizing the requested-operation component produces the largest admission contrast (19 pp). A linear direction estimated from this contrast influences held-out admission in four of seven models; effects on operation-neutralized requests in some models show that it is not an operation-specific mechanism. We then test whether written refusal is behaviorally and representationally coupled to the same decision. Written refusal accompanies 33.6% of admitted harmful calls. Plain-text refusal training reduces unsafe admission in models that retain benign tool use, showing that response-level safety training can transfer to the call decision. Together, these results establish a partial, model-dependent relation between written refusal and tool admission. They motivate direct evaluation and supervision of tool admission rather than treating text refusal as its proxy.
- Abstract（参考訳）: 大規模な言語モデルは、ますます外部ツールを呼び出すエージェントとしての役割を担っているが、ほとんどのツールセーフティ研究は、ツールコールに続くもののみを調べる。
ツールを呼び出すかどうかという以前の決定はほとんど検討されておらず、下流の安全性に影響を与える可能性がある。
7つのオープンウェイトモデル全体では、有害な要求が認められた後の平均的平均的無害率は74.5%である。
この決定を下すものを特定するために、入力要求に要因的介入を適用する。
生成した構成の中では,要求操作成分を中和することにより,最大入力コントラスト(19 pp。
このコントラストから推定される線形方向は、7つのモデルのうち4つのモデルにおいてホールトアウトの入場に影響を与える。
次に、記述された拒絶が同じ決定に振舞い、表現的に結びついているかどうかをテストする。
著述の拒絶は33.6%の有害電話を伴っている。
プレーンテキストの拒絶訓練は、良質なツールの使用を維持するモデルにおいて、安全でない入場を減らし、応答レベルの安全トレーニングが呼び出し決定に転送可能であることを示す。
これらの結果は,文章の拒絶とツールの受け入れとの間に,部分的,モデルに依存した関係を定めている。
彼らは、テキストの拒絶をプロキシとして扱うよりも、ツールの受け入れの直接的な評価と監督を動機付けている。
関連論文リスト
- Look Before You Restore: Learning to Predict Before Acting for Agentic Image Restoration [52.44858327464349]
実行前にツールの結果を予測するエージェント復元フレームワークであるPreActIRを提案する。
各候補ツールに対して、ツール条件付きワールドモデルは、残留劣化、画質、忠実度の変化を予測する。
PreActIRは実際のツールコールを42.5%、拒否されたコールを63.4%削減している。
論文 参考訳（メタデータ） (2026-10-14T15:50:31Z) - When Should Agents Think? Adaptive Reasoning via Cross-Turn Estimation [107.3164703390355]
本稿では,適応エージェント推論のためのトレーニング手法として,クロスツーリング推定(RACE)による推論適応を提案する。
RACEは、削除が現在のおよびその後の参照アクションに限定的な影響を持つ推論ターンを特定する。
4つの代表エージェントベンチマークの実験により、RASはタスク性能を維持したり改善したりしながら、推論コストを大幅に削減することが示された。
論文 参考訳（メタデータ） (2026-10-08T14:43:09Z) - Compromise Is Not Consequence: Evaluating Task-Scoped Authorization in LLM Agents with Paired Replay [0.0]
タスクスコープによる認証には,ツールの実行結果が含まれているかを検討する。
ペア化されたリプレイテストベッドはモデル要求を一度サンプリングし、同じアクション、リソース、引数を広義のJWT、送信者制限、オープンポリシーエージェントの条件に送信します。
論文 参考訳（メタデータ） (2026-10-05T05:47:08Z) - Tool Mediation Alters Refusal Mechanisms in Large Language Models [1.3766156880876854]
我々は、要求の有害性に関する情報がモデル表現に強くエンコードされ、対話型およびツール経由の入力間で転送されることを示す。
以上の結果から,ツールメディエーションは単に害の内的知覚を低下させるだけでなく,拒絶への変換に影響を及ぼすことが示唆された。
論文 参考訳（メタデータ） (2026-09-28T13:16:54Z) - Can LLMs Reliably Self-Report Adversarial Prefills, and How? [9.80193616788089]
大規模言語モデル(LLM)は,良質なタスクに対して内観的能力を示すことを示す。
本研究は,モデルが先行応答が逆プレフィル攻撃によって引き起こされたことを確実に認識できるかどうかを検討する。
論文 参考訳（メタデータ） (2026-06-22T17:56:30Z) - Adversarial Feeds Steer LLM Agent Decisions Against Their Defaults [0.0]
LLMエージェントは、ソーシャルフィード、検索結果、検索コンテキスト、電子メールキューなどのランク付けされた外部情報ストリームを消費した後、ますます行動する。
モデル,ペルソナ,トピック,最終決定のプロンプトを保持する制御プロトコルを導入し,エージェントが遭遇するポストの構成と順序だけを変化させる。
我々は, 逆降圧, デフォルト飽和, 一方のフィードが真に不確実な決定を下す非対称性の3つの応答機構を同定した。
論文 参考訳（メタデータ） (2026-05-30T22:43:23Z) - Deliberative Alignment is Deep, but Uncertainty Remains: Inference time safety improvement in reasoning via attribution of unsafe behavior to base model [50.29667251847595]
モデルサイズが大きく,安全性が向上しているにもかかわらず,教師と生徒の言語モデルの間にはアライメントギャップがあることが示される。
本稿では,不安全な動作を潜在空間のベースLLMに還元するBoNサンプリング手法を提案する。
特に7つの教師モデルと6つの生徒モデルが異なるクラスとサイズで、平均攻撃成功率(ASR)はDANで28.2%、WildJailbreakで31.3%、StrongREJECTベンチマークで35.4%低下した。
論文 参考訳（メタデータ） (2026-04-01T02:42:41Z) - Mind the GAP: Text Safety Does Not Transfer to Tool-Call Safety in LLM Agents [0.0]
GAPベンチマークは、LLMエージェントのテキストレベルの安全性とツールレベルの安全性のばらつきを測定する。
我々は,モデルテキスト出力が有害な要求を拒否し,そのツールコールが同時に禁じられたアクションを実行する事例を観察し,GAPメトリックとして形式化する。
論文 参考訳（メタデータ） (2026-02-18T23:17:15Z) - Evaluating & Reducing Deceptive Dialogue From Language Models with Multi-turn RL [64.3268313484078]
大規模言語モデル(LLM)は、顧客サポート、教育、医療など、世界中の何百万もの人々と対話する。
故意であれ不注意であれ、偽りのアウトプットを生産する能力は、重大な安全上の懸念を生じさせる。
本研究では, LLM が会話中の偽装にどの程度関与しているかを考察し, 偽装を定量化する信念の誤調整尺度を提案する。
論文 参考訳（メタデータ） (2025-10-16T05:29:36Z) - Refusal Falls off a Cliff: How Safety Alignment Fails in Reasoning? [68.82210578851442]
メカニスティックな解釈可能性レンズによる推論モデルにおいて、なぜ安全アライメントが失敗するのかを考察する。
トークン位置における拒絶意図の追跡のための線形探索手法を用いて,textbfrefusal cliff と呼ばれる現象を発見した。
提案手法は,最大断崖を示す訓練例を識別し,推論モデルの安全性を向上する手法であるtextbfCliff-as-a-Judge を提案する。
論文 参考訳（メタデータ） (2025-10-07T15:32:59Z) - Navigating the OverKill in Large Language Models [84.62340510027042]
モデルがどのように処理し,クエリの安全性を判断するかを検討することで,過剰スキルの要因について検討する。
以上の結果から,モデル内にショートカットが存在することが明らかとなり,"キル"のような有害な単語が過剰に認識され,安全性が強調され,過度なスキルが増すことが示唆された。
我々は、この現象を緩和するために、トレーニングフリーでモデルに依存しないセルフコントラストデコーディング(Self-Contrastive Decoding、CD)を導入する。
論文 参考訳（メタデータ） (2024-01-31T07:26:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。