論文の概要: Same Payload, Different Channel: Measuring Trust Asymmetry in Tool-Using Language Models
- arxiv url: http://arxiv.org/abs/2606.00566v1
- Date: Sat, 30 May 2026 06:38:41 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-02 21:34:28.527831
- Title: Same Payload, Different Channel: Measuring Trust Asymmetry in Tool-Using Language Models
- Title（参考訳）: 異なるチャネルの同一負荷:ツール使用言語モデルにおける信頼非対称性の測定
- Abstract要約: モデルがどこに着くかに関わらず、悪意のある命令を同じように扱うかどうかを検討する。
我々は,モデルが敵対的コンテンツに対する感受性がどの程度変化するかを測定する安全非対称性スコア(SAS)を導入する。
- 参考スコア（独自算出の注目度）: 0.7476901945542384
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: As language models take on agentic roles that span calling external APIs, reading tool outputs, and acting on instructions embedded in third-party content, their attack surface expands well beyond what users type. Whether a model treats a malicious instruction the same way regardless of where it arrives has not been systematically studied. We introduce the Safety Asymmetry Score (SAS), which measures how much a model's susceptibility to adversarial content shifts depending on whether that content arrives in the user message, tool metadata, or tool output, using matched payload pairs that keep the malicious text identical and vary only the context of delivery. Evaluated across 6 production LLMs and three attack families, we find a consistent and informative asymmetry: agent-native models are substantially more vulnerable when adversarial content arrives via tool descriptions than via user messages, while general-purpose models show the reverse. This asymmetry further inverts when the same content is delivered through tool outputs rather than descriptions, suggesting models implicitly treat tool metadata as trusted instructions and tool results as ordinary data. A mechanistic study on Llama 3.3 70B reveals that the safety-relevant representation is causally present at mid-to-late network depths but non-linearly encoded, explaining why linear probes fail to detect it. These findings expose a systematic, channel-dependent blind spot in how current tool-using models handle adversarial content.
- Abstract（参考訳）: 言語モデルが外部APIの呼び出し、ツールアウトプットの読み込み、サードパーティのコンテンツに埋め込まれた命令の動作にまたがるエージェント的役割を担っているため、攻撃面はユーザがタイプする範囲を超えてはるかに拡大している。
モデルが悪意のある命令をどこに到着しても同じように扱うかどうかは、体系的に研究されていない。
我々は、悪意のあるテキストを同一に保ち、配信のコンテキストだけを変えるペイロードペアを用いて、ユーザメッセージやツールメタデータ、ツールアウトプットにコンテンツが到着するかどうかに応じて、モデルが敵対的コンテンツに対する感受性がどの程度変化するかを測定する安全非対称性スコア(SAS)を導入する。
6つのLLMと3つの攻撃ファミリーで評価した結果、一貫した情報的非対称性が得られた。
この非対称性は、記述ではなくツール出力を通じて同じコンテンツが配信されるときにさらに逆転し、ツールメタデータを信頼された命令として暗黙的に扱い、ツール結果を通常のデータとして扱うモデルを提案する。
Llama 3.3 70Bの力学的な研究により、安全関連表現は中間から後期のネットワーク深さで因果的に存在するが、非線形に符号化されており、なぜ線形プローブが検出できないのかが説明されている。
これらの知見は、現在のツール使用モデルが対人的コンテンツをどう扱うかにおいて、体系的でチャネルに依存した盲点を呈している。
関連論文リスト
- Joint Optimization of Tool Creation and Use for Large Language Model Agents [69.07066297088187]
SMITH (-grounded Multi-task Iterative Tool Honing) は、単一のポリシー内でツールの作成とツールの使用を訓練する。
SMITHで訓練された4B Qwen3は、正確に検証された13の手続き的推論タスクで、保持されたタスクで平均79.8のマクロ平均精度に達する。
また、TabMWP-Hardでは40.4、ドメイン外のGQAでは42.6に到達している。
論文 参考訳（メタデータ） (2026-08-25T13:59:34Z) - Evaluating using Mock Tool Calls to Quarantine Untrusted Prompt Inputs [4.566221130579806]
大規模言語モデルは、他のモデルからの回答を判断するなど、信頼できない入力を処理する必要がある。
現在のLLM仕様では、OpenAIのような主要なプロバイダが、インストラクション階層に沿って信頼性を区別している。
自然な緩和の可能性として、信頼できないコンテンツをモックツールコールで隔離としてラップすることが挙げられる。
私たちの仮説に反して、ツールラッピングはロバスト性を大きく改善しない。
論文 参考訳（メタデータ） (2026-05-28T19:57:28Z) - Model-Adaptive Tool Necessity Reveals the Knowing-Doing Gap in LLM Tool Use [47.29360932085394]
大規模言語モデル(LLM)は、外部ツールを呼び出す時と直接答える時を判断しなければならない自律的なエージェントとして、ますます機能します。
本稿では,各モデルの経験的性能に基づいて,ツール必要度をモデル適応的に定義する。
その結果,26.5～54.0%,30.8～41.8%のミスマッチが認められた。
論文 参考訳（メタデータ） (2026-05-13T18:59:28Z) - When to Trust Tools? Adaptive Tool Trust Calibration For Tool-Integrated Math Reasoning [58.75883713573783]
Tool-Integrated Reasoningは、推論軌道にツール呼び出しと実行を組み込む有望なパラダイムとして登場した。
モデルの推論がツールの結果と矛盾する場合、モデルは自身の推論を信じる傾向にあります。
アダプティブ・ツール・トラスト(ATTC、Adaptive Tool Trust)は、モデルに対して、ツール結果の信頼性や無視を適応的に選択するフレームワークである。
論文 参考訳（メタデータ） (2026-04-09T14:14:37Z) - IntentMiner: Intent Inversion Attack via Tool Call Analysis in the Model Context Protocol [13.894225834026997]
Model Context Protocol (MCP) は、外部ツールの発見と呼び出しのための標準である。
サードパーティのMPPサーバは、ユーザの信頼されたバウンダリの外で詳細なツールインタラクションログを監視できる。
ステップレベルでユーザの意図を正確に推測するために,IntentMinerを提案する。
論文 参考訳（メタデータ） (2025-12-16T07:52:55Z) - Securing the Model Context Protocol: Defending LLMs Against Tool Poisoning and Adversarial Attacks [8.419049623790618]
本研究は,MPP統合システムに対するセマンティックアタックの3つのクラスを分析する。
ディスクリプタの整合性を強制するためのRSAベースのマニフェスト署名、不審なツール定義を検出するためのLLM-on-LLMセマンティックベッティング、実行時に異常なツール動作をブロックする軽量ガードレールである。
提案手法は, モデル微調整や内部修正を伴わずに, 安全でないツール実行率を低減できることを示す。
論文 参考訳（メタデータ） (2025-12-06T20:07:58Z) - EdiVal-Agent: An Object-Centric Framework for Automated, Fine-Grained Evaluation of Multi-Turn Editing [170.71134330650796]
EdiVal-Agentは、命令ベースの画像編集のためのオブジェクト指向評価フレームワークである。
標準のシングルターンだけでなく、マルチターンの命令ベースの編集を精度良く評価するように設計されている。
EdiVal-Benchは、インコンテキスト、フローマッチング、拡散パラダイムにまたがる9つの命令タイプと13の最先端編集モデルをカバーするベンチマークである。
論文 参考訳（メタデータ） (2025-09-16T17:45:39Z) - Measuring and Analyzing Intelligence via Contextual Uncertainty in Large Language Models using Information-Theoretic Metrics [0.0]
本稿では,任意のモデルに対して定量的な認知プロファイルを構築するタスク非依存手法を提案する。
このプロファイルはエントロピー・ディケー・カーブ(Entropy Decay Curve)を中心に構築されている。
また,情報ゲイン・スパン (IGS) を1つの指標として提案する。
論文 参考訳（メタデータ） (2025-07-21T20:14:25Z) - MICE for CATs: Model-Internal Confidence Estimation for Calibrating Agents with Tools [54.63478102768333]
十分に校正されたモデル信頼度は、潜在的な行動の報酬に対するリスクを測るために使用することができる。
本稿では,ツール呼び出し時の信頼度を評価するために,モデル内信頼度推定器(MICE)の新たなクラスを提案する。
論文 参考訳（メタデータ） (2025-04-28T18:06:38Z) - ASIDE: Architectural Separation of Instructions and Data in Language Models [87.16417239344285]
ASIDEは言語モデルに対して、埋め込みのレベルで命令とデータを明確に分離することを可能にする。
本稿では,ASIDE を用いた命令調整 LLM がモデルユーティリティを損なうことなく,命令データ分離の高度化につながることを実験的に示す。
モデル表現の分析を通じて,本手法の基盤となるメカニズムについて考察する。
論文 参考訳（メタデータ） (2025-03-13T17:17:17Z) - Predicting the Performance of Black-box LLMs through Self-Queries [60.87193950962585]
大規模言語モデル(LLM)は、AIシステムにおいてますます頼りになってきている。
本稿では、フォローアッププロンプトを使用し、異なる応答の確率を表現として捉え、ブラックボックス方式でLCMの特徴を抽出する。
これらの低次元表現上で線形モデルをトレーニングすると、インスタンスレベルでのモデル性能の信頼性を予測できることを示す。
論文 参考訳（メタデータ） (2025-01-02T22:26:54Z) - What Makes and Breaks Safety Fine-tuning? A Mechanistic Study [64.9691741899956]
安全性の微調整は、大規模な言語モデル(LLM)を、安全なデプロイメントのための人間の好みに合わせるのに役立つ。
安全でない入力の健全な側面をキャプチャする合成データ生成フレームワークを設計する。
これを用いて,3つのよく知られた安全微調整手法について検討する。
論文 参考訳（メタデータ） (2024-07-14T16:12:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。