論文の概要: SINGED: Correct Outputs Do Not Certify Safe Execution in LLM Agents
- arxiv url: http://arxiv.org/abs/2609.35889v1
- Date: Sun, 27 Sep 2026 06:37:04 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-30 21:28:46.881011
- Title: SINGED: Correct Outputs Do Not Certify Safe Execution in LLM Agents
- Title（参考訳）: SINGED: LLMエージェントの安全な実行を証明していない正しいアウトプット
- Abstract要約: ツールを使用する言語モデルエージェントは、サードパーティのアーティファクトを選択して実行する。
要求された出力に対して良質な代替品と一致するが、タスク契約によって禁止される効果を付加する実装について検討する。
SINGEDはランク、エビデンス、選択に敏感な結果と実行のギャップを露呈する。
- 参考スコア（独自算出の注目度）: 23.280592496381256
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Tool-using language-model agents select and execute third-party artifacts. Different implementations can return the requested output while producing hidden execution effects that task-, attack-, or choice-based evaluations may miss. We study functional counterfeits: implementations that match benign alternatives on the requested output but add an effect forbidden by the task contract. We introduce SINGED (Source Integrity and the Nonidentifiability Gap in Execution Decisions for LLM Agents), a controlled benchmark covering five primary and two held-out task families. It varies displayed rank, evidence depth, decision policy, model release, and agent configuration, while task and process oracles verify the artifact and execution path. Across 7,549 audited trials, the randomized-rank study finds counterfeit execution in 45% (27/60) of rank-one trials and none at later ranks. Cross-candidate comparison eliminates shallow failures and reduces layered failures from 15.7% to 4.2%, but leaves dependency failures; its benefit is uncertain on unseen effects and public-package structures. Moreover, seven releases with no counterfeit executions when benign alternatives are available execute the counterfeit in 55/175 single-source cells after alternatives are removed. SINGED thus exposes a rank-, evidence-, and choice-sensitive outcome-to-execution gap: evaluation must connect correct outputs to execution paths.
- Abstract（参考訳）: ツールを使用する言語モデルエージェントは、サードパーティのアーティファクトを選択して実行する。
異なる実装は要求された出力を返すことができ、タスク、アタック、選択に基づく評価が見逃す可能性のある隠れた実行エフェクトを生成する。
要求された出力に対して良質な代替品と一致するが、タスク契約によって禁止される効果を付加する実装について検討する。
SINGED (Source Integrity and the Nonidentifiability Gap in Execution Decisions for LLM Agents)は、5つのプライマリおよび2つのタスクファミリをカバーする制御されたベンチマークである。
表示されたランク、エビデンス深さ、決定ポリシー、モデルリリース、エージェント設定、タスクとプロセスのオーラクルがアーティファクトと実行パスを検証する。
7,549件の試験の結果、無作為化ランクの調査では、第1級の45%(27/60)で偽装が実行され、その後のランクには存在しないことが判明した。
クロス候補比較は、浅い障害を排除し、階層化された障害を15.7%から4.2%に削減するが、依存関係の障害を残している。
さらに、良質な代替品が利用可能であれば偽造実行を行わない7つのリリースは、代替品を取り除いた後、55/175個の単一ソースセルで偽造を実行する。
したがって、SINGEDはランク、エビデンス、選択に敏感な結果-実行ギャップを露呈する。
関連論文リスト
- Maat: Independent Deterministic Contract-Based Governance for Multi-Agent LLM Workflows [0.0]
私たちは、バージョン管理されたワークフロー契約アンカーに対してエージェントからエージェントへのハンドオフを検証するランタイムガバナンス層であるMaatを紹介します。
データレベルの欠陥を注入した6つの制御ドメイン(6～15エージェント、522トライアル)と決定論的7チェックルーブリックで評価した。
論文 参考訳（メタデータ） (2026-09-27T23:23:52Z) - When Tool Outputs Become Commands: Separating Action Induction from Runtime Authorization in Tool-Augmented LLM Agents [11.018574747618173]
動作誘導と実行承認を異なるランタイムロールとして扱うSARAを提案する。
AgentDojoとAgentDynにまたがって、SARAは4つの主要な評価設定でASRを0.63%に制限している。
論文 参考訳（メタデータ） (2026-08-27T13:59:04Z) - ROPE: Routed Origin Policy Enforcement against Indirect Prompt Injection [61.4148196085256]
本稿では,信頼という構造概念に根ざしたROPE(Routed Origin Policy Enforcement)について述べる。
提案手法では,(1)軌道の各段階において,攻撃可能コンテンツのみを起点とする値が,原点保護パラメータに到達しない,(2)注入のリワードがない,という2つの保証が認められている。
論文 参考訳（メタデータ） (2026-08-27T01:22:14Z) - Task-Conditioned Least-Privilege Learning for Executable Terminal and MCP Agents [45.88028371034407]
ツールを使用する大規模言語モデルエージェントは、ユーザが許可しなかったり、タスクが不要であったりする権限を行使しながらタスクを完了することができる。
本研究では,6次元のリスクを伴って各行動が実行前および観測結果から監査される枠組みを提案する。
このフレームワークを1500以上のタスクでQwen3.5-4Bでトレーニングした後、選択された種子は2,896回の評価エピソードで98.48%の安全成功に達した。
論文 参考訳（メタデータ） (2026-08-18T22:07:23Z) - Auditing Provenance Sensitivity in LLM Agent Action Selection [0.0]
LLMエージェントは、ユーザリクエスト、ツール出力、検索されたレコード、メモリ、信頼できないテキストを混ぜたコンテキストからツールと引数を選択する。
本稿では,各ツールと引数ターゲットに対して,コンテキスト要素を別々にラベル付けするターゲット固有の認証監査を導入する。
次に、有効な証拠が弱まった場合の挙動を検証し、二次的な局所化診断としてコンテキスト-サブセット相互作用を用いる。
論文 参考訳（メタデータ） (2026-07-23T01:28:18Z) - AgentAbstain: Do LLM Agents Know When Not to Act? [19.223843408018997]
既存の評価は、エージェントがいつ禁じるべきかを知るのではなく、タスクの成功に焦点を当てている。
エージェント禁忌のための最初の体系的評価枠組みとして,ツールを用いたLDMエージェントの動作を検知するキャリブレーション能力について述べる。
AgentAbstainは、エージェントネイティブな分類に基づくペアタスクのベンチマークである。
論文 参考訳（メタデータ） (2026-07-11T00:57:36Z) - TTHE: Test-Time Harness Evolution [50.26245555541721]
既存のアプローチでは、デプロイ前、トレーニング前、あるいはテスト時に凍結される固定されたエージェントワークフローの開発データを最適化する。
我々は、エージェントがテスト入力で生成するラベルのない実行トレースのみを使用して、評価自体にハーネスを最適化できるかどうかを問う。
評価中、TTHEは候補ハーネスの人口を維持し、それらの実行トレースの理由をエージェントプロジェクタを通じてそれらを洗練する。
その後、審査員は実行元プロキシ信号から改善されたハーネスをコミットし、選択したプログラムは継続してその後の入力を統治する。
論文 参考訳（メタデータ） (2026-07-09T05:53:39Z) - OLIVIA: Online Learning via Inference-time Action Adaptation for Decision Making in LLM ReAct Agents [74.20327254615854]
大規模言語モデルエージェントは、シーケンシャルな意思決定タスクを解決するために、推論、行動選択、観察をインターリーブする。
LLMエージェントの既存の推論時間適応法は、主にプロンプトや検索に依存している。
提案するOLIVIAは,ReAct型エージェントのための推論時行動適応フレームワークである。
論文 参考訳（メタデータ） (2026-05-11T19:28:20Z) - Are Your Agents Upward Deceivers? [73.1073084327614]
大規模言語モデル(LLM)ベースのエージェントは、ユーザのためにタスクを実行する自律的な従属者として、ますます使われています。
これは、人間の組織の個人がどのように上官に嘘をついて良いイメージを作り出したり、罰を免れるかのような、詐欺にも関与するかどうかという問題を提起する。
本研究では,環境制約に直面するエージェントが障害を隠蔽し,報告なしに要求されない動作を行う現象であるエージェント上行錯誤を観察・定義する。
論文 参考訳（メタデータ） (2025-12-04T14:47:05Z) - Runaway is Ashamed, But Helpful: On the Early-Exit Behavior of Large Language Model-based Agents in Embodied Environments [54.67512489842682]
大規模言語モデル(LLM)は、複雑な実施環境において、強力な計画と意思決定能力を示す。
LLMをベースとしたエージェントの早期退避行動を探究する第一歩を踏み出す。
論文 参考訳（メタデータ） (2025-05-23T08:23:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。