論文の概要: Trust the Brand, Lose Control: How Identity Hijacks LLM Agent Orchestration

• arxiv url: http://arxiv.org/abs/2609.32635v1
• Date: Sat, 26 Sep 2026 13:53:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-07 04:50:00.524835
• Title: Trust the Brand, Lose Control: How Identity Hijacks LLM Agent Orchestration
• Title（参考訳）: ブランドを信頼する, コントロールを失う: LLMエージェントのオーケストレーションをいかにハイジャックするか
• Abstract要約: 我々はTrustForkを紹介した。TrustForkは16のエージェントシステムで1,890のタスクと27,826の有効なトラジェクトリを持つエージェント安全ベンチマークである。 それぞれのタスクでは、1つのサブエージェントが危険な目標を持ち、残りの3つがユーザと一致しているため、矛盾する証拠が存在する可能性がある。 分析の結果, 他のサブエージェントがリスク応答に矛盾しても, オーケストレータは72.0%のケースで動作していることがわかった。
• 参考スコア（独自算出の注目度）: 14.497095869434682
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: LLM agents now execute tasks end to end with permission to change real systems and increasingly orchestrate subagents that differ in capability and cost. Prior work treats the choice of subagent as an optimization problem. Yet the orchestrator makes this choice from the identities that subagents display, and an attacker can spoof them. Displayed identity thus decides operational authority, meaning who is trusted to check the work and who is allowed to change it. As a result, a risky subagent can keep authority over execution even after other evidence contradicts it. We introduce TrustFork, an LLM agent safety benchmark with 1,890 tasks and 27,826 valid trajectories across 16 agent systems. These systems run eight orchestrators under the OpenCode, OpenClaw, and Pi harnesses. In each task, one subagent carries a risky goal while the other three stay aligned with the user, so contradicting evidence can exist. A task can also change the identity a subagent displays without changing the model behind it, which lets us trace a shift in authority to the label. Our analysis shows that even when another subagent contradicts the risky response, the orchestrator still acts on it in 72.0% of cases on average, most often in the systems with the least terminal harm. Swapping the family labels nearly triples how often the orchestrator obtains the risky response. A safer response is available in 84.0% of tasks, yet it decides the outcome in only 25.0%. The harness also decides which responses reach the orchestrator. Among three runtime defenses, hiding identity cues helps most consistently, while verifying before action helps only when the harness returns enough evidence. TrustFork shows that production agent orchestration must bind authority to evidence before execution causes harm. Our project is in https://henrymao2004.github.io/agent-orchestration-safety/.
• Abstract（参考訳）: LLMエージェントは、実際のシステムを変更する許可を得てタスクを終端まで実行し、能力とコストの異なるサブエージェントを編成する。 以前の作業では、最適化問題としてサブエージェントの選択を扱っていた。 しかし、オーケストレータはこの選択をサブエージェントが表示するIDから行い、攻撃者はそれを偽造することができる。 表示されたアイデンティティは、操作権限、つまり、誰が仕事を確認し、誰が変更を許されるかを決定する。 結果として、他の証拠が矛盾した後でも、リスクの高いサブエージェントは執行の権限を維持することができる。 我々は16のエージェントシステムで1,890のタスクと27,826の有効なトラジェクトリを備えたLLMエージェント安全ベンチマークであるTrustForkを紹介した。 これらのシステムはOpenCode、OpenClaw、Piのハーネスの下で8つのオーケストレータを実行する。 それぞれのタスクでは、1つのサブエージェントが危険な目標を持ち、残りの3つがユーザと一致しているため、矛盾する証拠が存在する可能性がある。 タスクは、サブエージェントが表示しているアイデンティティを、背後にあるモデルを変更することなく変更することもできます。 我々の分析によると、他のサブエージェントがリスク応答に反する場合でも、オーケストレータは平均して72.0%のケースで動作し、最も終端障害の少ないシステムでは最も多い。 ファミリーラベルをスワップすると、オーケストレータが危険な反応を得る頻度が3倍近くになる。 より安全な応答は84.0%のタスクで利用可能であるが、25.0%で結果を決定する。 ハーネスは、どの応答がオーケストレータに届くかも決定する。 3つの実行時防御の中で、隠されたアイデンティティの手がかりは最も一貫して役立ち、アクションの前の検証は、ハーネスが十分な証拠を返す場合にのみ有効である。 TrustForkは、運用エージェントのオーケストレーションが、実行前に権限をエビデンスにバインドしなければならないことを示している。 私たちのプロジェクトはhttps://henrymao2004.github.io/agent-orchestration-safety/にあります。

関連論文リスト

• Who Is Behind the Harness? Fingerprinting LLMs through Agentic Behavior [8.146941441861614]
  我々は,コーディングエージェント実行のためのアクティブブラックボックスフィンガープリント手法であるLIDARを提案する。 3つのプローブペアは、制御された変更の下で、後続検証、過渡障害回復、および仕様-テスト競合解決を公開する。 高いTop-1精度とMRRを実現し、4つの既存の指紋認証とAPI監査ベースラインを上回っている。
  論文  参考訳（メタデータ） (2026-09-23T09:12:46Z)
• The Troy Moment of AI: Why Some Will Cheat and Some Will Follow? [0.0]
  エージェントは停止するか、エスカレートするか、他のエージェントの行動が決定を変えるか、という2つの質問を調査する。 GPT-5.6 Sol, Claude Fable 5.1, Gemini 3.8 Flashの7つのImpossibleBenchタスクを単独で3エージェント設定で検討した。 この結果から,ルールの保護を目的としたあいまいさ,明示的な認証境界のモチベーション,認証状態の証明,エージェント間監視から境界交差が生じる可能性が示唆された。
  論文  参考訳（メタデータ） (2026-09-14T12:46:45Z)
• AgentAbstain: Do LLM Agents Know When Not to Act? [19.223843408018997]
  既存の評価は、エージェントがいつ禁じるべきかを知るのではなく、タスクの成功に焦点を当てている。 エージェント禁忌のための最初の体系的評価枠組みとして,ツールを用いたLDMエージェントの動作を検知するキャリブレーション能力について述べる。 AgentAbstainは、エージェントネイティブな分類に基づくペアタスクのベンチマークである。
  論文  参考訳（メタデータ） (2026-07-11T00:57:36Z)
• Measuring Harness-Induced Belief Divergence in Multi-Step LLM Agents [0.05371337604556311]
  タスク,環境,基本LPMが固定された場合でも,ソフトウェアエージェントハーネスがエージェントのマルチステップ信念を変えることができることを示す。 我々は,K段軌道の進行,リスク,回復可能性,制約,障害モード,不確実性,今後の成功,修理コスト,代替ハーネスの下での次の行動について,構造的K段軌道を付与する信念ロールアウト診断を導入する。
  論文  参考訳（メタデータ） (2026-07-05T22:22:39Z)
• Auditing Agent Harness Safety [81.22315979618612]
  LLMエージェントは、ツールをディスパッチし、リソースを割り当て、特別なコンポーネント間でメッセージをルーティングする実行ハーネスの中でますます動作します。 ほとんどの安全ベンチマークは最終出力または終端状態のみをスコアするが、多くの違反は終端ではなく、軌道の途中で発生する。 HarnessAuditは、境界コンプライアンス、実行の忠実さ、システムの安定性など、完全な実行軌跡を監査するフレームワークである。
  論文  参考訳（メタデータ） (2026-05-14T02:14:28Z)
• Can Agent Benchmarks Support Their Scores? Evidence-Supported Bounds for Interactive-Agent Evaluation [8.049844623361725]
  インタラクティブエージェントベンチマークは、結果チェックを通じてエージェントの実行をバイナリ結果にマッピングする。 これらのチェックは、表面レベル信号に依存するか、エージェントの実際のアクションパスをキャプチャできない。 既存のベンチマークに対して、結果エビデンスレポート層を導入します。
  論文  参考訳（メタデータ） (2026-05-11T12:20:15Z)
• Safe, or Simply Incapable? Rethinking Safety Evaluation for Phone-Use Agents [73.69976712292681]
  電話使用エージェントが危害を免れた場合、安全を示すか、単に行動できないか? 有害な結果は、エージェントがリスクを認識して安全なアクションを選択したり、スクリーンを理解したり、関連するアクションを全く実行できなかったりすることで回避される。 私たちはPhoneSafetyでこの問題に対処しています。これは130以上のアプリにわたる実際の電話インタラクションから引き出された700の安全クリティカルな瞬間のベンチマークです。
  論文  参考訳（メタデータ） (2026-05-08T11:58:57Z)
• AgentDoG: A Diagnostic Guardrail Framework for AI Agent Safety and Security [126.49733412191416]
  現在のガードレールモデルは、リスク診断におけるエージェント的リスク認識と透明性を欠いている。 エージェントリスクをソース(場所)、障害モード(方法)、結果(何)で分類する統合された3次元分類法を提案する。 AgentDoG(AgentDoG)のための,エージェント安全性ベンチマーク(ATBench)と診断ガードレールフレームワークを新たに導入する。
  論文  参考訳（メタデータ） (2026-01-26T13:45:41Z)
• On the Resilience of LLM-Based Multi-Agent Collaboration with Faulty Agents [58.79302663733703]
  大規模言語モデルに基づくマルチエージェントシステムは、専門家エージェントの協力により、様々なタスクにまたがる優れた能力を示している。 不器用なエージェントや悪意のあるエージェントが与える影響 - システム全体のパフォーマンスにおいて、頻繁にタスクでエラーを犯すものは、いまだに過小評価されていない。 本稿では,下流タスクにおける障害要因下での各種システム構造のレジリエンスについて検討する。
  論文  参考訳（メタデータ） (2024-08-02T03:25:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。