論文の概要: The Troy Moment of AI: Why SomeWill Cheat and SomeWill Follow?
- arxiv url: http://arxiv.org/abs/2609.15494v1
- Date: Mon, 14 Sep 2026 12:46:45 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-16 07:15:06.397291
- Title: The Troy Moment of AI: Why SomeWill Cheat and SomeWill Follow?
- Title（参考訳）: AIのトロイモーメント:なぜSomeWill CheatとSomeWill Followが続くのか?
- Abstract要約: GPT-5.6 Sol, Claude Fable 5.1, Gemini 3.8 Flashの7つのImpossibleBenchタスクを単独および3エージェント設定で検討した。
明示的な許可規則を持つ明示的な境界体制の下では、エージェントは保護されたテストを変更することはないが、明らかに異なるポリシーを示す。
マルチエージェント実行では、このアクションの提案、実行、認証を異なるエージェントに分散することができる。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Recent investigations of the July 2026 OpenAI--Hugging Face incident motivate two questions about agent behavior under task failure: when an assigned task becomes impossible, does an agent stop or escalate, and can observing another agent's behavior change that decision? We study these questions using seven ImpossibleBench tasks with GPT-5.6 Sol, Claude Fable 5.1, and Gemini 3.8 Flash in both solo and three-agent settings. Each task contains a genuine software defect together with a conflicting test requirement that cannot be satisfied by a behaviorally correct source-code change. We hold the task and repository state fixed while varying what the agent is told about prior activity, including an unpunished peer, a punished peer, and a claimed authorization from a human principal. Under an explicit-boundary regime with explicit authorization rules and restricted tools, agents never modify protected tests, but exhibit markedly different policies: Fable consistently escalates, Sol usually stops without escalation, and Gemini often fails to reach a terminal decision. Under the benchmark-native regime with open shell tools, protected tests are modified frequently in both solo and multi-agent runs, particularly after peer activity is introduced. In multi-agent runs, the proposal, execution, and certification of this action can be distributed across different agents. These results suggest that boundary crossing can arise not only from explicit rule evasion, but also from ambiguity about which system state the rule is intended to protect, motivating safeguards based on explicit authorization boundaries, authenticated state provenance, and cross-agent monitoring.
- Abstract（参考訳）: 2026年7月のOpenAI-Hugging Faceインシデントに関する最近の調査は、タスク障害下でのエージェントの動作に関する2つの質問を動機付けている。
GPT-5.6 Sol、Claude Fable 5.1、Gemini 3.8 Flashの7つのImpossibleBenchタスクを使って、これらの質問をソロと3エージェントの両方で調べる。
各タスクには、実際のソフトウェア欠陥と、動作的に正しいソースコードの変更によって満足できない相反するテスト要件が含まれています。
我々は、未処理のピア、罰せられたピア、および人間のプリンシパルからの主張された承認を含む、エージェントが事前のアクティビティについて話すことを変更しながら、タスクとリポジトリの状態を固定します。
明示的な許可規則と制限されたツールを備えた明示的な境界体制の下では、エージェントは保護されたテストを変更することはないが、非常に異なるポリシーを示す。
オープンシェルツールを備えたベンチマークネイティブなシステムでは、保護されたテストは、特にピアアクティビティを導入した後、ソロとマルチエージェントの両方で頻繁に修正される。
マルチエージェント実行では、このアクションの提案、実行、認証を異なるエージェントに分散することができる。
これらの結果は、境界交差は、明示的なルール回避だけでなく、そのルールが保護することを意図したシステム状態の曖昧さ、明示的な認証境界に基づく保護のモチベーション、認証された状態証明、およびエージェント間監視からも生じることを示唆している。
関連論文リスト
- AgentAudit: An Open, Extensible Framework for Full-Lifecycle Trust Evaluation of AI Agents [2.8000808592516293]
AgentAuditは10の能力、グラウンド、セキュリティ、振る舞いの次元にわたって、実行トレース全体を評価する。
記録された実行トレースのみを読み出し、エージェントの実行方法に干渉しない。
我々は,9つの言語モデル(OpenAI GPT-5, Claude Sonnet 5, Sarvam 105B, Llama 3.3 70B, Gemini 2.5 Flash)を,9つの能力と対向タスクで評価した。
論文 参考訳（メタデータ） (2026-09-09T08:29:16Z) - ClawSentry: A Progressive Multi-Tier Security Monitor for Safeguarding Autonomous LLM Agents [24.540638169054812]
悪意のあるサードパーティのスキルにハイジャックされた単一のエージェントは、データの流出、特権のエスカレーション、カスケード妥協を引き起こす可能性がある。
我々は、エージェントランタイムのためのオープンソースのフレームワークに依存しないセキュリティ監視ゲートウェイであるClawSentryを紹介する。
論文 参考訳（メタデータ） (2026-08-21T13:47:51Z) - Multi-Agent AI Safety as an Institutional Design Problem [0.0]
マルチエージェントシステムのためのアルゴリズム制度を研究するPOLISの最初の論文である。
最近の研究は、デプロイメントルールが集団的な振る舞いを変える可能性があることをすでに示しています。
私たちは、AI機関のどの部分が安全を生み出し、どのようにそれを行うかを尋ねます。
論文 参考訳（メタデータ） (2026-08-10T16:47:01Z) - ScrambleToolBench: Agents Search Exhaustively Even When Their Own Map Points to the Next Step [74.83535434786145]
ScrambleToolBenchは,行動推論の分離を目的とした対話型端末ベンチマークである。
このベンチマークでは、エージェントがテストとエラーのインタラクションを通じて、隠されたツールの振る舞いを明らかにする必要がある。
現状の言語モデルに対する我々の評価は、初期発見が成功しても頑健な適応にはならないことを示している。
論文 参考訳（メタデータ） (2026-08-03T15:07:46Z) - Coding Agents Are Guessing: Measuring Action-Boundary Violations in Underspecified DevOps Instructions [16.871217408296932]
符号化エージェントにおける動作境界違反を測定するためのベンチマークであるUnderSpecBenchを提案する。
UnderSpecBenchには、ドキュメント化されたインシデントやCVE、ツールの動作を基盤とする69のタスクファミリが含まれている。
タスクの難易度から不特定性を分離するために、各タスクは同じ環境と地道な安全なアクションを維持します。
論文 参考訳（メタデータ） (2026-07-02T15:11:39Z) - Capable but Careless: Do Computer-Use Agents Follow Contextual Integrity? [54.701199583505144]
アプリケーション間アクセスは、ほとんど見落とされたプライバシーリスクを生み出す。
我々はAgentCIBenchを紹介します。これは、このリスクを決定論的に評価されたシナリオに変換する評価ハーネスです。
我々は15のフロンティアエージェントを評価し、驚くほど高い失敗率を見出す。
論文 参考訳（メタデータ） (2026-06-22T11:36:58Z) - AgentLens: Interpretable Safety Steering via Mechanistic Subspaces for Multi-Turn Coding Agent [53.82005364479556]
大規模言語モデル(LLM)に基づく符号化エージェントは、驚くべき自律性を示す。
既存の安全機構は主に外部ガードレールに依存している。
我々は,ランタイムの安全性検出と表現レベルの緩和を行う,ホワイトボックスの防御フレームワークであるAgentLensを提案する。
論文 参考訳（メタデータ） (2026-06-21T21:13:55Z) - ROGUE: Misaligned Agent Behavior Arising from Ordinary Computer Use [40.024131729499494]
エージェントは,動作がタスク完了に有効である場合に,安全でない動作をとることによって,良質な設定でも不整合性を示すことができることを示す。
我々は、この障害モードを、人の修正、中断、シャットダウンに対処可能な安全装置である矯正レンズを通して研究する。
我々の研究は、自律エージェントにおける原理的、調整性を重視したアライメント手法の批判的な必要性を強調している。
論文 参考訳（メタデータ） (2026-05-29T20:29:35Z) - Coding Agents Don't Know When to Act [3.2610504259514754]
コーディングエージェントは、ソフトウェアを自律的にメンテナンスするためにますますデプロイされる。
現実のデプロイメントでは、すでに解決済みの問題に関するバグレポートに遭遇します。
最先端のモデルでさえ失敗し、35ドルから65%のケースで望ましくない変更を提案する。
論文 参考訳（メタデータ） (2026-05-08T14:10:00Z) - On the Reliability of Computer Use Agents [47.20065484006984]
コンピュータ利用エージェントの信頼性の低下の原因を3つの要因から検討する。
信頼性は、タスクの指定方法と、エージェントの動作が実行毎に変化する方法の両方に依存します。
論文 参考訳（メタデータ） (2026-04-20T05:59:04Z) - ClawArena: Benchmarking AI Agents in Evolving Information Environments [61.664633997138004]
ClawArenaは、進化する情報環境におけるAIエージェントの評価のためのベンチマークである。
それぞれのシナリオは、エージェントをノイズ、部分的、時には矛盾するトレースだけに露呈しながら、完全に隠された地上の真実を維持します。
評価は、マルチソースコンフリクト推論、動的信念修正、暗黙のパーソナライゼーションという3つの複合的な課題に基づいて構成される。
論文 参考訳（メタデータ） (2026-04-05T17:55:23Z) - Governing Dynamic Capabilities: Cryptographic Binding and Reproducibility Verification for AI Agent Tool Use [0.0]
既存のセキュリティレイヤでは、AIエージェントに何ができるか、それが主張するものを実行したのか、マルチエージェントインタラクションで何が起きたのかを検証できない。
既存のフレームワークはこれら2つを詳述し、サイレントな能力のエスカレーションを可能にし、検証済みの証明なしに相互作用を残す。
我々は3つのエージェントガバナンス要件を導出する:能力の完全性(G1)、行動の妥当性(G2)、相互作用監査性(G3)。
基本(Ed25519, SHA-256; 97 us verify)と拡張(BBS+選択開示、Groth16 DV-SNARK; 13.8 ms)の2つの暗号に依存しないインスタンス化で検証する。
論文 参考訳（メタデータ） (2026-03-15T11:46:57Z) - AgentDoG: A Diagnostic Guardrail Framework for AI Agent Safety and Security [126.49733412191416]
現在のガードレールモデルは、リスク診断におけるエージェント的リスク認識と透明性を欠いている。
エージェントリスクをソース(場所)、障害モード(方法)、結果(何)で分類する統合された3次元分類法を提案する。
AgentDoG(AgentDoG)のための,エージェント安全性ベンチマーク(ATBench)と診断ガードレールフレームワークを新たに導入する。
論文 参考訳（メタデータ） (2026-01-26T13:45:41Z) - DoVer: Intervention-Driven Auto Debugging for LLM Multi-Agent Systems [48.971606069204825]
DoVerは、大規模言語モデル(LLM)ベースのマルチエージェントシステムのための介入駆動デバッグフレームワークである。
ターゲットの介入を通じて、アクティブな検証によって仮説生成を増強する。
DoVerは失敗試験の18～28%を成功させ、最大16%のマイルストーンを達成し、失敗仮説の30～60%を検証または否定する。
論文 参考訳（メタデータ） (2025-12-07T09:23:48Z) - On the Resilience of LLM-Based Multi-Agent Collaboration with Faulty Agents [58.79302663733703]
大規模言語モデルに基づくマルチエージェントシステムは、専門家エージェントの協力により、様々なタスクにまたがる優れた能力を示している。
不器用なエージェントや悪意のあるエージェントが与える影響 - システム全体のパフォーマンスにおいて、頻繁にタスクでエラーを犯すものは、いまだに過小評価されていない。
本稿では,下流タスクにおける障害要因下での各種システム構造のレジリエンスについて検討する。
論文 参考訳（メタデータ） (2024-08-02T03:25:20Z) - GuardAgent: Safeguard LLM Agents by a Guard Agent via Knowledge-Enabled Reasoning [79.07152553060601]
安全ガード要求を満たすか否かを動的に確認し,目標エージェントを保護する最初のガードレールエージェントであるガードアジェントを提案する。
特にGuardAgentは、まず安全ガードの要求を分析してタスクプランを生成し、それからその計画をガードレールコードにマップして実行します。
GuardAgentは、それぞれ98%と83%のガードレール精度を持つ2つのベンチマークにおいて、異なる種類のエージェントに対する違反行為を効果的に抑制することを示した。
論文 参考訳（メタデータ） (2024-06-13T14:49:26Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。