論文の概要: Can AI Agents Detect and Repair Artifact Drift in Network Experiments?
- arxiv url: http://arxiv.org/abs/2609.09849v1
- Date: Wed, 09 Sep 2026 07:58:24 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-10 19:44:08.944079
- Title: Can AI Agents Detect and Repair Artifact Drift in Network Experiments?
- Title（参考訳）: AIエージェントはネットワーク実験でアーチファクトドリフトを検出および修復できるか?
- Abstract要約: 私たちはこの財産品の完全性と呼ぶ。
ベンチマークには52のインスタンスが含まれており、直接矛盾からいくつかのアーティファクトにまたがる非統計関係まで、矛盾がある。
決定論的スコアリングを用いて,3つの汎用AIエージェントランタイムを対象とした23のエージェント構成を評価する。
- 参考スコア（独自算出の注目度）: 29.12202496097423
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In recent years, AI agents have evolved into capable assistants that carry out multi-step tasks in digital environments. The network systems community is beginning to explore these capabilities in operational and experimental settings. However, an agent operating in network systems should not be judged solely by whether it completes the immediate task. The experiment record it modifies must also remain trustworthy. We call this property artifact integrity: the record's claims must remain supported by the available evidence, confined to the scope established by that evidence, and traceable through the artifacts that encode their support. To make this property measurable, we introduce NetArtifactBench, which tests whether AI agents can repair inconsistent records derived from public network-system artifacts while preserving claims that remain supported. The benchmark contains 52 instances with injected inconsistencies ranging from direct contradictions to unstated relations spread across several artifacts. We evaluate 23 agent configurations across three general-purpose AI agent runtimes using deterministic scoring. The average contract pass rate is 65.3 % across 5,980 outputs, but no agent runtime exceeds 30 % when repair requires recovering implicit relations and propagating changes across artifacts. These results reveal a sharp boundary between local correction and complete record-level repair. Therefore, we argue that artifact integrity should become a first-class design and evaluation requirement for AI agents operating on network systems.
- Abstract（参考訳）: 近年、AIエージェントはデジタル環境で多段階のタスクを実行する有能なアシスタントへと進化してきた。
ネットワークシステムコミュニティは、これらの機能を運用および実験環境で探求し始めている。
しかし、ネットワークシステムで動作しているエージェントは、即時処理が完了したかどうかのみを判断するべきではない。
修正された実験記録も信頼できるままでなければならない。
記録の主張は、利用可能な証拠によって引き続き支持され、その証拠によって確立された範囲に限定され、彼らの支持を符号化するアーティファクトを通して追跡可能である。
この特性を測定するためにNetArtifactBenchを導入する。これは、AIエージェントが、サポートされたクレームを保持しながら、パブリックなネットワークシステムアーティファクトから派生した一貫性のないレコードを修復できるかどうかをテストする。
ベンチマークには52のインスタンスが含まれており、直接矛盾からいくつかのアーティファクトにまたがる非統計関係まで、不整合が注入されている。
決定論的スコアリングを用いて,3つの汎用AIエージェントランタイムを対象とした23のエージェント構成を評価する。
平均的なコントラクトパスレートは5,980アウトプットで65.3%であるが、修復時に暗黙の関係の回復と人工物全体の変更の伝播を必要とするエージェントランタイムは30%を超えない。
これらの結果から,局所的な補正と完全レコードレベルの修復の境界が明らかとなった。
そこで我々は,アーティファクトの完全性は,ネットワークシステムで動作するAIエージェントの設計と評価の第一級要件となるべきであると論じる。
関連論文リスト
- Can AI Agents Deliver Verifiable Network-Wide Outcomes Across Authority Boundaries? [31.85609823320721]
本稿では,協調エージェント操作がオペレータのネットワーク意図を達成したかどうかを判断するランタイム保証層であるEvidenceNetを提案する。
ライブルーティングネットワークの実験では、変更後の状態チェックは、構成アクションレコードだけでは確立できない成功結果を認識する。
論文 参考訳（メタデータ） (2026-09-09T13:51:15Z) - Apodex Discovery: Reality Benchmarks and Environments for Evaluating and Building Discoverative Artificial Intelligence [86.61561123749011]
Apodex Discovery(アポデックスディスカバリー)は、重度解法を用いて発見的AIを構築し評価するためのフレームワークである。
まず16のセクターで511の業界を調査し、423の高価値現実問題を集め、最初のリリースで20を選定した。
第二に、共通の環境-タスク-エピソード抽象化は、データ、ツール、制約、フィードバック、軌跡記録、中間成果物と最終提出物の検証を提供する。
論文 参考訳（メタデータ） (2026-08-11T18:48:40Z) - ScrambleToolBench: Agents Search Exhaustively Even When Their Own Map Points to the Next Step [74.83535434786145]
ScrambleToolBenchは,行動推論の分離を目的とした対話型端末ベンチマークである。
このベンチマークでは、エージェントがテストとエラーのインタラクションを通じて、隠されたツールの振る舞いを明らかにする必要がある。
現状の言語モデルに対する我々の評価は、初期発見が成功しても頑健な適応にはならないことを示している。
論文 参考訳（メタデータ） (2026-08-03T15:07:46Z) - AgentSnare: Learning to Delay, Divert, and Defuse Autonomous Penetration Agents [29.81912218748482]
大型言語モデル(LLM)エージェントは、観察-動作ループを介して浸透試験を自動化する。
現在の防御は、攻撃前に環境に植えられた静的で孤立したアーティファクトに大きく依存している。
AgentSnareはデコイ環境を動的に展開し、侵入エージェントを実際のターゲットから遠ざけていく。
論文 参考訳（メタデータ） (2026-07-29T14:56:31Z) - AgentTether: Graph-Guided Diagnosis and Runtime Intervention for Reliable LLM Agent Operation [27.0859707906163]
AgentTetherは実行時修復フレームワークで、基礎となるエージェントや環境を変更することなく、実行後の診断とガイド付きリカバリを自動化する。
オフラインのノーマルビヘイビアモデルとランローカルグラフ検出器を組み合わせることで、障害クリティカルなサブトラジェクトリをローカライズする。
オフラインの診断とガイダンスツールとして、あるいはオンラインの修復レイヤとしてデプロイできる。
論文 参考訳（メタデータ） (2026-07-07T13:40:31Z) - Where Do Deep-Research Agents Go Wrong? Span-Level Error Localization in Agent Trajectories [51.22051230894794]
最終回答に基づく評価は、エージェントが成功するかどうかを示すが、どの部分の軌道が答えを信頼できないかを示すものではない。
2つのエージェントフレームワーク、3つのバックボーンモデル、3つのベンチマークから2,790の実際のトラジェクトリを収集し、生ログをセマンティックスパンに変換し、エキスパートレビューを通じて有害なエラースパンを注釈付けします。
我々は,エージェントの主張を追跡するクレーム中心の監査フレームワークであるDRIFTを提案する。
論文 参考訳（メタデータ） (2026-06-01T10:50:26Z) - ClawArena: Benchmarking AI Agents in Evolving Information Environments [61.664633997138004]
ClawArenaは、進化する情報環境におけるAIエージェントの評価のためのベンチマークである。
それぞれのシナリオは、エージェントをノイズ、部分的、時には矛盾するトレースだけに露呈しながら、完全に隠された地上の真実を維持します。
評価は、マルチソースコンフリクト推論、動的信念修正、暗黙のパーソナライゼーションという3つの複合的な課題に基づいて構成される。
論文 参考訳（メタデータ） (2026-04-05T17:55:23Z) - Re-Evaluating EVMBench: Are AI Agents Ready for Smart Contract Security? [10.248746359119625]
EVMbenchは、スマートコントラクトセキュリティに関するAIエージェントのための最初の大規模なベンチマークである。
その成果は、完全に自動化されたAI監査が到達範囲内にあるという期待を後押しした。
これらの発見は、完全に自動化されたAI監査が差し迫っているという物語に挑戦する。
論文 参考訳（メタデータ） (2026-03-11T14:07:16Z) - RIVA: Leveraging LLM Agents for Reliable Configuration Drift Detection [3.494935876363005]
既存のエージェントシステムは、彼らが呼び出すツールが常に正しい出力を返すと暗黙的に仮定している。
我々は,ツールが誤りや誤解を招く出力を生成する場合でも,堅牢なIaC検証を行う,新しいマルチエージェントシステムであるRIVAを紹介する。
この結果から,多種多様なツールコールの相互検証により,実運用環境におけるより信頼性の高い自律的インフラストラクチャ検証が可能であることが示唆された。
論文 参考訳（メタデータ） (2026-03-02T19:28:27Z) - Holistic Agent Leaderboard: The Missing Infrastructure for AI Agent Evaluation [87.47155146067962]
数百のタスクで並列評価をオーケストレーションする,標準化された評価ハーネスを提供する。
モデル、足場、ベンチマークにまたがる3次元解析を行う。
私たちの分析では、ほとんどのランで精度を低下させる高い推論努力など、驚くべき洞察が示されています。
論文 参考訳（メタデータ） (2025-10-13T22:22:28Z) - Dissecting Adversarial Robustness of Multimodal LM Agents [70.2077308846307]
我々は、VisualWebArena上に現実的な脅威モデルを用いて、200の敵タスクと評価スクリプトを手動で作成する。
我々は,クロボックスフロンティアLMを用いた最新のエージェントを,リフレクションやツリーサーチを行うエージェントを含む,壊すことに成功している。
AREを使用して、新しいコンポーネントの追加に伴うロバスト性の変化を厳格に評価しています。
論文 参考訳（メタデータ） (2024-06-18T17:32:48Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。