論文の概要: AI Agents Do Not Fail Alone:The Context Fails First
- arxiv url: http://arxiv.org/abs/2607.14275v1
- Date: Wed, 15 Jul 2026 18:33:02 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-17 17:01:32.886602
- Title: AI Agents Do Not Fail Alone:The Context Fails First
- Title（参考訳）: AIエージェントは、一度も失敗しない: コンテキストはまず失敗する
- Abstract要約: 本稿では,エージェント信頼性の独立指標としてコンテキストエンジニアリングの品質を評価する。
我々は,AIエージェント評価のためのオープンソースのインフラストラクチャであるProofAgent-Harnessで測定を実装した。
文脈品質基準は, 常に対応する行動結果を予測する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Context engineering has become central to building reliable AI agents, yet it remains largely unmeasured. Agents do not fail in isolation: their behavior is shaped by the instructions, tools, memory, retrieved knowledge, guardrails, and untrusted inputs accumulated in their context. When this context is weak, agents drift, hallucinate, misuse tools, ignore constraints, become vulnerable to injection, and waste tokens. This paper validates context-engineering quality as an independent leading indicator of agent reliability. We implement the measurement in ProofAgent-Harness, an open-source infrastructure for AI agent evaluation that uses multi-juror, consensus-based scoring. The harness assesses context across seven criteria: role clarity, guardrail coverage, instruction consistency, tool schema quality, grounding sufficiency, injection hardening, and token efficiency. Crucially, the context score is isolated from behavioral metrics and release decisions, enabling a non-circular validation. Through a controlled context-quality study across regulated agent domains, holding frontier LLM agents fixed and varying only their operating context, we show that context-quality criteria consistently predict their corresponding behavioral outcomes. Grounding sufficiency predicts hallucination resistance, guardrail coverage predicts manipulation resistance, instruction consistency predicts instruction following, and tool-schema quality predicts tool use. These findings establish context measurement as a validated preflight signal for agent reliability and position context engineering as an auditable layer of agent evaluation and governance.
- Abstract（参考訳）: コンテキストエンジニアリングは信頼性の高いAIエージェントの構築の中心となっているが、ほとんど計測されていない。
彼らの振る舞いは、命令、ツール、記憶、検索された知識、ガードレール、そして彼らのコンテキストに蓄積された信頼できない入力によって形作られています。
このコンテキストが弱い場合には、エージェントのドリフト、幻覚、誤用ツール、制約を無視し、注入に弱い状態になり、トークンを無駄にします。
本稿では,エージェント信頼性の独立指標としてコンテキストエンジニアリングの品質を評価する。
ProofAgent-Harnessは、AIエージェント評価のためのオープンソースのインフラで、マルチファイア、コンセンサスベースのスコアリングを利用する。
このハーネスは、役割の明確さ、ガードレールカバレッジ、命令整合性、ツールスキーマの品質、接地効率、インジェクション硬化、トークン効率の7つの基準でコンテキストを評価する。
重要なことは、コンテキストスコアは行動メトリクスとリリース決定から分離され、非循環的な検証を可能にする。
規制されたエージェントドメイン間での文脈品質の制御研究を通じて、フロンティアのLLMエージェントを固定し、操作コンテキストのみに変化させることにより、コンテキスト品質基準が対応する行動結果を常に予測できることが示される。
接地精度は幻覚抵抗を予測し、ガードレールカバレッジは操作抵抗を予測し、命令整合性は命令追従を予測し、ツール・スキーマ品質はツールの使用を予測する。
これらの知見は,エージェント評価とガバナンスの監査可能なレイヤとして,エージェント信頼性と位置コンテキスト工学のための評価済みプレライト信号としてコンテキスト測定を確立した。
関連論文リスト
- AI Slop and Hallucinations in Vulnerability Assessment: A Survey on Reasoning Failures and Trustworthy Mitigation [48.55515767840701]
AIスロープ(AI slop)は、アーティファクト、幻覚的脆弱性、可視だが正しくないパッチ、セマンティックに再パッケージされたバグレポートである。
本稿では,実証的証拠を調査し,統一メカニズムを特定し,信頼に値するトリアージへの道筋をたどる。
論文 参考訳（メタデータ） (2026-08-26T11:48:38Z) - From Sequence to Structure: Relational Uncertainty Propagation for LLM Agents [75.69180947909148]
大規模言語モデル(LLM)エージェントのためのトラジェクトリレベルのUQフレームワークを提案する。
RuPAは、推論状態、ツールインタラクション、環境フィードバックが時間的およびセマンティックな依存関係エッジで接続されたノードである、指向的なトラジェクトリグラフとして実行履歴を表現している。
我々は,複数のモデルファミリにまたがる6つのオープンソースLCMを用いて,代用エージェントベンチマーク($2, Terminal-Bench-2, GAIA)でRUPAを評価した。
論文 参考訳（メタデータ） (2026-08-17T01:40:14Z) - ScrambleToolBench: Agents Search Exhaustively Even When Their Own Map Points to the Next Step [74.83535434786145]
ScrambleToolBenchは,行動推論の分離を目的とした対話型端末ベンチマークである。
このベンチマークでは、エージェントがテストとエラーのインタラクションを通じて、隠されたツールの振る舞いを明らかにする必要がある。
現状の言語モデルに対する我々の評価は、初期発見が成功しても頑健な適応にはならないことを示している。
論文 参考訳（メタデータ） (2026-08-03T15:07:46Z) - Stop Shipping AI Agents on Faith: Capability Is Not Production Readiness [0.0]
本稿では,AIエージェントのガバナンス準備度指標であるProofAgent Index(PAI)を紹介する。
PAIは、評価、コンテキスト、コンプライアンス、ガバナンスの4つの側面を組み合わせたデプロイメントエビデンスです。
監査可能なAIエージェント評価とガバナンスのためのオープンソースのインフラストラクチャであるProofAgent Harness内に実装されている。
論文 参考訳（メタデータ） (2026-07-30T04:44:47Z) - Power Systems Agent Benchmark: Executable Evaluation of AI Agents in Electric Power Engineering [0.0]
本稿では,パワーエンジニアリングエージェントのベンチマークであるPower Systems Agent Benchmarkを紹介する。
エージェントは構造化されたタスクを受け取り、構造化されたソリューションを返す。
このベンチマークには、電力フローと保護から安定性、マイクログリッド、信頼性、電力品質、予測に至るまで、電力工学の8分野にわたる41のタスクファミリが含まれている。
論文 参考訳（メタデータ） (2026-06-18T21:30:39Z) - VASO: Formally Verifiable Self-Evolving Skills for Physical AI Agents [57.240036084348354]
本稿では,ロボットスキルコントラクトの検証誘導自己進化のためのフレームワークであるVASOを紹介する。
VASOは論理的に一貫性のないスキル契約を検証し、グローバルおよびローカルな時間的仕様に対してスキルによって誘発される計画を検証する。
Clearpath Jackal と PX4 のクアッドコプタータスクでは、VASO は100点未満の最適化サンプルを使用して97.2% の形式的な仕様準拠に達した。
論文 参考訳（メタデータ） (2026-06-03T20:02:35Z) - Consistency as a Testable Property: Statistical Methods to Evaluate AI Agent Reliability [6.195988633460139]
本稿では,AIエージェント信頼性のための厳密な計測科学を確立する。
出力レベルの信頼性に$U$-statistics、軌道レベルの安定性にカーネルベースのメトリクスを活用することにより、エージェントを評価するための原則的なアプローチを提供する。
論文 参考訳（メタデータ） (2026-05-11T13:06:24Z) - AJ-Bench: Benchmarking Agent-as-a-Judge for Environment-Aware Evaluation [71.49152943451328]
我々は,AJ-Benchベンチマークを導入し,ドメイン検索,データシステム,グラフィカルユーザインタフェースの3つの領域にまたがるエージェント・アズ・ア・Judgeを評価する。
実験ではLLM-as-a-Judgeベースラインよりも一貫したパフォーマンス向上を示し、エージェントベースの検証においてかなりオープンな課題を明らかにした。
論文 参考訳（メタデータ） (2026-04-20T13:23:38Z) - Towards a Science of AI Agent Reliability [9.570634569436535]
AIエージェントは、重要なタスクを実行するためにますますデプロイされる。
標準ベンチマークにおける精度の上昇は急速な進歩を示唆する一方で、多くのエージェントが実際に失敗し続けている。
エージェントの信頼性を4つの重要な次元(一貫性、堅牢性、予測可能性、安全性)に沿って分解する12のメトリクスを提案する。
論文 参考訳（メタデータ） (2026-02-18T18:05:44Z) - From Transcripts to AI Agents: Knowledge Extraction, RAG Integration, and Robust Evaluation of Conversational AI Assistants [0.0]
顧客向け産業向けの信頼できる会話AIアシスタントの構築は、ノイズの多い会話データ、断片化された知識、正確なヒューマンハンドオフの必要性により、依然として困難である。
本稿では,履歴書から直接対話型AIアシスタントを構築し,評価するためのエンドツーエンドフレームワークを提案する。
論文 参考訳（メタデータ） (2026-01-26T07:44:47Z) - The Why Behind the Action: Unveiling Internal Drivers via Agentic Attribution [63.61358761489141]
LLM(Large Language Model)ベースのエージェントは、カスタマーサービス、Webナビゲーション、ソフトウェアエンジニアリングといった現実世界のアプリケーションで広く使われている。
本稿では,タスク結果に関係なく,エージェントの動作を駆動する内部要因を識別する,テキスト汎用エージェント属性のための新しいフレームワークを提案する。
標準ツールの使用やメモリ誘起バイアスのような微妙な信頼性リスクなど、さまざまなエージェントシナリオでフレームワークを検証する。
論文 参考訳（メタデータ） (2026-01-21T15:22:21Z) - Gaming the Judge: Unfaithful Chain-of-Thought Can Undermine Agent Evaluation [76.5533899503582]
大規模言語モデル(LLM)は、エージェントのパフォーマンスを評価するために、ますます裁判官として使われている。
このパラダイムは、エージェントのチェーン・オブ・シークレット(CoT)推論が内部の推論と環境状態の両方を忠実に反映していることを暗黙的に仮定している。
我々は、操作された推論だけで、様々なWebタスクにまたがる800の軌跡に対して、最先端のVLM審査員の偽陽性率を最大90%向上させることができることを実証した。
論文 参考訳（メタデータ） (2026-01-21T06:07:43Z) - Impatient Users Confuse AI Agents: High-fidelity Simulations of Human Traits for Testing Agents [58.00130492861884]
TraitBasisは、AIエージェントを体系的にストレステストするための軽量でモデルに依存しない方法である。
TraitBasisは、ステアブルなユーザ特性に対応するアクティベーション空間で方向を学習する。
We observed on average a 2%-30% performance degradation on $tau$-Trait across frontier model。
論文 参考訳（メタデータ） (2025-10-06T05:03:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。