論文の概要: EIO-Agents: The Missing Semantic Layer for AI Agent Evaluation
- arxiv url: http://arxiv.org/abs/2610.07675v1
- Date: Tue, 06 Oct 2026 03:10:53 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-08 02:58:29.781559
- Title: EIO-Agents: The Missing Semantic Layer for AI Agent Evaluation
- Title（参考訳）: EIO-Agents:AIエージェント評価のための欠落したセマンティックレイヤ
- Abstract要約: 我々は、相互運用可能なAIエージェント評価のためのオープン仕様であるEIO-Agentsを紹介する。
スコアは要約し、解釈し、記録を辿るが、いずれも証拠の意味や証明できるものを定義していない。
AIエージェントがより大きな運用責任を負うようになると、評価はスコアや評決の集まり以上のものでなければならない。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: AI agents are entering production in increasingly consequential environments without a shared semantic standard for what their evaluations actually mean. Scores, traces, judge outputs, and multi juror findings are increasingly used to justify readiness and release decisions, yet they often do not specify what evidence supports a claim, what that evidence can establish, or how the claim leads to a decision. We introduce EIO-Agents, an open specification for interoperable AI agent evaluation built on two layers. The Evaluation Intelligence Ontology (EIO) provides the semantic layer through typed evidence, versioned behavioral predicates, evidence contracts, claims, witness rules, proof status, recurrence, and computable derivations for metrics, findings, controls, and PASS, REVIEW, or BLOCK decisions. The Portable Evaluation Record (PER) provides the system of record: a canonical, content addressed representation of one evaluation that preserves the evidence to decision chain and can be re derived, explained, and verified. Scores summarize, juries interpret, and traces record, but none of them define what the evidence means or what it can prove. EIO provides that missing semantic contract, while PER preserves the resulting evaluation as a portable and verifiable system of record. As AI agents assume greater operational responsibility, evaluation must become more than a collection of scores and verdicts; it must become an accountable artifact whose meaning, evidence, limitations, and decisions can be independently checked.
- Abstract（参考訳）: AIエージェントは、その評価が実際に何を意味するのかを共有セマンティック標準なしで、ますます連続した環境で生産に入る。
スコア、トレース、判断アウトプット、および複数の陪審員の発見は、準備とリリースの決定を正当化するためにますます使われるが、彼らは主張を支持する証拠、その証拠が確立できるもの、またはその主張がどのように決定に導くかを明確にしないことが多い。
EIO-Agentsは、2つの層上に構築された相互運用可能なAIエージェント評価のためのオープン仕様である。
評価インテリジェンスオントロジー(EIO)は、型付きエビデンス、バージョン付き行動述語、エビデンス契約、クレーム、証人規則、証明ステータス、再発、計算可能なメトリクス、発見、制御、PASS、REVIEW、またはBLOCK決定によるセマンティック層を提供する。
ポータブル・アセスメント・レコーダ(PER)は、ある評価の標準的かつ内容的な表現であり、証拠を決定連鎖に保存し、再帰し、説明し、検証することができる。
スコアは要約し、解釈し、記録を辿るが、いずれも証拠の意味や証明できるものを定義していない。
EIOはセマンティックコントラクトを欠いているが、PERはポータブルで検証可能なレコードシステムとして結果の評価を保存している。
AIエージェントがより大きな運用責任を負うようになると、評価はスコアと評決の集まり以上のものとなり、意味、証拠、制限、決定を独立してチェックできる説明可能な成果物になる必要がある。
関連論文リスト
- Verify Claims, Not Scores: Evidence-Based Verification of Modular Agents [0.0]
我々は,モジュールエージェントに対して,計画,行動,検査,精査を行うクレーム固有の検証監査を導入する。
エージェントをスコアする代わりに、監査はエビデンスをスコアする。
論文 参考訳（メタデータ） (2026-10-01T09:17:47Z) - From Capability to Assurance in Autonomous Penetration-Testing Harnesses: A Framework and Reference Implementation [0.0]
我々は、保証プロパティはハーネス、ランタイムがモデルをラップし、コードで強制できると主張している。
まず,5つの保証特性(証拠的根拠,非破壊的クレームの低減,計算された重大度,強制的認可,明白な説明責任)の枠組みを定義する。
次に,フレームワーク内の代表システム(PentestGPT,Cochise参照ハーネス,MAPTA,PentestJudge)を公開コーディング基準を用いて配置し,一貫した保証ギャップを同定する。
第三に、あるオープンソース実装であるNeuroSploitを正確にコミットし、そのアーキテクチャ、そのアーキテクチャを報告する。
論文 参考訳（メタデータ） (2026-09-19T00:37:49Z) - Zero-Knowledge Predicate Proofs Between AI Agents: A Measured, Cross-Protocol Gateway and the Source-Integrity Gap [0.0]
マルチエージェントAIプラットフォームは、ステージングからプロダクションへ素早く移行するが、エージェントが信頼を確立する方法はまだ初歩的だ。
提案から実行システムまで,エージェント間での検証可能なデータ最小化を行う。
32ビットのしきい値述語は6.2msで証明され、608バイトのBulletproofs証明で1.0msで検証される。
論文 参考訳（メタデータ） (2026-08-30T23:16:17Z) - Time to REFLECT: Can We Trust LLM Judges for Evidence-based Research Agents? [61.49434544687523]
本稿では,エージェント環境におけるきめ細かい故障検出を目的としたメタ評価ベンチマークREFLECTを紹介する。
REFLECTはプロセスレベルの障害モードと結果レベルの障害モードの詳細な分類を定義し、制御および局所的な介入を実行することでインスタンス化する。
私たちの実験では、最高のパフォーマンスモデルでさえ、推論、ツール使用、レポート品質の失敗に対して、全体的なアキュラシーを55%以下に達成しています。
論文 参考訳（メタデータ） (2026-05-18T23:55:08Z) - Making AI-Assisted Grant Evaluation Auditable without Exposing the Model [0.0]
本稿では,遠隔検定による要求の整合を支援するTEEアーキテクチャを提案する。
このアーキテクチャにより、外部検証者はどのモデル、ルーブリック、プロンプトテンプレート、入力表現が使われたかをチェックすることができる。
我々は、秘密のAI推論、証明可能なAI監査、ゼロ知識機械学習、アルゴリズムのアカウンタビリティ、AI支援ピアレビューに対する設計を位置付ける。
論文 参考訳（メタデータ） (2026-04-28T04:10:04Z) - When AI reviews science: Can we trust the referee? [73.47745294608072]
私たちは、トレーニングとデータ検索、デスクレビュー、深いレビュー、反論、システムレベルといった、レビューライフサイクル全体のアタックをマップします。
評価スコアに高名度フレーミング, 断定力, 反抗薬効, 文脈中毒の因果効果を分離するために, 2つの高度なLCMベースの審判を用いた。
論文 参考訳（メタデータ） (2026-04-26T08:03:32Z) - FactReview: Evidence-Grounded Reviews with Literature Positioning and Execution-Based Claim Verification [57.196748998757954]
本稿では,クレーム抽出,文献位置決定,実行に基づくクレーム検証を組み合わせたエビデンスベースレビューシステムであるFactReviewを紹介する。
FactReviewは論文を提出すると、主要なクレームを特定し、その結果を報告し、論文の技術的な位置を明らかにするために近くの作業を取り出し、コードが利用可能であれば、リリースされたリポジトリを実行する。
その後、簡潔なレビューと、主要な請求を5つのラベルのうち1つに割り当てるエビデンスレポートを生成する。
論文 参考訳（メタデータ） (2026-04-05T11:45:22Z) - Reasoning Provenance for Autonomous AI Agents: Structured Behavioral Analytics Beyond State Checkpoints and Execution Traces [0.0]
Agent Execution Record (AER) は構造化された推論プリミティブであり、すべてのステップで第一級クエリ可能なフィールドとしてインテント、観察、推論をキャプチャする。
AERが集団レベルの行動分析を可能にする方法を示す: 推論パターンマイニング、信頼度校正、クロスエージェント比較、モックリプレイによる反事実回帰テスト。
論文 参考訳（メタデータ） (2026-03-23T08:27:54Z) - Gaming the Judge: Unfaithful Chain-of-Thought Can Undermine Agent Evaluation [76.5533899503582]
大規模言語モデル(LLM)は、エージェントのパフォーマンスを評価するために、ますます裁判官として使われている。
このパラダイムは、エージェントのチェーン・オブ・シークレット(CoT)推論が内部の推論と環境状態の両方を忠実に反映していることを暗黙的に仮定している。
我々は、操作された推論だけで、様々なWebタスクにまたがる800の軌跡に対して、最先端のVLM審査員の偽陽性率を最大90%向上させることができることを実証した。
論文 参考訳（メタデータ） (2026-01-21T06:07:43Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。