論文の概要: EPC: A Standardized Protocol for Measuring Evaluator Preference Dynamics in LLM Agent Systems
- arxiv url: http://arxiv.org/abs/2607.00297v1
- Date: Wed, 01 Jul 2026 00:49:47 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-02 19:56:07.674647
- Title: EPC: A Standardized Protocol for Measuring Evaluator Preference Dynamics in LLM Agent Systems
- Title（参考訳）: EPC: LLMエージェントシステムにおける評価器選好ダイナミクス測定のための標準化プロトコル
- Abstract要約: EPC(Evaluator Preference Coupling)は、RFCスタイルのプロトコル仕様である。
評価器のバージョン識別子,APIエンドポイント,測定日を付加した8つの評価器条件の結合測定のリファレンススナップショットを提供する。
我々は、バージョン管理規約(vX.Y-Z)を定義し、プロトコルバージョン、スナップショットバージョン、評価器生成を符号化し、採用、解釈、既知の落とし穴をカバーする使用法ガイドを提供する。
- 参考スコア（独自算出の注目度）: 1.0152838128195467
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: When LLM agents use evaluator feedback to adapt their behavior in closed loops, evaluator biases propagate through the agent's strategy distribution -- a phenomenon known as evaluator preference coupling. Prior work has documented coupling across multiple evaluator families and model versions, but the field lacks a standardized protocol that enables third-party researchers to (i) reproduce coupling measurements, (ii) compare results across evaluators and time points, and (iii) detect measurement decay as proprietary evaluators silently update. This paper provides the protocol. We specify EPC (Evaluator Preference Coupling) -- a detailed, RFC-style protocol specification for the four-phase isolation paradigm, covering executor and evaluator configuration, strategy and task design, the TTRL update rule, metric computation (gamma, JSD, ECE, Brier), and output schema. We accompany the protocol with a versioned Reference Snapshot v1.0: coupling measurements for eight evaluator conditions (N=122 unique experimental repetitions across GPT-4o, Qwen, DeepSeek, and others) derived from five independent studies, annotated with evaluator version identifiers, API endpoints, and measurement dates. The snapshot is explicitly time-bound: all values are conditional on specific model versions and are expected to decay as proprietary evaluators update. We define a versioning convention (vX.Y-Z, encoding protocol version, snapshot version, and evaluator generation) and provide a usage guide covering adoption, interpretation, and known pitfalls. The protocol, reference snapshot, and implementation code are released as open infrastructure.
- Abstract（参考訳）: LLMエージェントがクローズドループでの行動に適応するために評価器フィードバックを使用するとき、評価器バイアスはエージェントの戦略分布(評価器選好結合として知られる現象)を介して伝播する。
これまでの研究は、複数の評価対象ファミリーとモデルバージョンをまたいだ結合を文書化してきたが、この分野には、サードパーティの研究者が利用できるような標準化されたプロトコルが欠けている。
(i)カップリング測定を再現する。
(二)評価指標と時間点を比較して、
三 測定減衰を独自評価器として静かに更新すること。
本稿では,そのプロトコルについて述べる。
EPC (Evaluator Preference Coupling) -- 4相分離パラダイムのためのRFCスタイルの詳細なプロトコル仕様で、エグゼキュータと評価器の構成、戦略とタスク設計、TTRL更新ルール、計量計算(ガンマ、JSD、ECE、Brier)、出力スキーマを網羅する。
GPT-4o、Qwen、DeepSeekなどの8つの独立した研究から得られた8つの評価条件(N=122個の実験的な繰り返し)の結合測定を、評価器のバージョン識別子、APIエンドポイント、測定日で注釈付けした。
すべての値は特定のモデルバージョンで条件付きであり、プロプライエタリな評価者が更新すると崩壊すると予想されている。
我々は、バージョニング規約(vX.Y-Z、エンコーディングプロトコルバージョン、スナップショットバージョン、評価器生成)を定義し、採用、解釈、既知の落とし穴をカバーする使用法ガイドを提供する。
プロトコル、リファレンススナップショット、実装コードはオープンインフラストラクチャとしてリリースされている。
関連論文リスト
- The Evaluation Context Protocol (ECP): A Portable Contract for AI Agent Evaluation [0.0]
本稿では,AIエージェントの評価における重要な方法論と,高度な可観測性基盤の不可欠な役割について考察する。
本稿では,エージェントシステムの契約層として機能することを目的とした,初期段階のベンダ中立フレームワークである評価コンテキストプロトコル(ECP)を提案する。
本稿では,LangChain,LlamaIndex,CrewAI,PydanticAIのアダプタを含むオープンソースリファレンス実装について述べる。
論文 参考訳（メタデータ） (2026-08-18T07:14:36Z) - Structuring Semantic Embeddings for Principle Evaluation: A Prototype-Guided Contrastive Learning Approach [58.15427952222424]
汎用的なテキスト埋め込みはそのようなタスクに広くデプロイされているが、意味的類似性は意味的に似ているがタスク固有の例を示すことができる。
本稿では,凍結したテキスト埋め込み上に構築された幾何正規化モジュールであるPGCL(Prototype-Guided Contrastive Learning)を紹介する。
論文 参考訳（メタデータ） (2026-08-15T13:19:25Z) - Open Evaluation Agent: Efficient and Promptable Evaluation of Visual Generative Models [74.1961755473754]
既存の評価手法は、特定のユーザのニーズを見落とし、明確な説明なしに数値的な結果を提供する厳密なパイプラインに依存している。
本研究では,効率的,動的,多ラウンドな評価に人間的な戦略を用いる評価エージェントフレームワークを提案する。
その結果,評価エージェントは評価時間を従来の手法の10%に短縮し,比較結果が得られた。
論文 参考訳（メタデータ） (2026-08-10T14:42:10Z) - Toward User-Conditioned Evaluation of Personal LLM Agents under Temporal Interventions [8.322624411492983]
既存のエージェントベンチマークは、固定API下でのテスト実行、メモリベンチマークは、リコールまたはリコール、セーフティベンチマークは、静的ポリシーコンプライアンスをテストする。
我々は、パーソナライズ・エージェントの評価には異なるプロトコルが必要であると論じる。
我々は,この要件を,明示的な時間的介入,介入全体にわたる永続状態,二次元的効果の誘発,ユーザ条件の変動の4つの条件として定式化する。
論文 参考訳（メタデータ） (2026-07-20T23:14:36Z) - A Technical Taxonomy of LLM Agent Communication Protocols [60.76747983053368]
本研究では,大規模言語モデル(LLM)エージェント通信プロトコルの分類と解析を行う技術的分類法を開発する。
このフレームワークはプロトコルの選択をガイドし、プライバシーやポリシー執行といったオープンな研究ギャップを強調する。
論文 参考訳（メタデータ） (2026-06-17T14:45:20Z) - Industrializing Prediction-Powered Inference: The GLIDE Library for Reliable GenAI and Agentic Systems Evaluation [2.28126966226433]
予測駆動推論(PPI)は、双方をバイアス付き推定と有効な信頼区間に結合する。
我々は,最先端のPPI推定器を統一したオープンソースのPythonライブラリであるGLIDEを紹介する。
GLIDEには、再現可能なモンテカルロ検証スイート、メソッド選択のための実証的根拠決定ツリー、エージェント評価ケーススタディが付属している。
論文 参考訳（メタデータ） (2026-05-29T13:10:35Z) - Auditing Training-Free 3D Shape Retrieval with Diffused Geodesic Moments [17.990911601858482]
DGM(Diffused Geodesic Moments)は,疎熱応答を演算する種条件記述子である。
DGMは、実用的な非スペクトルベースラインとして、およびプロトコル効果を分離する手段として使用される。
論文 参考訳（メタデータ） (2026-05-27T19:00:41Z) - Autogenesis: A Self-Evolving Agent Protocol [60.15939127351914]
本稿では,自己進化プロトコルであるAutogenesis Protocol(AGP)を紹介する。
本稿では,実行中のプロトコル登録リソースを動的にインスタンス化し,検索し,精錬する自己進化型マルチエージェントシステムAGSを提案する。
論文 参考訳（メタデータ） (2026-04-16T14:04:06Z) - vla-eval: A Unified Evaluation Harness for Vision-Language-Action Models [58.633451339058986]
VLAモデルは一般的に、各モデルリポジトリによって独立して維持されるベンチマークスクリプト毎に評価される。
本稿では、ベンチマーク実行からモデル推論を分離するオープンソースの評価ハーネスであるvla evalを紹介する。
完全な評価では、vla eval serveとvla eval runの2つのコマンドしか必要としない。
論文 参考訳（メタデータ） (2026-03-14T14:38:53Z) - DEP: A Decentralized Large Language Model Evaluation Protocol [51.3646001384887]
分散評価プロトコル(Decentralized Evaluation Protocol, DEP)は、分散化されているが統一され、標準化された評価フレームワークである。
ユーザ、LLM、ベンチマークを分離することで、DEPはモジュラー、プラグ・アンド・プレイの評価を可能にする。
我々は,ブレークポイントの再開,同時要求,混雑制御などの機能をサポートするプロトコル互換ツールキットであるDEP Toolkitを開発した。
論文 参考訳（メタデータ） (2026-03-01T16:10:16Z) - Uncovering Gaps Between RFC Updates and TCP/IP Implementations: LLM-Facilitated Differential Checks on Intermediate Representations [21.889716987837428]
プロトコルスタックコードの実装とRFC標準の間にはしばしば矛盾があります。
この矛盾はプロトコル機能の違いを引き起こすだけでなく、深刻なセキュリティ上の脆弱性を引き起こす可能性がある。
大規模言語モデルの台頭により、RFC文書からプロトコル仕様を抽出する方法が研究され始めている。
論文 参考訳（メタデータ） (2025-10-28T13:19:46Z) - EdiVal-Agent: An Object-Centric Framework for Automated, Fine-Grained Evaluation of Multi-Turn Editing [170.71134330650796]
EdiVal-Agentは、命令ベースの画像編集のためのオブジェクト指向評価フレームワークである。
標準のシングルターンだけでなく、マルチターンの命令ベースの編集を精度良く評価するように設計されている。
EdiVal-Benchは、インコンテキスト、フローマッチング、拡散パラダイムにまたがる9つの命令タイプと13の最先端編集モデルをカバーするベンチマークである。
論文 参考訳（メタデータ） (2025-09-16T17:45:39Z) - LLM-Assisted Model-Based Fuzzing of Protocol Implementations [9.512044399020514]
プロトコル動作の障害は脆弱性やシステム障害につながる可能性がある。
プロトコルテストに対する一般的なアプローチは、プロトコルの状態遷移と期待される振る舞いをキャプチャするマルコフモデルを構築することである。
本稿では,大規模言語モデル(LLM)を利用して,ネットワークプロトコルの実装をテストするためのシーケンスを自動的に生成する手法を提案する。
論文 参考訳（メタデータ） (2025-08-03T13:16:18Z) - Towards Realistic Evaluation of Commit Message Generation by Matching Online and Offline Settings [77.20838441870151]
オンラインメトリック - VCSに生成されたメッセージをコミットする前にユーザが導入する編集回数 - を使用して、オフライン実験用のメトリクスを選択します。
我々は,GPT-4が生成したコミットメッセージと,人間の専門家が編集したコミットメッセージからなる57対のデータセットを収集した。
以上の結果から,編集距離が最も高い相関性を示すのに対し,BLEUやMETEORなどの類似度は低い相関性を示すことがわかった。
論文 参考訳（メタデータ） (2024-10-15T20:32:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。