論文の概要: Reproducible Evaluation as the Substrate for Safe Prompt Compression in Production Agents

• arxiv url: http://arxiv.org/abs/2610.31972v1
• Date: Thu, 22 Oct 2026 22:24:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-27 01:38:06.305708
• Title: Reproducible Evaluation as the Substrate for Safe Prompt Compression in Production Agents
• Title（参考訳）: 安全プロンプト圧縮剤としての再生可能評価
• Abstract要約: 実運用用対話エージェントのオフライン評価手法を提案する。 次に、このハーネスを、報酬ハッキングを防ぐための正当性ゲートの下で、GEPAベースの迅速な最適化のためのフィットネス機能として使用する。
• 参考スコア（独自算出の注目度）: 4.389942785220895
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Evaluating conversational agents that act on live, mutable enterprise data is hard: replayed sessions drift as backend state changes, and a benchmark built today can silently go stale as the data it describes moves on. We present an offline evaluation harness for a production conversational agent that stays reproducible despite the live data it operates on changing, and that can be regenerated on demand once it goes stale. We then use this harness as the fitness function for GEPA-based prompt optimization under a correctness gate that guards against reward hacking. Applied to a production merchant-facing agent, correctness-gated compression shrinks the agent's full prompt surface by 3.5-7.6% without regressing held-out task correctness, consistently across three independent subject-model families, and for one, correctness measurably improves.
• Abstract（参考訳）: ライブでミュータブルなエンタープライズデータに作用する会話エージェントの評価は難しい – リプレイされたセッションはバックエンドの状態変化として漂流する。 動作中のライブデータに拘わらず再現可能な生産対話エージェントをオフラインで評価する手法を提案する。 次に、このハーネスを、報酬ハッキングを防ぐための正当性ゲートの下で、GEPAベースの迅速な最適化のためのフィットネス機能として使用する。 生産業者が対象とするエージェントに適用した場合、正当性限定圧縮は、3つの独立した対象モデルファミリで一貫して保持されたタスク正当性を抑えることなく、エージェントのフルプロンプト表面を3.5〜7.6%縮小する。

関連論文リスト

• SkyAgent: Revisable Target Memory for Continuous Aerial Search [16.971404284491065]
  連続的な航空探索は、疎遠で視点に依存した観測からターゲット仮説を構築する。 我々は、SkyAgentにRevisable Target Memory(RTM)を装備し、証拠を永続的候補に関連付ける。 RTMは、緊張、確認、拒絶状態を通じて各候補を改訂する。
  論文  参考訳（メタデータ） (2026-10-16T11:00:43Z)
• Self-Evolving Coding Agents via Harness-Policy Optimization [59.77935668723671]
  Self-HPOは、ハーネスとポリシー最適化を代替するコーディングエージェントのための自己改善フレームワークである。 3つのコーディングベンチマークで、Self-HPOはハーネスのみとポリシーのみのベースラインを一貫して上回っている。 Self-HPOはまた、信頼性(Pass@1)を改善し、ベースエージェント上の機能フロンティア(Pass@k)を拡張する。
  論文  参考訳（メタデータ） (2026-10-16T01:07:52Z)
• AlphaDiana: A Measurement System for Agents in Verifiable Reasoning Tasks [70.52860945958031]
  我々は、データセット、エージェント、環境、スコアラーの計測システムであるAlphaDianaを紹介する。 5つの回答ベースベンチマークで3つのオープンソースモデルと3つのオープンソースハーネスについて検討する。 ハーネスは推論の精度を常に改善しないことがわかった。
  論文  参考訳（メタデータ） (2026-10-14T14:04:48Z)
• RESETTLE: Robotic Recovery through Disagreement-Triggered Retrieval and Efficient Corrective Control [92.47481295713227]
  本稿では,凍結ロボットポリシーのアクション・エグゼクティブ・インタフェースにおいて,効率的なリカバリのためのモデルに依存しないフレームワークであるRESETTLEを紹介する。 適応されたV-JEPAエンコーダを使用して、同じタスクのデモ参照を取得する。 LIBERO-Plus、Meta-World、RoboCasaでは最大8.70%、6.28%、絶対的な成功率6.83%に達する。
  論文  参考訳（メタデータ） (2026-10-08T15:49:03Z)
• S3Gym: Can LLMs Turn Self-Testing and Self-Judging into Self-Improvement? [66.17176838165994]
  大規模言語モデル(LLM)は、ますます外部環境と相互作用し、かなりの行動経験を蓄積する。 エージェントがその振る舞いを積極的にテストし、得られた経験を判断し、その経験を使って将来の意思決定を改善することができるかどうかは不明だ。 LLM自己改善評価のための対話型ベンチマークである textbfStextsuperscript3Gym を導入する。
  論文  参考訳（メタデータ） (2026-08-31T17:05:41Z)
• FORESIGHT-9: Prospective and Process-Aware Evaluation of Adaptive Trading Agents [0.0]
  FORESIGHT-9は、9つの監査可能な対実的ストレスワールドラインから構築された、将来的でプロセス対応のベンチマークである。 共通契約は、各エージェントのネイティブ適応ループを保持しながら、観察と実行を標準化する。 我々は,36ランにわたる2つの基盤モデルバックボーンを持つ2つの適応型トレーディングエージェントフレームワークを評価した。
  論文  参考訳（メタデータ） (2026-08-29T17:12:49Z)
• TTHE: Test-Time Harness Evolution [50.26245555541721]
  既存のアプローチでは、デプロイ前、トレーニング前、あるいはテスト時に凍結される固定されたエージェントワークフローの開発データを最適化する。 我々は、エージェントがテスト入力で生成するラベルのない実行トレースのみを使用して、評価自体にハーネスを最適化できるかどうかを問う。 評価中、TTHEは候補ハーネスの人口を維持し、それらの実行トレースの理由をエージェントプロジェクタを通じてそれらを洗練する。 その後、審査員は実行元プロキシ信号から改善されたハーネスをコミットし、選択したプログラムは継続してその後の入力を統治する。
  論文  参考訳（メタデータ） (2026-07-09T05:53:39Z)
• On-Policy Self-Evolution via Failure Trajectories for Agentic Safety Alignment [54.30690671490447]
  既存の安全アライメント信号は、主に応答レベルまたは政治外である。 FATEは、検証済みの失敗を専門家のデモンストレーションなしで修復管理に変換する。 FATEは攻撃成功率を33.5%、有害なコンプライアンスを82.6%削減し、外的軌道安全診断を6.5%改善する。
  論文  参考訳（メタデータ） (2026-05-12T09:56:28Z)
• Incremental Summarization for Customer Support via Progressive Note-Taking and Agent Feedback [5.197468339763241]
  本稿では,顧客支援エージェントを対象とした漸進的な要約システムを提案する。 会話中に簡潔な弾丸音をいつ生成するかをインテリジェントに決定する。 エージェントのコンテキストスイッチングの労力を削減し、冗長性をレビューする。
  論文  参考訳（メタデータ） (2025-10-08T06:05:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。