論文の概要: SimVerity: When Does Simulated Agent Success Survive Physical Deployment?

• arxiv url: http://arxiv.org/abs/2608.25067v1
• Date: Tue, 25 Aug 2026 19:00:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-27 14:15:15.417132
• Title: SimVerity: When Does Simulated Agent Success Survive Physical Deployment?
• Title（参考訳）: SimVerity:シミュレートされたエージェントはいつ物理的デプロイを成功させるのか?
• Abstract要約: 検証-転送保証フレームワークであるSimVerityを提案する。 ターゲットとするスマートホームデプロイメントのシナリオをリプレイする。 それは、独立して資格のある身体的目撃者に対して、エージェントの実行を横切り検証する。
• 参考スコア（独自算出の注目度）: 5.081228499547384
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Simulated evaluation is widely used to benchmark AI agents, yet how much evidence a simulated pass provides about physical deployment has not been systematically quantified. We present SimVerity, a verdict-transfer assurance framework: it replays matched scenarios on target smart home deployments and cross-validates agent execution against independently qualified physical witnesses. Our evaluation highlights that deployment success is a real-world process, not a static property in simulation: completion, reported state, observable effect, and settled outcome diverged within the same execution. Although an advanced simulator cleared all 240 light trials, a camera caught 42 sub-second failures invisible to settled-state checks. False clearance was predictable: a risk profile learned from measured trials and locked before evaluation predicted failures on a path it never physically measured, beating a property-blind baseline in all eleven held-out sessions across two cohorts. Agent auditability was also measurable: switching one agent loop's model-client/serving configuration raised its scenario-matching share from 52-88% to 100%. Finally, a second qualified simulator added no independent cross-check: it never disagreed on any overlapping case, and only physical measurement exposed their shared blind spots. SimVerity turns verdict transfer into an explicit decision: clear, abstain, or escalate before deployment.
• Abstract（参考訳）: シミュレーション評価はAIエージェントのベンチマークに広く使用されているが、物理的なデプロイメントに関するシミュレーションパスがどの程度の証拠を提供するかは、体系的に定量化されていない。 対象のスマートホームデプロイメントのシナリオにマッチしたシナリオをリプレイし、独立して資格のある物理的目撃者に対してエージェントの実行をクロスバリデートする。 私たちの評価では、デプロイメントの成功は現実のプロセスであり、シミュレーションの静的な特性ではない、ということを強調しています。 高度なシミュレーターが240個のライトトライアルをクリアしたが、カメラが42個のサブ秒の故障を捉えた。 不正なクリアランスは予測可能で、測定された試験から学んだリスクプロファイルは、物理的に測定されない経路で予測された失敗を予測する前にロックされ、2つのコホートをまたいだ11回のホールトアウトセッションで、プロパティ・ブラインド・ベースラインを破った。 1つのエージェントループのモデル・クライアント/サービス構成を切り替えると、シナリオマッチングのシェアは52-88%から100%に増加した。 最後に、第2の資格を持つシミュレーターは独立したクロスチェックを追加せず、重複するケースには一切反対せず、物理的な測定だけが共有の盲点を露呈した。 SimVerityは、検証の転送を明確な決定にします。

関連論文リスト

• S3Gym: Can LLMs Turn Self-Testing and Self-Judging into Self-Improvement? [66.17176838165994]
  大規模言語モデル(LLM)は、ますます外部環境と相互作用し、かなりの行動経験を蓄積する。 エージェントがその振る舞いを積極的にテストし、得られた経験を判断し、その経験を使って将来の意思決定を改善することができるかどうかは不明だ。 LLM自己改善評価のための対話型ベンチマークである textbfStextsuperscript3Gym を導入する。
  論文  参考訳（メタデータ） (2026-08-31T17:05:41Z)
• Safety Does Not Compose: Non-Decaying Loop State for Autonomous LLM Agents [16.24087700490158]
  大規模言語モデルエージェントは、自律ループとしてますますデプロイされる。 これは実装の詳細ではなく、構成の失敗であることを示す。 LoopHarnessは、ループレベルでの永続的非遅延安全状態を復元する。
  論文  参考訳（メタデータ） (2026-08-27T13:52:31Z)
• ADeptS-Bench: Measuring the Trustworthiness of Computer Use Agents Across Devices [48.36933831982682]
  我々はADEPTS機能フレームワークを基盤とした信頼性ベンチマークであるADeptS-Benchを紹介する。 Safetyストリームは、視覚インターフェースに埋め込まれた脅威を伴うペアの良心/悪意のあるタスクを提供する。 曖昧さストリームは、意図が曖昧である場合、エージェントが明確化を求めるかどうかを評価する。
  論文  参考訳（メタデータ） (2026-08-25T23:21:57Z)
• DeepInsight II: One Trace from Benchmark to Robot [8.388561928330978]
  DeepInsight IIは、その基板を固定し、エンボディされたハーフを定量化する。 MotionBenchは、リリースされている4つのボディコントローラを1つのワークロードとメトリックコントラクトの下に配置する。 合成されたシステム2--1--0の研究は、トレースの局在を5つのエビデンスグラウンドのハンドオフラベルに拡張する。
  論文  参考訳（メタデータ） (2026-08-17T13:25:24Z)
• When Do Agent Loops Mistake Stagnation for Progress? Self-Evaluation Bias and Externally Grounded Verification in Long-Running Autonomous LLM Agent Loops [0.0]
  長期にわたる自律エージェントは、人間の介入なしに自らの完了を計画し、行動し、判断する。 エージェントが自身の仕事を格付けすると、自己評価バイアスが保たれます。 我々はエージェントとそのツール表面を固定したテストベッドを構築し、ループをゲートする評価器の情報チャネルタイプのみを操作する。
  論文  参考訳（メタデータ） (2026-07-27T23:52:15Z)
• Self-Authored Verification Is Unreliable in Heuristic Self-Improving Agents [5.91817208489443]
  検証・受け入れ・デプロイのギャップについて検討する。 このギャップは、エージェントの自己承認された検証信号と封印されたデプロイメント評価との相違を指す。 シーリング型外因性受容ループ(SEAL)について紹介する。
  論文  参考訳（メタデータ） (2026-07-27T11:45:14Z)
• PhyAgentOS: A Self-Evolving Operating System for Embodied Agents with Decoupled Cognitive Planning and Physical Execution [49.776611937968]
  我々は、スケジューリング、検証、メモリ、ベンチマーク、安全性をシステムレベルのサービスとして提供するPhyAgentOSを紹介します。 セッション中心のセッションは、スケジューリング、互換性、監督された実行、エビデンス収集、受け入れの最小単位として、アクションではなくセッションを扱う。 SessionVerifierは、実行終了とセマンティックタスク完了を、成功、失敗、または再計画のエビデンスに基づいて判断する。 ベンチマークはデプロイメントセッションと検証パスを再利用するので、結果は実際の実行に遡る。
  論文  参考訳（メタデータ） (2026-07-18T04:46:53Z)
• Validate the Dream Before You Trust Its Verdict: Admissibility for World-Model Simulators [2.299872239734834]
  宣誓供述書として使用される世界モデル(WM)は、その判決が証拠として機能する前に最初に認定されなければならないと我々は主張する。 我々のフレームワークは具体化に依存しず、自律運転でインスタンス化されている。
  論文  参考訳（メタデータ） (2026-07-08T09:30:31Z)
• ClawForge: Generating Executable Interactive Benchmarks for Command-Line Agents [59.626170560327274]
  textbfClawForgeは、ステートコンフリクト下で実行可能なコマンドラインカテゴリのためのジェネレータベースのベンチマークフレームワークである。 私たちはこのフレームワークをClawForge-Bench(17のシナリオ、6の能力カテゴリ)としてインスタンス化します。
  論文  参考訳（メタデータ） (2026-05-13T21:34:08Z)
• RealUserSim: Bridging the Reality Gap in Agent Benchmarking via Grounded User Simulation [43.758401022409465]
  RealUserSimは、実際の行動データに基づく最初のユーザーシミュレーションフレームワークである。 14,000以上の人間とLLMの会話(WildChat)から、7,275の行動プロファイルを抽出する。 71以上のドメインをまたいだ600の会話に対する信頼度ベンチマーク(PT3)は、基底シミュレーションが一致率を24.2%から45.3%に引き上げていることを示している。
  論文  参考訳（メタデータ） (2026-04-07T19:42:36Z)
• Detecting Object Tracking Failure via Sequential Hypothesis Testing [80.7891291021747]
  ビデオにおけるリアルタイムのオンラインオブジェクト追跡は、コンピュータビジョンにおける中核的なタスクである。 本稿では,物体追跡を逐次的仮説テストとして解釈することを提案する。 本研究では,地中追跡情報と内部追跡情報の両方を活用することにより,教師なしと教師なしの両方の変種を提案する。
  論文  参考訳（メタデータ） (2026-02-13T14:57:15Z)
• Can We Predict Before Executing Machine Learning Agents? [74.39460101251792]
  データ中心のソリューション優先のタスクを形式化し、18,438対比較の包括的コーパスを構築する。 検証データ解析レポートを作成した場合, LLM は重要な予測能力を示すことを示す。 このフレームワークをForEAGENT(Predict-then-Verifyループを利用するエージェント)でインスタンス化し、実行ベースラインを+6%超えながらコンバージェンスを6倍高速化する。
  論文  参考訳（メタデータ） (2026-01-09T16:44:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。