論文の概要: RoboBugBench: Benchmarking Automated Repair of Real Robot Software Under an Audited Behavioral Oracle
- arxiv url: http://arxiv.org/abs/2610.16369v1
- Date: Mon, 12 Oct 2026 08:20:13 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-19 06:13:41.663444
- Title: RoboBugBench: Benchmarking Automated Repair of Real Robot Software Under an Audited Behavioral Oracle
- Title（参考訳）: RoboBugBench: 監査された行動Oracleの下でのリアルロボットソフトウェアの自動修復のベンチマーク
- Abstract要約: 言語エージェントはロボットソフトウェアをますます修正するが、修復できるかどうかは不明だ。
我々はRoboBugBenchについて紹介する。RoboBugBenchは、ROS 2ナビゲーションスタックの実際の33の欠陥のベンチマークである。
3つのフロンティアモデル(各インスタンスごとに1回の試行で24.2%-36.4%)が修理され、対差は有意である。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Language agents increasingly modify robot software, but whether they can repair it is unmeasured, because the domain supplies no oracle to inherit: a robot bug manifests as behavior, and robot repositories ship almost no tests that capture it. We present RoboBugBench, a benchmark of 33 real, execution-validated defects in a pinned ROS 2 navigation stack, in which a candidate patch is graded by compiling it and driving the robot through a physics simulation rather than by running a unit test. Three frontier models, each given 1 attempt per instance, repair 24.2%-36.4%, with no pairwise difference significant; difficulty tracks the oracle rather than the domain, at 66.7% on instances graded by process survival against 22.2% on those graded by what the robot did (instance-level p = 0.0027). Because the oracle is constructed rather than inherited we audit it adversarially, and report the decomposition that audit yields: counterfeit patches which suppress a failure without repairing the defect are accepted by the shipped rule 11/11, while a distributional rule over the same data rejects 4 at no cost in false rejects. The residual is an observability bound (what the observation channel discards, no predicate over it can recover), so discrimination must be bought with instrumentation rather than stricter criteria, and our repair rates are bounds: inflated by what the oracle cannot distinguish, deflated by unanimity's rejection of correct fixes under run-to-run noise. We release the corpus, criterion batteries, counterfeit suite and cached telemetry.
- Abstract（参考訳）: 言語エージェントはロボットソフトウェアをますます修正するが、修復できるかどうかは不明だ。それは、ドメインが継承する神託を供給しないからだ。ロボットのバグが振る舞いとして現れ、ロボットリポジトリがそれをキャプチャするテストはほとんどない。
本稿では,RoboBugBenchを提案する。RoboBugBenchは,ピン付きROS2ナビゲーションスタックにおける33の実際の実行検証欠陥のベンチマークであり,コンパイルし,物理シミュレーションによってロボットを駆動することにより,そのパッチをグレードする。
3つのフロンティアモデルは、各インスタンスごとに1回の試行で24.2%-36.4%の修理を行うが、両面での差はない。難易度はドメインではなくオラクルを66.7%、プロセスの生存率で22.2%、ロボットで行った場合は0.0027)。
欠陥を修復することなく故障を抑える偽造パッチを出荷された規則11/11で受理し、同一データ上の分布規則は、偽拒絶のコストを伴わずに4を拒絶する。
残差は可観測性バウンダリ(観測チャネルは破棄され、予測は回復できない)なので、厳密な基準ではなく、計器で差別を買わなければならず、我々の修理率はバウンダリである。
我々は、コーパス、クレーターバッテリー、偽造スイート、キャッシュされたテレメトリをリリースする。
関連論文リスト
- When Agent Evaluation Becomes Unreliable: An Empirical Study of Oracle Failures and Configuration-Dependent Measurement in an LLM Agent Benchmark [7.717546214164674]
エージェント評価ハーネスは、テストスイートを実行し、入力を生成し、テストオラクルで結果を決定するソフトウェアシステムである。
本稿では、テーブルが明らかにできない信頼性欠陥に対して、そのようなソフトウェアを監査する。
論文 参考訳（メタデータ） (2026-10-12T02:11:43Z) - The Harness as the Only Mutable Surface: Compliance-Bounded Self-Evolution of LLM Agents in Credit Pipelines, with a Measured Admission Gate [0.0]
自己改善型LLMエージェントは、クレジットパイプラインを変更ルールに適合させることができるが、書き換えるエージェントは、管理者レビューの成果物を破壊する。
自己進化は、ハーネスに限られている場合のみ、レビュー可能であると我々は主張する。
このバウンダリ上に構築されたデュアルループエンジンに,デプロイメント前にハッシュチェーンレコードを記述した入力ゲートをひとつ用意しています。
論文 参考訳（メタデータ） (2026-10-07T12:33:48Z) - Watermarking: from Impossibility to Auditable Compliance [78.87513208320995]
EU人工知能法第50条(2)は、合成出力を機械可読かつ検出可能にするために、生成システムの提供者を要求する。
自由形式のテキストにとって、重要な実装の1つは、生成的な透かし処理の実装である。
本稿は、強い透かしに代わる聴覚的な代替品を開発する。
論文 参考訳（メタデータ） (2026-10-05T13:32:41Z) - Robot World Models Are Not Invariant to How the Actions Are Written [0.0]
一方のパラメータ化で訓練された潜在力学モデルを示し、他方の崩壊で書かれた同一の指令軌道を手渡した。
Retrievalは3つのロボットデータセットと2つの形態の2.6-13.4xで分解される。
PushTでは、平均化だけで軸を修復しない。
論文 参考訳（メタデータ） (2026-09-19T23:41:03Z) - IBIB: A Protocol for Measuring Enterprise AI Systems by Serving Route, Not Model Identifier [0.0]
監査された18のベンチマークはすべて、広告付きモデルの識別子をスコア付けする。
ゴールドブラインド機能バインディングプレフライトは、どのタスクが到達する前に、ルートが評価契約を実行可能であることを確認する。
信頼性非包括的なファーストパススコアリングルールは、有効性を保ちながらスコアの失敗を維持する。
論文 参考訳（メタデータ） (2026-09-09T17:31:29Z) - Independent Patch Verification for Coding Agents with a Bidirectional Reconstruct-and-Verify Framework [49.16055123488827]
大規模言語モデルを利用したコーディングエージェントは、バグレポートから直接コードパッチを生成することができる。
報告された問題を真に解決するかどうかを独立に検証するメカニズムは存在しない。
本稿では,RETRACE をトレーニング不要なポストジェネレーション検証フレームワークとして提案する。
論文 参考訳（メタデータ） (2026-08-09T22:59:13Z) - You Don't Need To Stay in The Loop: An Agentic Robotics Loop for Robot-Policy Improvement [12.935789703376718]
AgenticRoboticsはバックエンドに依存しないコントロールプレーンで、使い捨て労働者を耐久性のある列車で駆動する。
ゲートは偽のプロモーション制御(1ランあたり0.001が強化され0.005--0.021が出荷された)、任意の停止中の任意の有能な決定、キルインジェクションによる損失または重複効果のゼロ、および署名された検証器によって捕獲された6つのアーティファクト・タンパリング・クラスのうち6つを購入する。
論文 参考訳（メタデータ） (2026-08-02T03:28:18Z) - Catching One in Five: LLM-as-Judge Blind Spots in Production Multi-Turn Transaction Agents [45.148328075418156]
デプロイされた多ターン食品・飲料注文エージェントについて検討し,実際の品質問題の数を測定した。
私たちの盲点分類は、失敗はランダムではなく構造化されていることを示している。
プロダクションマルチターンエージェントでは、自動判断はリグレッションフロアであり、人間のレビューの代わりにはならない。
論文 参考訳（メタデータ） (2026-06-09T02:11:01Z) - VIBEPASS: Can Vibe Coders Really Pass the Vibe Check? [46.85901599242161]
emphFault-Triggering Test Generation(FT-Test)とemphFault-targeted Program repair(FPR)の2つの組み合わせタスクを評価した。
故障対象推論は一般的な符号化能力ではスケールしないことがわかった。
自己生成テストが障害の発見に成功すると、結果として得られた修復結果が外部から提供されたテストによってガイドされた修復と一致したり、性能が低下する。
論文 参考訳（メタデータ） (2026-03-16T21:14:28Z) - Guardian: Detecting Robotic Planning and Execution Errors with Vision-Language Models [53.20969621498248]
本稿では,多種多様な計画および実行障害を生成するために,軌道を手続き的に乱す自動ロボット故障合成手法を提案する。
RLBench-Fail, BridgeDataV2-Fail, UR5-Failの3つの新しい故障検出ベンチマークを構築した。
次に、詳細な障害推論と検出のためのマルチビューイメージを備えたVLMであるGuardianをトレーニングします。
論文 参考訳（メタデータ） (2025-12-01T17:57:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。