論文の概要: Policy as Code: A Coroutine-Bridge Harness for Fast-Reasoning Reliability on CAR-bench

• arxiv url: http://arxiv.org/abs/2609.29251v1
• Date: Thu, 24 Sep 2026 08:55:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-25 21:10:09.800344
• Title: Policy as Code: A Coroutine-Bridge Harness for Fast-Reasoning Reliability on CAR-bench
• Title（参考訳）: コードとしてのポリシー:CARベンチにおける高速応答信頼性のためのコルーチンブリッジのハーネス
• Abstract要約: CAR-benchは、ツール使用エージェントが現実の不確実性の下で信頼性を維持しているかどうかを評価する。 モデルの唯一のアクションは、評価ツール交換所間で再開されるPythonプログラムを出力することである。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: CAR-bench evaluates whether tool-using agents stay reliable under real-world uncertainty, executing every tool inside the evaluator so that each tool-result exchange is a separate agent round-trip. A conventional next-action agent can batch parallel tool calls, but a chain of dependent calls costs it one model call per round of results. We present a coroutine-bridge harness in which the model's only action is to emit a Python program that blocks and resumes in place across evaluator tool exchanges. This decouples model invocation from tool round-trips: on the public test split the agent uses a median of two model calls against seven agent turns per task, resolving a full multi-turn task in a median of 1.8 s of model latency on Cerebras gpt-oss-120b. Because the action surface is executable code, deterministic CAR-bench policies are encoded directly as logic in the tool layer rather than as prompt rules, enforcing compliance at zero reasoning cost. On the official hidden evaluation the harness won Track 2 with 60.0% Pass^3, 4.5x the organizer baseline, at the lowest estimated cost and the fastest median task latency (3.14 s) of any entry scoring above that baseline; the same unchanged harness reproduced an identical 60.0% Pass^3 on GPT-5.5 in the Open track, matching frontier-model agents. A single static prompt, appended with per-task state at the tail, stays byte-identical across calls and across tasks: the frozen submission prompt served 78% of input tokens from cache (86.6% across its warm tail), against 73% over a three-week development corpus in which prompt edits repeatedly reset the cache. This compounds the few-call design into a small fraction of nominal input compute.
• Abstract（参考訳）: CAR-benchは、ツール使用エージェントが現実の不確実性の下で信頼性を維持しているかどうかを評価し、評価器内のすべてのツールを実行し、各ツール再送交換が別々のエージェントラウンドトリップであるようにする。 従来のnext-actionエージェントは並列ツールコールをバッチ化できますが、依存する呼び出しの連鎖は、結果のラウンド毎に1つのモデルコールを発生させます。 モデルの唯一のアクションは、評価ツール交換をブロックし、再開するPythonプログラムを出力することである。 公開テストの分割では、エージェントはタスク毎に7つのエージェントターンに対して2つのモデルコールの中央値を使用し、Cerebras gpt-oss-120bで1.8秒のモデルレイテンシの中央値で完全なマルチターンタスクを解決します。 アクションサーフェスは実行可能なコードであるため、決定論的CAR-benchポリシーは、プロンプトルールではなく、ツール層内のロジックとして直接エンコードされる。 公式の隠し評価では、ハーネスは60.0%のパス^3、4.5倍のオーケストレータベースラインでトラック2に勝利し、最安値で、ベースライン上のどのエントリースコアでも最短の中央値のタスク遅延(3.14秒)を達成し、同じハーネスはオープントラックのGPT-5.5で同じ60.0%のパス^3を再現し、フロンティアモデルエージェントと一致させた。 凍ったプロンプトはキャッシュから入力トークンの78%(温かい尾から86.6%)を提供し、3週間の開発コーパスでは73%が再設定された。 これは、少数コール設計を名目入力計算のごく一部に合成する。

関連論文リスト

• AgentAudit: An Open, Extensible Framework for Full-Lifecycle Trust Evaluation of AI Agents [2.8000808592516293]
  AgentAuditは10の能力、グラウンド、セキュリティ、振る舞いの次元にわたって、実行トレース全体を評価する。 記録された実行トレースのみを読み出し、エージェントの実行方法に干渉しない。 我々は,9つの言語モデル(OpenAI GPT-5, Claude Sonnet 5, Sarvam 105B, Llama 3.3 70B, Gemini 2.5 Flash)を,9つの能力と対向タスクで評価した。
  論文  参考訳（メタデータ） (2026-09-09T08:29:16Z)
• Codebook Agent: Amortized Topology Design for LLM Multi-Agent Systems [67.04448659688579]
  クエリ非依存の16エントリのコードブックを開発し、上位のデコード候補を1回のバッチフォワードパスでランク付けする。 反復検索がなく、テスト時にメッセージパッシングがないため、Codebook Agentは6つのベンチマークでもっとも正確な方法である。
  論文  参考訳（メタデータ） (2026-09-02T08:10:22Z)
• Joint Optimization of Tool Creation and Use for Large Language Model Agents [69.07066297088187]
  SMITH (-grounded Multi-task Iterative Tool Honing) は、単一のポリシー内でツールの作成とツールの使用を訓練する。 SMITHで訓練された4B Qwen3は、正確に検証された13の手続き的推論タスクで、保持されたタスクで平均79.8のマクロ平均精度に達する。 また、TabMWP-Hardでは40.4、ドメイン外のGQAでは42.6に到達している。
  論文  参考訳（メタデータ） (2026-08-25T13:59:34Z)
• Test-time reasoning effort and unauthorized tool use in language-model agents: a prespecified equivalence study [1.6787220460106658]
  ツールコールを通じて実行される言語モデルエージェントは、各ロールが実行する操作を制限するアクセス制御ポリシーの下で動作します。 TRIO-20の14の確認シナリオにおいて, GPT-5.6内の推論の努力(低, 最大)が異なる。 840の軌道と2つのモデル層にまたがって、認可されていないツールコールは発生しなかった。
  論文  参考訳（メタデータ） (2026-08-04T06:01:14Z)
• Function-Aware Fill-in-the-Middle as Mid-Training for Coding Agent Foundation Models [49.259951930558]
  コーディングエージェントは、継続的な推論に外部ツールリターンを統合する必要がある。 我々は,中等教育における機能意識の充足を通じてこれを活用する。
  論文  参考訳（メタデータ） (2026-07-14T07:44:26Z)
• TensorBench: Benchmarking Coding Agents on a Compiler-Based Tensor Framework [0.9012337166501982]
  CohenBenchはオープンソースのコンパイラベースのフレームワーク上のタスクのベンチマークである。 エージェントのパッチを適用して、フレームワークのテストスイートを実行することで、各実行をグレードする。 3つのフロンティアモデルファミリーと1つのオープンウェイトモデルにまたがる7つの符号化エージェントを評価した。
  論文  参考訳（メタデータ） (2026-06-04T01:42:40Z)
• WildClawBench: A Benchmark for Real-World, Long-Horizon Agent Evaluation [88.10947115397971]
  この研究でWildClawBenchは、6つのテーマのカテゴリにまたがる60の人間によるバイリンガルなマルチモーダルタスクのネイティブランタイムベンチマークである。 各タスクは、約8分間のウォールクロック時間と20以上のツールコールで実行されます。 グラディングはハイブリッドであり、決定論的ルールベースのチェック、副作用の環境状態監査、意味的検証のためのLLM/VLM判定を組み合わせている。
  論文  参考訳（メタデータ） (2026-05-11T17:49:43Z)
• RubricRefine: Improving Tool-Use Agent Reliability with Training-Free Pre-Execution Refinement [0.36165327398913766]
  反復自己複製は、推論時の信頼性技術として人気がある。 しかし、コードモードツールの使用効率はフィードバック信号の構造に大きく依存する。 本稿では,事前実行型セマンティックコントラクト検証のためのトレーニング不要な手法Refineを紹介する。
  論文  参考訳（メタデータ） (2026-05-10T19:57:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。