論文の概要: BTS-AgentBench: A Deterministic, Replayable Pipeline from Read-Only Telemetry Logs to Agent Benchmarks
- arxiv url: http://arxiv.org/abs/2608.27334v1
- Date: Thu, 27 Aug 2026 16:35:52 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-28 16:30:58.492245
- Title: BTS-AgentBench: A Deterministic, Replayable Pipeline from Read-Only Telemetry Logs to Agent Benchmarks
- Title（参考訳）: BTS-AgentBench: 読み取り専用テレメトリログからエージェントベンチマークへの決定論的で再生可能なパイプライン
- Abstract要約: 本稿では,BTS-AgentBenchをインスタンス化したテレメトリ・ツー・エポソードの構成法を提案する。
パイプラインはBTSメタデータと生の履歴を読み取り専用ツールストアに正規化する。
ツール由来のゴールドの回答とエビデンスで静的なタスクをコンパイルし、保持されたタスクを型付き演算子対応のエピソードにリフトする。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Industrial sites contain large volumes of read-only telemetry, but few benchmarks specify how to compile these records into executable multi-turn agent tasks. We present a telemetry-to-episode construction method instantiated as BTS-AgentBench. The pipeline normalizes BTS metadata and raw histories into a read-only tool store, compiles static tasks with tool-derived gold answers and evidence, and lifts retained tasks into typed, bounded operator-facing episodes. The 532-row release adds clarification, goal revision, timestamp policy, quality-gated reporting, and evidence attribution while preserving the source computation and split. Coded contract preflight reports zero findings, and the construction-exclusion controller completes 0/532 rows. Two independent raw-to-episode builds match all 11 logical tool-store exports and reproduce the released 356/87/89 train/dev/test artifact exactly. Applying the shared construction path to XAI4HEAT produces 204 episodes; on its 41-row held-out test split, the controller completes 0 rows and the retained GPT-5.5 execution completes all 41. Code, artifacts, and replay reports are available at https://github.com/kjy7567/BTS-AgentBench.
- Abstract（参考訳）: 産業現場には大量の読み取り専用テレメトリが含まれているが、これらのレコードを実行可能なマルチターンエージェントタスクにコンパイルする方法を示すベンチマークはほとんどない。
本稿では,BTS-AgentBenchをインスタンス化したテレメトリ・ツー・エポソードの構成法を提案する。
パイプラインは、BTSメタデータと生の履歴を読み取り専用ツールストアに正規化し、ツール由来のゴールド回答とエビデンスで静的タスクをコンパイルし、保持されたタスクを型付き演算子対応のエピソードにリフトする。
532-rowリリースでは、ソースの計算と分割を保存しながら、明確化、ゴール修正、タイムスタンプポリシー、品質保証レポート、エビデンス属性が追加されている。
Coded Contract Preflightは結果をゼロに報告し、構成除外コントローラは0/532行を完了する。
2つの独立した生から生までのビルドは、11の論理ツールストアのエクスポートすべてと一致し、リリースされた356/87/89トレイン/dev/testアーティファクトを正確に再現する。
XAI4HEATに共有された構成パスを適用すると、204エピソードが生成される。41行のホールドアウトテスト分割では、コントローラは0行を完了し、保持されたGPT-5.5の実行は41行すべて完了する。
コード、アーティファクト、リプレイレポートはhttps://github.com/kjy7567/BTS-AgentBench.comで入手できる。
関連論文リスト
- Joint Optimization of Tool Creation and Use for Large Language Model Agents [69.07066297088187]
SMITH (-grounded Multi-task Iterative Tool Honing) は、単一のポリシー内でツールの作成とツールの使用を訓練する。
SMITHで訓練された4B Qwen3は、正確に検証された13の手続き的推論タスクで、保持されたタスクで平均79.8のマクロ平均精度に達する。
また、TabMWP-Hardでは40.4、ドメイン外のGQAでは42.6に到達している。
論文 参考訳（メタデータ） (2026-08-25T13:59:34Z) - Agent-Native Telemetry: Verifiable State-Delta Evidence for Autonomous Operations [2.124730017640531]
本稿では,自律型機械の動作証拠アーキテクチャであるエージェントネイティブテレメトリを紹介する。
本稿では,エージェントテレメトリプロトコル(ATP)とState-Delta Evidence Ledgerを紹介する。
論文 参考訳（メタデータ） (2026-08-17T06:50:12Z) - LoopsBench: From Harness Engineering to Loop Engineering in Benchmarking Coding Agent [60.27239351179265]
LOOPSBENCHは、符号化エージェント評価におけるループエンジニアリングのベンチマークである。
8つのプログラミング言語と9つのドメインにまたがる、本物のソースからの112のタスクで構成されている。
フロー対応ランタイムは、準備されたフロンティアに沿ってテストをリリースし、レグレッション義務として完了したノードを保持します。
論文 参考訳（メタデータ） (2026-07-31T20:18:25Z) - ReProAgent: Tool-Augmented Multi-Stage Agentic Generation of Bug Reproduction Tests from Issue Reports [27.433981940933688]
ReProAgentはイシューレポートから再生テストを生成するフレームワークである。
タスクを、バグローカライゼーション、ルート原因分析、テスト計画、テスト生成の4つのエージェントステージに分解する。
SWT-bench-liteとSWT-bench-verifiedの実験により、ReProAgentは58.43%と70.30%の問題を再現した。
論文 参考訳（メタデータ） (2026-07-10T06:25:18Z) - RuBench: A Repository-Level Agentic Coding Benchmark with Natively Authored Russian Task Specifications [0.0]
RuBench 1.0は、5つのライブオープンソースリポジトリの最近の修正コミットから抽出された25のタスクのベンチマークである。
各タスクはロシア語で指定され、スクラッチから実際の顧客要求のスタイルで書かれ、翻訳されない。
25の修正コミットはすべて、評価されたモデル毎のトレーニングデータのカットオフを延期する。
論文 参考訳（メタデータ） (2026-07-07T15:41:22Z) - VeriEvol: Scaling Multimodal Mathematical Reasoning via Verifiable Evol-Instruct [71.22358682581215]
ビジュアルな数学的推論のための強化学習のスケーリングは、難しい質問を生成すること以上のものを必要とします。
これは2つのコンポーネントからなる反復的なフレームワークであるVeriEvolとしてインスタンス化します。
5ベンチマークのビジュアル・マス・スイートでは、10Kから250KサンプルまでのSFTデータのスケーリングが平均精度を35.42から54.73に引き上げている。
論文 参考訳（メタデータ） (2026-06-22T16:17:30Z) - SCDBench: A Benchmark for LLM-Based Smart Contract Decompilers [55.39407031861402]
本稿では,スマートコントラクトデコンパイルのためのデータセットとベンチマーク手法であるSCDBenchを紹介する。
データセットには600の現実のSolidityコントラクトと、ペア化されたバイトコード入力、地味なソースコード、再生可能なセマンティックチェックポイントが含まれている。
我々は,GLM-5の変種を含むゼロショット逆コンパイル設定において,Claude Opus 4.7,GPT-5.3-Codex,GLM-5を評価した。
論文 参考訳（メタデータ） (2026-05-27T20:08:47Z) - Tool Forge: A Validation-Carrying Toolchain for Governed Agentic Execution [3.2702644625831794]
本稿では,自然言語能力の意図をサンドボックスで検証されたツールアーティファクトに変換する検証用ツールチェーンであるTool Forgeを紹介する。
また、モデルコンテキストに完全なカタログスキーマをロードする代わりに、インテントスコープツールセッションを公開するルータも導入されている。
論文 参考訳（メタデータ） (2026-05-27T05:45:58Z) - WildClawBench: A Benchmark for Real-World, Long-Horizon Agent Evaluation [88.10947115397971]
この研究でWildClawBenchは、6つのテーマのカテゴリにまたがる60の人間によるバイリンガルなマルチモーダルタスクのネイティブランタイムベンチマークである。
各タスクは、約8分間のウォールクロック時間と20以上のツールコールで実行されます。
グラディングはハイブリッドであり、決定論的ルールベースのチェック、副作用の環境状態監査、意味的検証のためのLLM/VLM判定を組み合わせている。
論文 参考訳（メタデータ） (2026-05-11T17:49:43Z) - An Executable Benchmarking Suite for Tool-Using Agents [3.5322131912413908]
このスイートは、WebArena Verified、SWE-GymスライスとSWE-bench互換の検証、および一般的なワークロードアダプタを介してMiniWoB++を接続する。
承認されたエビデンスには、レイテンシ、無効動作、パッチ生成コスト、検証済みメタデータ、リプレイバインディング、そして1つの監査可能な契約下での証明が記録されている。
論文 参考訳（メタデータ） (2026-05-10T21:24:53Z) - DeepAgent: A General Reasoning Agent with Scalable Toolsets [111.6384541877723]
DeepAgentは、自律的な思考、ツール発見、アクション実行を実行するエンドツーエンドのディープ推論エージェントである。
長期にわたる相互作用の課題に対処するために,過去の相互作用を構造化エピソード,動作,ツール記憶に圧縮する自律的メモリ折り畳み機構を導入する。
LLMシミュレートされたAPIを活用し、ツール呼び出しトークンにきめ細かいクレジットを割り当てるツールコールアドバンテージ属性を適用した、エンドツーエンドの強化学習戦略であるToolPOを開発した。
論文 参考訳（メタデータ） (2025-10-24T16:24:01Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。