論文の概要: TraceLab: Characterizing Coding Agent Workloads for LLM Serving

• arxiv url: http://arxiv.org/abs/2606.30560v2
• Date: Tue, 30 Jun 2026 15:39:15 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-01 13:50:27.736766
• Title: TraceLab: Characterizing Coding Agent Workloads for LLM Serving
• Title（参考訳）: TraceLab: LLMサービングのためのコーディングエージェントワークロードの特徴付け
• Abstract要約: 約4300のコーディングエージェントセッションのトレースをリリースし、約35万のLDMステップと43万のツールコールを含む。 我々の分析によると、コーディングエージェントのワークロードは、長い自律ループ、短いアウトプットを持つ長いコンテキスト、多種多様で複雑なツールコール、高いが不完全なプレフィックスキャッシュヒット率を特徴としている。 これらの結果は,低オーバーヘッドツールコール,付加長対応プリフィル,セマンティック対応ツールレイテンシ予測,人体接触ギャップ周辺のKV-cache管理の改善など,サービス提供を最適化する具体的な機会を示唆している。
• 参考スコア（独自算出の注目度）: 16.402747744601612
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Coding agents are rapidly becoming a major application of agentic LLMs, but serving them efficiently remains challenging. Progress on this challenge requires understanding real workload patterns, yet the data needed for such analysis is largely absent. Existing public traces and benchmarks do not capture real, day-to-day coding-agent usage across multiple agents and model families for serving-system analysis. To help fill this gap, we collect and release a trace of roughly 4,300 coding-agent sessions, containing about 350,000 LLM steps and 430,000 tool calls from our own day-to-day use of Claude Code and Codex. Our analysis shows that coding-agent workloads feature long autonomous loops, long contexts with short outputs, diverse and heavily-tailed tool calls, and high but imperfect prefix cache hit rates. These findings point to concrete opportunities for optimizing serving, including lower-overhead tool calling, append-length-aware prefill, semantic-aware tool-latency prediction, and improved KV-cache management around human-paced gaps. We release the dataset, trace collection pipeline, and analysis code at https://github.com/uw-syfi/TraceLab.git the project website is https://tracelab.cs.washington.edu.
• Abstract（参考訳）: コーディングエージェントは、急速にエージェントLLMの主要な用途になりつつあるが、それらを効率的に提供することは依然として困難である。 この課題の進展には、実際のワークロードパターンを理解する必要があるが、そのような分析に必要なデータはほとんどない。 既存の公開トレースとベンチマークは、複数のエージェントやモデルファミリにまたがるリアルタイムのコーディングエージェントの使用を捉えていない。 このギャップを埋めるために、約4300のコーディングエージェントセッションのトレースを収集、リリースしました。その中には、Claude CodeとCodexの日々の使用から約35万のLCMステップと43万のツールコールが含まれています。 我々の分析によると、コーディングエージェントのワークロードは、長い自律ループ、短いアウトプットを持つ長いコンテキスト、多種多様で複雑なツールコール、高いが不完全なプレフィックスキャッシュヒット率を特徴としている。 これらの結果は,低オーバーヘッドツールコール,付加長対応プリフィル,セマンティック対応ツールレイテンシ予測,人体接触ギャップ周辺のKV-cache管理の改善など,サービス提供を最適化する具体的な機会を示唆している。 私たちはデータセット、トレースコレクションパイプライン、分析コードをhttps://github.com/uw-syfi/TraceLab.gitでリリースしました。

関連論文リスト

• Agentic Coding in the Wild: Characterizing GitHub Copilot Traces at Production Scale [6.287658270510339]
  GitHub Copilot、Claude Code、CodexといったAIコーディングエージェントは、ツール実行によるマルチステップLLM推論をインターリーブする。 私たちは2026年6月のGitHub Copilotトレースをサンプルとして,このワークロードを初めて実運用規模で評価した。
  論文  参考訳（メタデータ） (2026-07-30T20:51:51Z)
• Towards LLM Accelerated Rapid Reviews for Software Tool Discovery -- Case for Log Anomaly Detection [46.43844768475097]
  提案するパイプラインは,LLMスクリーニングと関連する研究を識別し,それらに提示されたツールを抽出し,LLMベースの符号化エージェントで実行する。 このアプローチにはおよそ4時間の人的作業が必要で、うち3時間は手動でPDFをダウンロードし、12時間 LLM の実行時間が必要でした。 実践者が構築したツールは学術論文を欠くことが多いため、将来的にはGitHubやPyPIといったツールホスティングプラットフォームに分析を拡張することを目指しています。
  論文  参考訳（メタデータ） (2026-06-15T15:17:52Z)
• Can LLM Coding Agents Reason About Time Series? [0.19116784879310025]
  コードアクセスを持つエージェントは、生データを処理するモデルを最大10%向上させることができることを示す。 最高のパフォーマンスエージェントでさえ、質問の約22～34%が正しく答えていない。 我々の分析によると、コーディングエージェントは適切な統計検査を選択できるが、重要なニュアンスを見逃すことがしばしばある。
  論文  参考訳（メタデータ） (2026-06-15T10:49:28Z)
• GTA: Generating Long-Horizon Tasks for Web Agents at Scale [82.43869456830664]
  我々は、クローリング、検索ベースのシード、コンテキスト内生成、自動品質管理を統合したスケーラブルなフレームワーク、GTAを導入する。 eコマース、政府、フォーラム、ニュースをカバーする50以上のウェブサイトでパイプラインをインスタンス化し、マルチリンガルとマルチホップをカバーしています。 i) マルチホップWebエージェントタスク生成の形式化、(ii) 自動データ生成のための効率的で検証されたパイプラインの提案、(iii) 再現可能な評価を伴う動的ベンチマークのリリースである。
  論文  参考訳（メタデータ） (2026-05-28T01:05:50Z)
• MatClaw: An Autonomous Code-First LLM Agent for End-to-End Materials Exploration [0.0]
  我々は、Pythonを直接書き、実行するためのコードファーストエージェントであるMatchClawを提示する。 MatClawはコード生成を確実に扱うが、暗黙のドメイン知識に苦慮している。 その結果、ガイド付きと完全に自律的な計算材料研究のギャップはこれまで以上に狭くなっていることが明らかとなった。
  論文  参考訳（メタデータ） (2026-04-03T03:32:15Z)
• TL-Training: A Task-Feature-Based Framework for Training Large Language Models in Tool Use [72.32614703504122]
  大規模言語モデル(LLM)は、環境と対話するツールを活用することで、目覚ましい進歩を遂げる。 大規模なデータセットに依存する標準教師付き微調整アプローチでは、ツール使用時のタスク固有の特性を見落としていることが多い。 本稿では,最適下トレーニングデータの効果を緩和するタスク機能ベースのフレームワークであるTL-Trainingを提案する。
  論文  参考訳（メタデータ） (2024-12-20T02:21:36Z)
• Small Agent Can Also Rock! Empowering Small Language Models as Hallucination Detector [114.88975874411142]
  幻覚検出は大規模言語モデル(LLM)にとって難しい課題である 本稿では,HluAgentと呼ばれる自律型LLMエージェントフレームワークを提案する。 HaluAgentでは、LLM、多機能ツールボックスを統合し、きめ細かい3段階検出フレームワークを設計する。
  論文  参考訳（メタデータ） (2024-06-17T07:30:05Z)
• AvaTaR: Optimizing LLM Agents for Tool Usage via Contrastive Reasoning [93.96463520716759]
  大規模言語モデル(LLM)エージェントは、精度と幻覚を高めるために外部ツールと知識を活用する際、印象的な能力を示した。 本稿では、LLMエージェントを最適化して提供されたツールを効果的に活用し、与えられたタスクのパフォーマンスを向上させる新しい自動化フレームワークであるAvaTaRを紹介する。
  論文  参考訳（メタデータ） (2024-06-17T04:20:02Z)
• Get my drift? Catching LLM Task Drift with Activation Deltas [55.75645403965326]
  タスクドリフトは攻撃者がデータを流出させたり、LLMの出力に影響を与えたりすることを可能にする。 そこで, 簡易線形分類器は, 分布外テストセット上で, ほぼ完全なLOC AUCでドリフトを検出することができることを示す。 このアプローチは、プロンプトインジェクション、ジェイルブレイク、悪意のある指示など、目に見えないタスクドメインに対して驚くほどうまく一般化する。
  論文  参考訳（メタデータ） (2024-06-02T16:53:21Z)
• Efficient Tool Use with Chain-of-Abstraction Reasoning [63.08202389132155]
  大規模言語モデル(LLM)は、現実世界の知識に対する推論の基礎となる必要がある。 マルチステップ推論問題におけるツールの実行には,微調整LDMエージェントの課題が残されている。 マルチステップ推論におけるツールの活用方法として, LLM の新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-01-30T21:53:30Z)
• MLAgentBench: Evaluating Language Agents on Machine Learning Experimentation [96.71370747681078]
  我々は,CIFAR-10におけるモデル性能の改善から,BabyLMのような最近の研究課題まで,13のタスクからなるMLAgentBenchを紹介した。 各タスクに対して、エージェントはファイルの読み書き、コードの実行、出力の検査などのアクションを実行することができる。 我々は、Claude v1.0、Claude v2.1、Claude v3 Opus、GPT-4、GPT-4-turbo、Gemini-Pro、Mixtralに基づいてベンチマークエージェントをベンチマークし、Claude v3 Opusエージェントが成功率の点で最高であることを示す。
  論文  参考訳（メタデータ） (2023-10-05T04:06:12Z)
• SEED: Domain-Specific Data Curation With Large Language Models [22.54280367957015]
  LLM-as-compilerアプローチであるSEEDは,Large Language Models(LLM)を介して,ドメイン固有のデータキュレーションソリューションを自動的に生成する。 SEEDは、4つのLCMアシストモジュールから自動的に選択し、そのタスクに最も適したハイブリッド実行パイプラインを形成する。
  論文  参考訳（メタデータ） (2023-10-01T17:59:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。