論文の概要: Agentic Coding in the Wild: Characterizing GitHub Copilot Traces at Production Scale
- arxiv url: http://arxiv.org/abs/2608.00101v1
- Date: Thu, 30 Jul 2026 20:51:51 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-04 15:07:24.420944
- Title: Agentic Coding in the Wild: Characterizing GitHub Copilot Traces at Production Scale
- Title（参考訳）: ワイルドなエージェントコーディング - GitHub Copilotトレースをプロダクションスケールで特徴付ける
- Abstract要約: GitHub Copilot、Claude Code、CodexといったAIコーディングエージェントは、ツール実行によるマルチステップLLM推論をインターリーブする。
私たちは2026年6月のGitHub Copilotトレースをサンプルとして,このワークロードを初めて実運用規模で評価した。
- 参考スコア（独自算出の注目度）: 6.287658270510339
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: AI coding agents like GitHub Copilot, Claude Code, and Codex interleave multi-step LLM inference with tool execution, creating a workload different from chatbots. We present the first production-scale characterization of this workload using sampled GitHub Copilot traces from June 2026, comprising 3.2M users, 13M sessions, 761M LLM calls, and 95T tokens. Our analysis reveals distinctive workload properties with important systems implications. For example, agentic coding sessions consist of sparse user-initiated turns, each unfolding into an autonomous agent loop of LLM calls almost always coupled with tool execution. This structure yields KV cache hit rates averaging 90% within a turn, but falling to 55\% across turn boundaries and drastically invalidated after events like model switches or context compaction. Diverse workflows and user behaviors are observed with variable and long-tailed token consumption, time span, and tool calls. We highlight the difference between quick agentic turnaround times and the minutes-long user idle periods at turn boundaries, and design a lightweight idle-time predictor that captures 86-90\% of total idle time, enabling proactive decisions for efficient resource orchestration. These findings challenge assumptions underlying current LLM-serving systems and provide an empirical foundation for agent-native infrastructure.
- Abstract（参考訳）: GitHub Copilot、Claude Code、CodexといったAIコーディングエージェントは、マルチステップのLM推論とツール実行をインターリーブし、チャットボットとは異なるワークロードを生成する。
我々は、2026年6月にサンプル化されたGitHub Copilotトレースを使用して、このワークロードの最初のプロダクションスケールのキャラクタリゼーションを提示する。
本分析では,システムに重要な意味を持つ作業負荷特性を明らかにした。
例えば、エージェントコーディングセッションは、スパースなユーザ主導のターンで構成され、それぞれがLDMコールの自律的なエージェントループに展開し、ツールの実行とほぼ常に結合する。
この構造は、1ターンで平均90%のキャッシュヒット率を得るが、ターンバウンダリで55\%に低下し、モデルスイッチやコンテキスト圧縮といったイベントの後、大幅に無効化する。
さまざまなワークフローとユーザ動作は、可変かつ長い範囲のトークン消費、タイムスパン、ツールコールで観察される。
本稿では,短時間のエージェントターンアラウンド時間とターンバウンダリにおける数分のユーザアイドル期間の差を強調し,86～90%のアイドル時間を捉える軽量アイドル時間予測器を設計し,効率的なリソースオーケストレーションのための積極的な決定を可能にする。
これらの知見は、現在のLLMサービスシステムの基礎となる仮定に挑戦し、エージェントネイティブインフラストラクチャの実証的な基盤を提供する。
関連論文リスト
- MTAC-IFBench: Benchmarking Instruction-Following in Multi-Turn Agentic Coding [83.0805548642958]
MTAC-IFBenchは、ソフトウェア開発におけるインストラクションフォローのための包括的なベンチマークである。
6つのプライマリと18のセカンダリカテゴリにまたがるさまざまな制約を持つ、多ターンプログレッシブなソフトウェア開発指示が特徴である。
MTAC-IFBenchは、マルチターン命令フォローにおける既存のコードエージェントの重大な欠陥を認識し、インタラクションセッションが長くなるにつれてパフォーマンスが急速に低下する。
論文 参考訳（メタデータ） (2026-09-14T03:57:37Z) - ClawArena-Team: Benchmarking Subagent Orchestration and Dynamic Workflows in Language-Model Agents [61.184954205350984]
ClawArena-Teamは、41のマルチターン、マルチモーダル、マルチエージェントシナリオのベンチマークである。
全体的なスコア -- Subagent-Management Score (SMS) -- は、タスクの正しさを最小限のプライマリとモダリティのルーティング因子によって乗算する。
論文 参考訳（メタデータ） (2026-06-30T06:06:08Z) - TraceLab: Characterizing Coding Agent Workloads for LLM Serving [16.402747744601612]
約4300のコーディングエージェントセッションのトレースをリリースし、約35万のLDMステップと43万のツールコールを含む。
我々の分析によると、コーディングエージェントのワークロードは、長い自律ループ、短いアウトプットを持つ長いコンテキスト、多種多様で複雑なツールコール、高いが不完全なプレフィックスキャッシュヒット率を特徴としている。
これらの結果は,低オーバーヘッドツールコール,付加長対応プリフィル,セマンティック対応ツールレイテンシ予測,人体接触ギャップ周辺のKV-cache管理の改善など,サービス提供を最適化する具体的な機会を示唆している。
論文 参考訳（メタデータ） (2026-06-29T16:59:05Z) - Speculative Interaction Agents: Building Real-Time Agents with Asynchronous I/O and Speculative Tool Calling [64.40340291543971]
我々は,小さなエッジスケールモデルとのリアルタイムインタラクションを実現するための投機的インタラクションエージェントを提案する。
また、ストリーミング入力と非同期応答を処理するためにモデルを適応させるクロックベースのトレーニング手法を提案する。
このアプローチは、Qwen2.5-3B-InstructとLlama-3.2-3B-Instructモデルを複数のツール呼び出しベンチマークで1.6-2.2$times$ Speedupを提供する。
論文 参考訳（メタデータ） (2026-05-13T11:20:52Z) - WildClawBench: A Benchmark for Real-World, Long-Horizon Agent Evaluation [88.10947115397971]
この研究でWildClawBenchは、6つのテーマのカテゴリにまたがる60の人間によるバイリンガルなマルチモーダルタスクのネイティブランタイムベンチマークである。
各タスクは、約8分間のウォールクロック時間と20以上のツールコールで実行されます。
グラディングはハイブリッドであり、決定論的ルールベースのチェック、副作用の環境状態監査、意味的検証のためのLLM/VLM判定を組み合わせている。
論文 参考訳（メタデータ） (2026-05-11T17:49:43Z) - Claw-Eval-Live: A Live Agent Benchmark for Evolving Real-World Workflows [67.92316850084575]
ワークフローエージェントのライブベンチマークであるClaw-Eval-Liveを紹介する。
各リリースは、公開ワークフロー要求信号から構築される。
Claw-Eval-Liveは実行トレース、監査ログ、サービス状態、実行後のワークスペースアーティファクトを記録する。
論文 参考訳（メタデータ） (2026-04-30T17:23:19Z) - Chimera: Latency- and Performance-Aware Multi-agent Serving for Heterogeneous LLMs [62.17306142810532]
ヘテロジニアスLSMクラスタ上で動作するマルチエージェントワークフローの予測スケジューリングシステムであるChimeraを提案する。
Chimeは最高のレイテンシをトレースし、エンドツーエンドのレイテンシを1.2-2.4$times$で削減し、タスクパフォーマンスを平均8.0-9.5ポイント改善する。
論文 参考訳（メタデータ） (2026-03-23T17:01:42Z) - LeJOT-AutoML: LLM-Driven Feature Engineering for Job Execution Time Prediction in Databricks Cost Optimization [27.72622904072875]
Databricksのジョブオーケストレーションシステム(例:LeJOT)は、レイテンシと依存性の制約を満たしながら、低価格の計算を選択することで、クラウドコストを削減する。
既存のパイプラインは、静的で手動で構築されたランタイム効果に依存している。
エージェント駆動型AutoMLフレームワークであるLeJOT-AutoMLについて,MLライフサイクルを通じて大規模言語モデルエージェントを組み込む。
論文 参考訳（メタデータ） (2026-03-09T02:31:50Z) - Dynamic System Instructions and Tool Exposure for Efficient Agentic LLMs [1.2691047660244335]
大きな言語モデル(LLM)エージェントは、長いシステム命令と大きなツールカタログを毎回繰り返しながら、多くのステップで実行されることが多い。
Instruction-Tool Retrieval (ITR)は,段階ごとに最小限のシステムプロンプトフラグメントと最小限のツールサブセットを検索するRAG変異体である。
ITRはステップ単位のコンテキストトークンを95%削減し、適切なツールルーティングを32%改善し、エンドツーエンドのエピソードコストをモノリシックベースラインに対して70%削減する。
論文 参考訳（メタデータ） (2025-12-01T06:43:43Z) - CMoE: Converting Mixture-of-Experts from Dense to Accelerate LLM Inference [33.871080938643566]
CMoEは、高密度言語モデルをトレーニングなしで、ミックス・オブ・エキスパート(MoE)に迅速に変換するフレームワークである。
実験により、75%の活性化比で、パープレキシティの点で顕著な結果が得られることが示された。
パラメータの25%をアクティベートするCMoE構成は、追加のトレーニングなしで使用可能なパープレキシティを保ちながら、エンドツーエンドのレイテンシを1.5倍削減する。
論文 参考訳（メタデータ） (2025-02-06T14:05:30Z) - Get my drift? Catching LLM Task Drift with Activation Deltas [55.75645403965326]
タスクドリフトは攻撃者がデータを流出させたり、LLMの出力に影響を与えたりすることを可能にする。
そこで, 簡易線形分類器は, 分布外テストセット上で, ほぼ完全なLOC AUCでドリフトを検出することができることを示す。
このアプローチは、プロンプトインジェクション、ジェイルブレイク、悪意のある指示など、目に見えないタスクドメインに対して驚くほどうまく一般化する。
論文 参考訳（メタデータ） (2024-06-02T16:53:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。