論文の概要: Automating Feature Flag Cleanup at Scale with Multi-Agent LLM Systems: An Industrial Experience at DoorDash
- arxiv url: http://arxiv.org/abs/2610.31351v1
- Date: Thu, 22 Oct 2026 14:32:23 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-24 02:08:44.409065
- Title: Automating Feature Flag Cleanup at Scale with Multi-Agent LLM Systems: An Industrial Experience at DoorDash
- Title（参考訳）: マルチエージェントLCMシステムによる大規模機能フラグクリーンアップの自動化:DoorDashにおける産業経験
- Abstract要約: DoorDashでは、623にまたがる56,000以上のフィーチャーフラグが2026年5月時点で1,659個あり、内部推定では手作業によるクリーンアップに1時間から2時間かかります。
我々のコントリビューションは、MPP、Jiraチケット処理、エンドツーエンドのプルリクエスト生成を用いて、ライブフィーチャーフラグロールアウトデータのクエリを統合する、エンドツーエンドのLLMベースの機能フラグクリーンアップシステムである。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Feature flags are runtime configuration mechanisms used for gradual feature rollouts, experimentation, and kill switches. Once a feature is fully rolled out, the flag and its gated code become technical debt and can introduce operational risk through inadvertently enabling dormant code paths. At DoorDash, over 56,000 feature flags span 623 repositories, with 1,659 currently stale as of May 2026, with internal estimates of one to two hours per manual cleanup. Existing rule-based cleanup tools proved insufficient in DoorDash's codebases. Our contribution is an end-to-end automated LLM-based feature flag cleanup system that integrates querying live feature flag rollout data using MCP, Jira ticket processing, and end-to-end pull request creation. Our system successfully produced engineer-approved flag removal PRs for 45 (90%) of the 50 stale flags it was evaluated on, proving the system's operational viability at scale with each cleanup averaging only $4.79 and 13.8 minutes. We evaluated the system's quality and reliability boundary based on success rates, cost per cleanup and time metrics. Furthermore, we discuss our lessons learned when architecting this system, to provide practical guidance for developing similar multi-agent systems.
- Abstract（参考訳）: フィーチャーフラグは、段階的なフィーチャーロールアウト、実験、キルスイッチに使用されるランタイム設定メカニズムである。
機能を完全にロールアウトすると、フラグとそのゲートされたコードは技術的負債となり、不注意なコードパスを有効にすることで運用上のリスクを発生させる。
DoorDashでは、56,000以上のフィーチャーフラグが623のリポジトリにまたがっており、2026年5月時点で1,659が安定している。
既存のルールベースのクリーンアップツールは、DoorDashのコードベースでは不十分であることが証明された。
我々のコントリビューションは、MPP、Jiraチケット処理、エンドツーエンドのプルリクエスト生成を用いて、ライブフィーチャーフラグロールアウトデータのクエリを統合する、エンドツーエンドのLLMベースの機能フラグクリーンアップシステムである。
評価した50個の旗のうち45個(90%)で、エンジニアが承認した旗の除去PRを成功させ、各クリーンアップの平均寿命は4.79と13.8分に過ぎなかった。
システムの品質と信頼性のバウンダリを、成功率、クリーンアップ当たりのコスト、タイムメトリクスに基づいて評価した。
さらに,本システムを設計する際に学んだ教訓について考察し,類似のマルチエージェントシステムを開発するための実践的なガイダンスを提供する。
関連論文リスト
- AegisFlow: A Multi-Agent Agentic AI Framework for Autonomous Remediation and Self-Healing in Fragile Data Ecosystems [0.0]
本稿では,検出と分解のループを閉じる新しいエージェントフレームワークであるAegisFlowを提案する。
AegisFlowはWatchdogエージェントを使用してランタイムテレメトリを収集し、コードパッチを自動生成、テスト、デプロイする修復エージェントを備えている。
AegisFlowは98%のエンジニアを消防活動から解放し、イノベーションに向けて再配置する。
論文 参考訳（メタデータ） (2026-10-03T19:12:31Z) - Agentic Coding in the Wild: Characterizing GitHub Copilot Traces at Production Scale [6.287658270510339]
GitHub Copilot、Claude Code、CodexといったAIコーディングエージェントは、ツール実行によるマルチステップLLM推論をインターリーブする。
私たちは2026年6月のGitHub Copilotトレースをサンプルとして,このワークロードを初めて実運用規模で評価した。
論文 参考訳（メタデータ） (2026-07-30T20:51:51Z) - Tool-Making and Self-Evolving LLM Agents in Low-Latency Systems [19.269603229704355]
プロダクションLLMエージェントは、要求毎に同じ手続きステップのコードを再生することで、レイテンシと信頼性を無駄にすることが多い。
我々は、この推論時コーディングループをエージェントツール作成パイプラインに置き換え、繰り返しSOPステップを検証済みのバージョンツールにコンパイルします。
我々はFulfillment Centerアラームトリアージシステムにアプローチを展開し、エージェントが異種計量バックエンド上で44ノードのSOPに対してアラームを診断する。
論文 参考訳（メタデータ） (2026-07-09T00:27:13Z) - Mind the Gap: Can Frontier LLMs Pass a Standardized Office Proficiency Exam? [90.39633603556767]
コンピュータ自動化のための大規模言語モデル(LLM)エージェントは加速しているが、複雑なプロフェッショナルグレードの生産性ソフトウェアをナビゲートする能力はほとんどテストされていない。
この能力を定量化するために,中国のコンピュータランク試験(NCRE)に基づく評価を導入する。
我々は7つのフロンティア LLM をベンチマークし、スターク制限を観測した。
より強力なエージェントシステムであり、実行フィードバック、反復的修復、より広いオフィス自動化アクセスは68.8%に達するが、スコアの正当性チェックとして使われる95.5%のコミュニティ基準スコアを下回っている。
論文 参考訳（メタデータ） (2026-06-09T14:59:14Z) - WildClawBench: A Benchmark for Real-World, Long-Horizon Agent Evaluation [88.10947115397971]
この研究でWildClawBenchは、6つのテーマのカテゴリにまたがる60の人間によるバイリンガルなマルチモーダルタスクのネイティブランタイムベンチマークである。
各タスクは、約8分間のウォールクロック時間と20以上のツールコールで実行されます。
グラディングはハイブリッドであり、決定論的ルールベースのチェック、副作用の環境状態監査、意味的検証のためのLLM/VLM判定を組み合わせている。
論文 参考訳（メタデータ） (2026-05-11T17:49:43Z) - ClawMark: A Living-World Benchmark for Multi-Turn, Multi-Day, Multimodal Coworker Agents [77.22389710754452]
マルチターンマルチデイタスクを中心に構築された同僚エージェントのベンチマークであるベンチを紹介する。
現在のリリースには、13のプロのシナリオにわたる100のタスクが含まれており、5つのステートフルなサンドボックスサービスに対して実行される。
最強のモデルは75.8の重み付きスコアに達するが、最も厳格なタスク成功率は20.0%に過ぎず、部分的な進歩が一般的であることを示している。
論文 参考訳（メタデータ） (2026-04-26T16:05:02Z) - Closed-Loop Autonomous Software Development via Jira-Integrated Backlog Orchestration: A Case Study in Deterministic Control and Safety-Constrained Automation [0.0]
本稿では,コード生成ツールではなく,制御アーキテクチャとしてのソフトウェアライフサイクル管理のためのクローズドループシステムを提案する。
このシステムは、7つのタスクファミリにまたがる約1,602行のバックログを管理し、13の構造化ソース文書を取り込み、7つのスケジュールされた自動化レーンとして実装された決定論的7段階パイプラインを実行する。
自動化スタックは、23のスクリプトに約12,661行のPythonと、6,907行のバージョン付きプロンプト仕様で構成され、チェックポイントベースの時間予算、101の例外ハンドラ、12の集中ロック機構が4つのコア関数と8つの再利用可能なパターンによって実装されている。
論文 参考訳（メタデータ） (2026-04-05T21:54:03Z) - Resource-Efficient Iterative LLM-Based NAS with Feedback Memory [49.44875022114861]
ニューラルアーキテクチャサーチ(NAS)はネットワーク設計を自動化するが、従来の手法ではかなりの計算資源を必要とする。
本稿では,大規模言語モデル(LLM)を活用して,畳み込みニューラルネットワークアーキテクチャを反復的に生成し,評価し,洗練するクローズドループパイプラインを提案する。
論文 参考訳（メタデータ） (2026-03-12T16:00:22Z) - SOPBench: Evaluating Language Agents at Following Standard Operating Procedures and Constraints [59.645885492637845]
SOPBenchは、各サービス固有のSOPコードプログラムを実行可能な関数の有向グラフに変換する評価パイプラインである。
提案手法では,各サービス固有のSOPコードプログラムを実行可能関数の有向グラフに変換し,自然言語SOP記述に基づいてこれらの関数を呼び出しなければならない。
我々は18の先行モデルを評価し、上位モデルでさえタスクが困難であることを示す。
論文 参考訳（メタデータ） (2025-03-11T17:53:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。