論文の概要: FIRE: Failure Isolation and Reliability for Production-Connected Experiments at Scale
- arxiv url: http://arxiv.org/abs/2611.14962v1
- Date: Wed, 11 Nov 2026 03:15:58 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-14 01:36:32.995618
- Title: FIRE: Failure Isolation and Reliability for Production-Connected Experiments at Scale
- Title(参考訳): FIRE: 大規模生産接続実験における障害分離と信頼性
- Abstract要約: 本研究では,大規模レコメンデーションサービスシステムにおいて,生産接続型実験が確実に動作可能であることを示す。
分離されたティアは、レプリケーションが現実的な共有依存関係からトラフィックをリダイレクトする。
依存関係モニタは、下流の健康状態と実験結果のエラーを観察し、持続的な違反の後実験を終了する。
- 参考スコア(独自算出の注目度): 1.103164346540956
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Pre-production changes are usually tested in isolated environments to prevent their side effects from reaching production. Some record-and-replay platforms allow a production-connected mode: candidate changes receive recorded production requests while selected downstream calls reach production dependencies. This improves fidelity before deployment, but it also introduces reliability risks. At hyperscale, experimental traffic can fan out across shared services, trigger latent defects, or send malformed input to systems serving user requests. In this paper, we show how production-connected experimentation can operate reliably in a large-scale recommendation serving system. To contain downstream effects without sacrificing realistic dependency behavior, the platform uses three complementary guardrails. Isolated tiers redirect replay traffic away from shared dependencies where replication is practical. Dependency monitors observe downstream health and experiment-attributed errors and terminate experiments after sustained violations. Traffic pinning limits experimental calls to a designated subset of downstream workers when full replication would require scarce capacity. Isolated ranking tiers process billions of replayed requests per day using under 1% of the corresponding serving capacity. Over 90 days, these tiers experienced more than 200,000 abnormal worker exits without directly affecting production-serving workers. During a separate three-month window, dependency monitors cancelled approximately 5% of experiments for the measured ranking service and accounted for 87% of its cancellations. Dependency-aware triggering also reduced code-review experiment executions by 25%. These results show that high-fidelity, production-connected experimentation can operate at scale when downstream effects are isolated where possible, bounded where necessary, and continuously monitored and attributed.
- Abstract(参考訳): 生産前の変更は通常、その副作用が生産に達するのを防ぐために、孤立した環境でテストされる。
候補変更は記録されたプロダクション要求を受け取り、選択されたダウンストリームコールはプロダクション依存に到達する。
これにより、デプロイ前の忠実度が向上すると同時に、信頼性のリスクも生じる。
ハイパースケールでは、実験的なトラフィックが共有サービスを横断したり、潜伏する欠陥をトリガーしたり、ユーザリクエストを提供するシステムに不正な入力を送信することができる。
本稿では,大規模レコメンデーションサービスシステムにおいて,生産接続型実験が確実に動作可能であることを示す。
現実的な依存行動を犠牲にすることなく下流効果を抑えるため、プラットフォームは3つの相補的なガードレールを使用する。
分離されたティアは、レプリケーションが現実的な共有依存関係からトラフィックをリダイレクトする。
依存関係モニタは、下流の健康状態と実験結果のエラーを観察し、持続的な違反の後実験を終了する。
トラフィックのピンニングは、完全なレプリケーションに必要な容量が少ない場合、ダウンストリームワーカーの指定されたサブセットに対する試験的な呼び出しを制限する。
分離されたランキング層は、対応するサービス容量の1%以下を使用して、毎日数十億のリプレイリクエストを処理する。
90日間以上にわたって、これらの層は20万人以上の異常な労働者の退避を経験し、生産労働者に直接影響を及ぼすことはなかった。
3ヶ月の別々のウィンドウで、依存モニターは測定されたランキングサービスの実験のおよそ5%をキャンセルし、キャンセルの87%を占めた。
依存性を認識したトリガにより、コードレビュー試験の実行も25%削減された。
これらの結果から,ダウンストリーム効果を可能な限り分離し,必要に応じてバウンドし,継続的に監視および属性付けを行う場合,高忠実で生産に接続された実験が大規模に実施可能であることが示された。
関連論文リスト
- Procrustes-Bering-Sheaft: Automated Model Discovery and Virtual Crash Tests for Microservices [0.0]
Procrustes-Bering-Sheaftは軽量モデル発見と仮想クラッシュテストを自動化する。
各テストは、Monte Carlo氏によるサービスおよび通信障害のサンプリングによって、運用可用性を見積もる。
論文 参考訳(メタデータ) (2026-10-22T15:40:25Z) - SWE-MILE: Asynchronous Potential-Induced Milestone Credit Assignment for Long-Horizon Software Engineering Agents [52.92536111845184]
SWE-MILEは、ワークフローランタイムからきめ細かいプロセス監視を導出するプロセス監視フレームワークである。
非同期シャドウプローブは、分離されたサンドボックス内のリポジトリ変更アクションを再生し、エージェントのプライマリインタラクションと並行して検証を実行する。
2つの代表的な長期SWEタスクの実験は、エージェント性能を大幅に改善したことを示している。
論文 参考訳(メタデータ) (2026-09-26T13:49:14Z) - From Offline Proxies to Online Decisions: A Layered Engagement Evaluation Framework for Conversational AI [6.312363514862888]
A/B試験はユーザエンゲージメントの決定基準だが、トラフィックと読み込み時間はテスト可能な変更数を制限する。
オフラインプロキシを3つのアライメントの連鎖として扱う再利用可能な構成と診断チェックリストを提案する。
コンパニオン評価プロトコルは、インターバルアウェア決定合意により、合成体全体を監査する。
論文 参考訳(メタデータ) (2026-09-21T21:06:28Z) - PinSieve: Production Selective VLM Serving and a Governed Memory Flywheel for Enterprise Content-Quality Triage [3.82270579796277]
我々は、大規模コンテンツ品質パイプラインのプロダクションケーススタディであるPinSieveを紹介する。
配備されたコンポーネントは、選択視覚モデル(VLM)サービングエージェントであり、軽量上流モデルで未解決のグレーゾーンスライスのみで動作する。
このスライスでは、デプロイされたシステムでは、以前の生産モジュールよりも2.05倍の非動作可能なアイテムをフィルタリングすると同時に、推定ミス率をわずかに削減する。
昇進後、レビューの生産性を25.7%改善し、通常の運用コストを16.2%削減し、翌日から翌日に信号配信を移行した。
論文 参考訳(メタデータ) (2026-08-25T03:57:56Z) - Success Leaves Detours: Learning Executable Walkthroughs for Long-Horizon Agents [11.833965746124408]
テストタイムの自己進化エージェントは過去の経験を再利用することで改善されるが、スパース・リワード・トラジェクトリには障害、ループ、デトゥールが含まれる。
我々は、ノイズの多いトラジェクトリを実行可能なウォークスルーメモリにコンパイルする依存基盤フレームワークであるTraceを提案する。
J-TTL、WebShop、ScienceWorldの3つのオープンソースのLCMによる実験によると、トレースは8つのテスト時間学習とメモリベースラインを一貫して上回っている。
論文 参考訳(メタデータ) (2026-08-20T01:10:11Z) - PhyAgentOS: A Self-Evolving Operating System for Embodied Agents with Decoupled Cognitive Planning and Physical Execution [49.776611937968]
我々は、スケジューリング、検証、メモリ、ベンチマーク、安全性をシステムレベルのサービスとして提供するPhyAgentOSを紹介します。
セッション中心のセッションは、スケジューリング、互換性、監督された実行、エビデンス収集、受け入れの最小単位として、アクションではなくセッションを扱う。
SessionVerifierは、実行終了とセマンティックタスク完了を、成功、失敗、または再計画のエビデンスに基づいて判断する。
ベンチマークはデプロイメントセッションと検証パスを再利用するので、結果は実際の実行に遡る。
論文 参考訳(メタデータ) (2026-07-18T04:46:53Z) - Governed Shared Memory for Multi-Agent LLM Systems [1.2178992475191557]
本稿では,フリートメモリの問題を定式化し,基礎的障害モードを4つ同定する。
システムレベルの明示的なプリミティブを定義する。スコープ付き検索,時間的スーパーセッション,プロファイランストラッキング,ポリシが支配するメモリ伝搬である。
これらのプリミティブは、プロダクションマルチテナントメモリサービスであるMemClawで実装され、ArgusFleet経由で評価される。
論文 参考訳(メタデータ) (2026-06-23T13:04:14Z) - Claw-Eval: Toward Trustworthy Evaluation of Autonomous Agents [66.97968363332465]
エージェントベンチマークの3つのギャップに対処するエンドツーエンド評価スイートであるClaw-Evalを紹介した。
Claw-Evalは3つのグループにまたがる9つのカテゴリにまたがる300の人間検証タスクで構成されている。
すべてのエージェントアクションは、3つの独立したエビデンスチャネルを通じて記録される。
論文 参考訳(メタデータ) (2026-04-07T17:43:18Z) - DoVer: Intervention-Driven Auto Debugging for LLM Multi-Agent Systems [48.971606069204825]
DoVerは、大規模言語モデル(LLM)ベースのマルチエージェントシステムのための介入駆動デバッグフレームワークである。
ターゲットの介入を通じて、アクティブな検証によって仮説生成を増強する。
DoVerは失敗試験の18~28%を成功させ、最大16%のマイルストーンを達成し、失敗仮説の30~60%を検証または否定する。
論文 参考訳(メタデータ) (2025-12-07T09:23:48Z) - Stable Video Infinity: Infinite-Length Video Generation with Error Recycling [76.91310169118408]
本研究では、高時間一貫性、可視的シーン遷移、制御可能なストリーミングストーリーラインを有する無限長ビデオを生成することができる安定ビデオインフィニティ(SVI)を提案する。
SVIにはError-Recycling Fine-Tuningが組み込まれており、これはDiffusion Transformerの自己生成エラーをスーパーバイザのプロンプトにリサイクルする、新しいタイプの効率的なトレーニングである。
我々は、一貫性、創造性、条件設定を含む3つのベンチマークでSVIを評価し、その汎用性と最先端の役割を徹底的に検証した。
論文 参考訳(メタデータ) (2025-10-10T09:45:46Z) - Tracking the risk of a deployed model and detecting harmful distribution
shifts [105.27463615756733]
実際には、デプロイされたモデルのパフォーマンスが大幅に低下しないという、良心的なシフトを無視することは理にかなっている。
我々は,警告を発射する有効な方法は,(a)良性な警告を無視しながら有害なシフトを検知し,(b)誤報率を増大させることなく,モデル性能の連続的なモニタリングを可能にすることを論じる。
論文 参考訳(メタデータ) (2021-10-12T17:21:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。