論文の概要: Benchmarking LLM-Guided Control-Plane Policies for Backend Fault Isolation in HAProxy
- arxiv url: http://arxiv.org/abs/2608.10532v1
- Date: Tue, 11 Aug 2026 06:15:20 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-12 19:14:45.925647
- Title: Benchmarking LLM-Guided Control-Plane Policies for Backend Fault Isolation in HAProxy
- Title（参考訳）: HAProxyのバックフォールト分離のためのLCM誘導制御平板のベンチマーク
- Abstract要約: 我々は、大規模言語モデルが静的ルーティングポリシーそのものを置き換えることができるかどうかを問う。
3B 能動パラメータの近傍で能動閾値を求める。
その上、アーキテクチャに関係なく、すべてのモデルは、クライアントが認識した5xxエラーの88%近くを飽和させます。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Static load balancers cannot mitigate a backend that is degraded rather than down: round-robin and least-connections keep routing traffic to a server returning HTTP 500s until an operator intervenes. We ask whether a Large Language Model can replace the static routing policy itself, reading HAProxy and Prometheus telemetry every 10 seconds and isolating faulty servers through guardrailed calls to the HAProxy Data Plane API. On a reproducible benchmark with a persistent structural fault built into roughly one-third of a heterogeneous fleet, we sweep 15 open-weight models across five families (0.35B to 35B total parameters; dense, mixture-of-experts, and efficient-sparse architectures), reasoning modes, fleet scales of 3 to 9 backends, and two routing algorithms, totaling 240 runs. We find a capability threshold near 3B active parameters. Below it, LLM policies are typically unreliable and sometimes worse than no policy; above it, every model, regardless of architecture, saturates near an 88% reduction in client-perceived 5xx errors over the static baseline. The threshold is approximate: Gemma 4 E2B clears it with 2B active parameters, while the dense 3B Granite 4.0 Micro does not. The availability gain has costs. Draining concentrates load onto surviving servers, inflating tail latency 2.6 to 2.8 times, and enabling reasoning multiplies token spend roughly tenfold, overrunning the control interval and degrading effectiveness. The efficient operating point is a supra-threshold model in its cheapest non-reasoning mode, wrapped inside deterministic guardrails.
- Abstract（参考訳）: ラウンドロビンと最小接続は、オペレータが介入するまでHTTP 500sを返すサーバにトラフィックをルーティングし続ける。
大規模言語モデルが静的ルーティングポリシ自体を置き換えることができるのか,HAProxyとPrometheusのテレメトリを10秒毎に読み込み,HAProxy Data Plane APIへのガードレールによるコールを通じて障害サーバを分離するかを問う。
異種艦隊の約3分の1に永続的な構造欠陥が組み込まれた再現可能なベンチマークでは、5つのファミリー(0.35Bから35Bの総パラメータ、密集、混合、効率的なスパースアーキテクチャ)、15のオープンウェイトモデル、推論モード、3から9のバックエンドのフリートスケール、2つのルーティングアルゴリズム、合計240ランを網羅した。
3B 能動パラメータの近傍で能動閾値を求める。
アーキテクチャに関係なく、すべてのモデルが静的ベースライン上でクライアントが認識した5xxエラーの88%近くを減らします。
Gemma 4 E2Bは2Bの活性パラメータでクリアするが、密度の高い3Bのグラナイト4.0マイクロはクリアしない。
可用性の向上にはコストが伴います。
Drainingは、生存中のサーバへの負荷に集中し、テールレイテンシを2.6から2.8倍に膨らませ、乗算トークンをおよそ10倍にし、制御間隔をオーバーランし、効率を低下させる。
効率的な動作ポイントは、最も安価な非共振モードの超閾値モデルであり、決定論的ガードレールの中に包まれている。
関連論文リスト
- Phase-Decoupled, Model-Calibrated Power Control for Disaggregated LLM Serving [1.249668212599889]
NVIDIAのMax-Q推論プロファイルを分離したB200システムにデプロイする。
エージェント負荷下でQwen3-Coder-480B (FP8) を提供する8x B200ノード上では、バランスの取れたモードは、+20.4%トークン/Jを+3.5%平均e2eで提供する。
論文 参考訳（メタデータ） (2026-09-10T06:23:37Z) - From Production Traffic to Post-Training: Building a Self-Hosted LLM That Covers the Corporate Request Mix [55.08143827481755]
200以上の内部アプリケーションから1つのモデルにトラフィックを集約します。
我々は、各軸ごとに別々のGRPOエキスパートを訓練し、2段階のSLERPを介してそれらをマージする。
このモデルは、プラットフォームトラフィックの50%、月1億6600万リクエストをサービスコストのごく一部で吸収する。
論文 参考訳（メタデータ） (2026-09-01T17:39:26Z) - LMSM: LLM Security Framework Inspired by Linux Security Modules [56.93644694627783]
大規模言語モデル(LLM)は階層化されたディフェンスでデプロイされることが多いが、悪意のあるプロンプトはそれらをバイパスすることができる。
我々は,Language Model Security Modules (LMSM) という,Linux Security Modules (LSM) の背後にある分離を LLM サービスに適応させるセキュリティフレームワークを提案する。
論文 参考訳（メタデータ） (2026-08-26T12:13:05Z) - Cacheable by Design? Training Mixture-of-Experts Routers for Locality Against the Edge Memory-Bandwidth Wall: A Pre-Registered Negative Result with a Systems Measurement Study [0.0]
Qwen3-235B(Q4_K_M, 134 GB)の帯域幅の壁の定量化
ゼロサージリールータテレメトリーツールである llamamoe-trace を構築し,Q3-30B のルーティングを測定した。
補助的な局所性とドメインルータ損失を有する137M MoE言語モデルの事前登録訓練を行う。
論文 参考訳（メタデータ） (2026-08-18T19:23:32Z) - Nanbeige4.2-3B on Apple Silicon: Fixing Deployment Bugs and Decreasing Looped Transformer Memory Overhead [0.5076419064097732]
Nanbeige4.2-3BはLooped Transformer (LT) を中心に構築され、第2のフォワードパスのために1つのスタック層を再利用する。
これらのバグの修正は、エージェント的なタスクにはまだ不十分であることを示す。
チャンクド・プレフィル戦略を導入し,メモリ不足の軽減を図る。
論文 参考訳（メタデータ） (2026-08-14T06:05:26Z) - DREAM Technical Report [53.37525197047151]
DREAMは、既存のパイプラインの上に認識認識、オーケストレーション、監査可能なポリシ層を追加し、それを置き換えることなく、自律的な最適化制御アーキテクチャである。
DREAMには2つのコアコンポーネントがある。まず、3層Intent Engineはデバイス上の信号を構造化されたL0/L1/L2インテント表現に融合する。エッジクラウドトリガーチェーンはレポートのボリュームを約8.7%に削減する。
第2に、Meta EngineはMetaModelを使って、層状M1-to-M2-to-M3推論(インテントの要約、ストラテジーメモリに通知されるストラテジープランニング、パラメータ変換など)を定式化したM1-to-M2-to-M3推論に使用します。
論文 参考訳（メタデータ） (2026-08-10T10:35:32Z) - Real-Time Detection and Repair of LLM Agent Failures [0.0]
LLMエージェントは、エポゾドループの途中で失敗し、カスケードツールエラー、ゴールのドリフトオフ、結果の生成、あるいは静かに劣化したコンテンツを吸収する。
1ステップあたりのマイクロ秒のモニターを使用して、正常な実行のみをトレーニングすることで、観測可能なステップ単独で、どの程度の検出が達成できるのかを問う。
システムは1歩あたり200マイクロ秒で、審査員の呼び出しより3桁低い。
論文 参考訳（メタデータ） (2026-08-03T16:34:46Z) - Autonomous Topology Mutation: Safe Runtime Restructuring for Multi-Agent LLM Systems with Capability, State, and Shadow Invariants [0.11470070927586014]
マルチエージェント LLM フレームワークのランタイムチーム変更機構である Autonomous Topology Mutation (ATM) を導入する。
ATMはテレメトリ駆動のオーバーロード検出と、構造変化をゲートする3つの安全不変量を組み合わせたものだ。
720 DeepSeek-V3駆動のタスクは、4つのアブレーション条件と3つのワークロードで決定論的ツールスタブで実行され、ATM Factoriserはコードタスクの成功を3.3%から61.7%に引き上げる。
論文 参考訳（メタデータ） (2026-06-04T11:38:06Z) - LayerRoute: Input-Conditioned Adaptive Layer Skipping via LoRA Fine-Tuning for Agentic Language Models [0.0]
LayerRouteは、インプット毎にトランスフォーマーブロックを選択的にスキップする方法を学習する軽量アダプタである。
1)ストレートスルー推定器を介してハードバイナリゲートを出力する層間ルータと、(2)Q/K/V/Oアテンションプロジェクション上のLoRAアダプタ(ランク8,1.08Mパラメータ)である。
ゲート正規化項を持つエージェントデータ(Hermes, Glaive, GSM8K, Turing)の単一エンドツーエンドトレーニングパス
論文 参考訳（メタデータ） (2026-06-01T07:50:05Z) - HyDRA: Hybrid Dynamic Routing Architecture for Heterogeneous LLM Pools [2.0320563270126493]
我々は,クエリ毎の細粒度,多次元能力要件を予測するフレームワークHyDRAを提案する。
ショートフォールマッチングアルゴリズムは、予測された要求を満たす機能を持つ最も安価なモデルを選択する。
このフレームワークは、GitHub CopilotのVS Code Chat自動モードのすべてのユーザにデプロイされる。
論文 参考訳（メタデータ） (2026-05-16T18:19:30Z) - MEME: Multi-entity & Evolving Memory Evaluation [76.57263966646404]
MEMEは、マルチエンタリティと進化する軸によって定義される全空間にまたがる6つのタスクを定義している。
3つの記憶パラダイムにまたがる6つの記憶システムの評価。
デフォルト設定の下では、すべてのシステムが依存性の推論で崩壊しているのが分かります。
論文 参考訳（メタデータ） (2026-05-12T17:55:10Z) - Enforcing Benign Trajectories: A Behavioral Firewall for Structured-Workflow AI Agents [0.0]
codenameはテレメトリ駆動の動作異常検出ファイアウォールである。
codenameは検証済みの良性ツールコールテレメトリをパラメータ化された決定論的有限オートマトンにコンパイルする。
コードネームは5つのシナリオで5.6%のマクロ平均攻撃成功率(ASR)を達成する。
論文 参考訳（メタデータ） (2026-04-29T04:02:59Z) - Full-Duplex-Bench-v3: Benchmarking Tool Use for Full-Duplex Voice Agents Under Real-World Disfluency [61.68376148916503]
FDB-v3 (Full-Duplex-Bench-v3) は、自然言語条件下での音声モデルの評価と多段階ツールの使用のためのベンチマークである。
以前の作業とは異なり、データセットは5つのディスフルカテゴリにアノテートされた実際の人間のオーディオで構成されており、4つのタスクドメインにチェーンされたAPI呼び出しを必要とするシナリオとペアリングされています。
GPT-Realtime、Gemini Live 2.5、Gemini Live 3.1、Grok、Ultravox v0.7、従来のカスケードパイプライン(Whisper$rightarrow$rightarrow$TTS)の6つのモデル構成を精度、レイテンシ、ターンで評価した。
論文 参考訳（メタデータ） (2026-04-06T16:46:52Z) - LLM Readiness Harness: Evaluation, Observability, and CI Gates for LLM/RAG Applications [51.56484100374058]
評価をデプロイメント決定ワークフローに変換するLLMおよびRAGアプリケーションのための準備性ハーネスを提案する。
このシステムは、最小限のAPI契約の下で、自動ベンチマーク、OpenTelemetryオブザーバビリティ、CI品質ゲートを組み合わせる。
チケットルーティングとBEIRタスクのハーネスを、完全なAzureマトリックスカバレッジで評価する。
論文 参考訳（メタデータ） (2026-03-28T18:03:32Z) - Step 3.5 Flash: Open Frontier-Level Intelligence with 11B Active Parameters [169.7981969517903]
Step 3.5 Flashは、フロンティアレベルのエージェントインテリジェンスと計算効率を橋渡しする。
エージェントを構築する上で最も重要なもの、すなわち、シャープな推論と高速で信頼性の高い実行に重点を置いています。
論文 参考訳（メタデータ） (2026-02-11T07:53:51Z) - HiRE: High Recall Approximate Top-$k$ Estimation for Efficient LLM
Inference [68.59839755875252]
HiREは2つの新しいコンポーネントから構成される: (i) (i) (i) (i) (i) (i) (i) (i) (i) (i) (ii) DA-TOP-$k$: 効率的なマルチデバイス近似トップ-k$演算子) (i) (i) (i) (i) (i) (i) (i) DA-TOP-$k$演算子) 。
我々は、10億のパラメータモデルにおいて、HiREがソフトマックスとフィードフォワード層の両方に適用され、ほぼ一致した事前学習と下流の精度を実現し、1台のTPUv5eデバイスで1.47Times$の推論遅延を高速化することを示した。
論文 参考訳（メタデータ） (2024-02-14T18:04:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。