論文の概要: When Words Predict Workload
- arxiv url: http://arxiv.org/abs/2607.04951v1
- Date: Mon, 06 Jul 2026 11:27:29 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-07 22:26:30.127272
- Title: When Words Predict Workload
- Title(参考訳): ワードがワークロードを予測するとき
- Abstract要約: ハードウェアの崩壊を防止するため,CPU側言語資源予測(LRF)ゲートウェイを提案する。
ゲートウェイは16次元のテキスト構造ベクトルを抽出し、XGBoost予測器を適用してトラップバンドメンバシップを予測する。
予測器は実戦でのAUROCの0.84ドルを達成し、ダイナミックな$Tauroute(t)$コントローラは、等価な静的しきい値と比較して8.2%の相対的な不正行為の低減を実現した。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Standard distributed \ac{llm} schedulers rely on static token counts or rolling latency averages, making them susceptible to failures on statutorily constrained text. On \ac{epo} claims governed by Article 84 \ac{epc}, linguistic rigidity makes human and machine authorship statistically indistinguishable. Resolving this ambiguity mid-flight forces dynamic multi-model ensemble expansion, triggering unpredictable KV-cache and weight-allocation spikes that saturate consumer-grade edge GPU VRAM and cause severe \ac{oom} crashes. To prevent hardware collapse, we propose a CPU-side Linguistic Resource Forecasting (LRF) gateway. The gateway extracts a 16-dimensional text-structure vector and applies an XGBoost predictor to forecast trap-band membership. The resulting escalation probability ($\Pesc$) is evaluated against a dynamic, closed-form routing threshold ($\Tauroute(t)$) computed via real-time latency telemetry. Requests are safely routed to either a local Qwen2.5-7B edge worker or a remote contrastive ensemble (Qwen2.5 7B + 32B) on an NVIDIA H100 \emph{before} any edge GPU memory is allocated. In a 6,000-request live trial, the LRF gateway reduced the operational misroute fraction ($R_{\mathrm{mis}}$) to $0.087$--$0.095$, an order of magnitude below the token-count baseline ($0.849$). Peak edge VRAM remained safely bounded at $\SI{4.82}{\gibi\byte}$ (under the $\SI{8}{\gibi\byte}$ ceiling) across a $27\times$ variation in \ac{wan} delay. The predictor achieved a live-trial AUROC of $0.84$, and the dynamic $\Tauroute(t)$ controller yielded an $8.2\%$ relative reduction in misroutes compared to an equivalent static threshold.
- Abstract(参考訳): 標準分散の‘ac{llm}スケジューラは静的トークン数やローリング遅延平均に依存しており、静的に制約されたテキストの失敗の影響を受けやすい。
第84条の「ac{epo}」の主張では、言語的な剛性は人間と機械の著者の統計的区別を難しくしている。
この曖昧さを解消することで、動的マルチモデルアンサンブル拡張が実現し、予測不可能なKVキャッシュと、コンシューマグレードのエッジGPU VRAMを飽和させ、深刻な \ac{oom} クラッシュを引き起こすウェイトアロケーションスパイクが引き起こされる。
ハードウェアの崩壊を防止するため,CPU側言語資源予測(LRF)ゲートウェイを提案する。
ゲートウェイは16次元のテキスト構造ベクトルを抽出し、XGBoost予測器を適用してトラップバンドメンバシップを予測する。
結果のエスカレーション確率(\Pesc$)は、動的でクローズドなルーティングしきい値(\Tauroute(t)$)に対してリアルタイムの遅延テレメトリによって計算される。
リクエストはローカルのQwen2.5-7Bエッジワーカーか、NVIDIA H100 \emph{before}上のリモートコントラストアンサンブル(Qwen2.5 7B + 32B)に安全にルーティングされる。
6000回のライブトライアルで、LDFゲートウェイは操作ミスルート率(R_{\mathrm{mis}}$)を0.087$--0.095$に下げた。
Peak edge VRAM は、$\SI{4.82}{\gibi\byte}$ ($\SI{8}{\gibi\byte}$ ceiling) で、$27\times$ variation in \ac{wan} delay で安全にバインドされたままであった。
予測器はライブトライアルのAUROCを0.84ドルの値で達成し、ダイナミックな$\Tauroute(t)$コントローラは、等価な静的しきい値と比較して8.2\%の相対的な減少を達成した。
関連論文リスト
- Drift-Aware LLM Routing with Sparse Contexts and Shared Budgets [0.0]
マルチモデル言語サービスは、計算、レイテンシ、メモリ、あるいは金銭的コストのワークロードレベルの予算を維持しながら、各要求をルーティングする必要がある。
我々は、複数のknapsack制約とオプションのシャドウ・オーディットストリームで非定常スパースコンテキストルーティングを定式化する。
政策は、ロール監査窓から報酬とリソースの使用を推定し、悲観的な報酬と楽観的なコスト見積を使ったルートを推定し、リソースの影の価格をオンラインで更新し、コミットメントの前にハードメーターを適用する。
論文 参考訳(メタデータ) (2026-09-01T03:39:59Z) - Variance-Reduced Trajectory Unravelings for GPU Noisy Quantum-Circuit Simulation: Characterization and a Qiskit-Aer Integration Gap [0.0]
共分散が還元された非発散体 -- プロジェクターとアナログサンプリング -- は、ばらつきを著しく削減したことを示す。
Qiskit-Aerのttbatched_shots_gpuの$n=10$より少ないトラジェクトリで、20.8times$のターゲット標準エラーに達する。
Aer's Born-rule collapse machines は既に存在するので、我々はこの技術を生産中に解き放つ最小限の変更を規定する。
論文 参考訳(メタデータ) (2026-07-20T08:28:31Z) - Design rules for fault-tolerant multi-gate teleportation [0.0]
MGT(Multi-gate Teleportation)は、1ビットのファンアウト量子回路を介して1ビットに$n$のリモートゲートをパッケージする。
我々は, 耐故障性パケットサイズ, $nmaxtextcorr(d) = lceil d/2 rceil$ の設計規則を導出した。
本稿では,パケット回路のノイズモデルから構築した標準MWPMデコーダが,相関誤差を自然に補正することを示す。
論文 参考訳(メタデータ) (2026-07-01T18:00:55Z) - Scaling Neural Network Verification with Tensor Parallelism and Fully Sharded Data Parallelism [0.0]
形式的ニューラルネットワーク検証は、実際にはGPUメモリによって境界付けられている。
大規模なモデルトレーニングのために開発された2つのテクニックをauto_LiRPA / $,$-CROWN 検証フレームワークに適用する。
フルシャードデータ並列(FSDP)シャードは、層ごとのAllGatherで重量行列のみをシャードし、単一GPUベースラインとビット単位で同一のバウンドを生成する。
論文 参考訳(メタデータ) (2026-06-08T11:56:29Z) - ChunkFT: Byte-Streamed Optimization for Memory-Efficient Full Fine-Tuning [58.54940026861599]
textscChunkFTはメモリ効率の良い微調整フレームワークである。
textscChunkFTは、ネットワークアーキテクチャを変更することなく任意のサブテンソルの勾配計算を可能にする。
textscChunkFTは、既存のメモリ効率のベースラインを一貫して上回る。
論文 参考訳(メタデータ) (2026-05-20T13:44:44Z) - Deterministic Realization of Classical Dissipation on Quantum Computers [0.0]
量子デバイス上の格子ボルツマン (LB) は、単体ゲートの進化を散逸するエルフ衝突ステップと調整しなければならない。
MRT(Multiple-relaxation-time)クラスでは、m_r'=_r,m_r$ with $_rin[-1,1]$という、近視的対角モーメント緩和の一般的な設定で作業します。
主な結果は散逸 MRT ブロックであり、平衡モーメントベクトル$mmathrmeq=Mfmathrm の構築である。
論文 参考訳(メタデータ) (2026-04-28T09:36:40Z) - Complexity of Classical Acceleration for $\ell_1$-Regularized PageRank [14.919427330415608]
FISTAは1/$ローカリティスケーリングを保ちながら$$への依存を改善することができることを示す。
我々はFISTAをわずかに過正規化された目的に基づいて解析し、チェック可能な閉じ込め条件下では、全ての刺激活性化が境界集合内に存在することを示す。
これにより、加速された$(sqrt)-1log(/varepsilon)$項と境界オーバーヘッド$sqrtvol(mathcalB)/(3/2)$からなるバウンダリが得られる。
論文 参考訳(メタデータ) (2026-02-24T17:35:46Z) - Rank-Aware Spectral Bounds on Attention Logits for Stable Low-Precision Training [0.0]
変圧器における注意スコアは、低精度トレーニングにおけるオーバーフローリスクを最大で支配する2次形式である$S_ij = x_itop M x_j / sqrtd_h$である。
相互作用行列 $M = WQ WKtop$ が階数 $r ll d$ を持つとき、$max_i,j|S_ij|$ は $exp(-d22/) となる。
論文 参考訳(メタデータ) (2026-02-21T14:29:22Z) - A Reduction from Delayed to Immediate Feedback for Online Convex Optimization with Improved Guarantees [58.59385794080679]
本稿では,後悔を遅延非依存の学習項と遅延誘発のドリフト項に分解する連続時間モデルを提案する。
バンディット凸最適化では,最先端の1次数に適合する遅延依存項を用いて,既存の残差境界を大幅に改善する。
論文 参考訳(メタデータ) (2026-02-02T18:17:34Z) - Sharp Gap-Dependent Variance-Aware Regret Bounds for Tabular MDPs [54.28273395444243]
我々は,モノトニック値 Omega (MVP) アルゴリズムが,差分を考慮した差分依存残差境界を$tildeOleft(left(sum_Delta_h(s,a)>0 fracH2 log K land MathttVar_maxtextc$。
論文 参考訳(メタデータ) (2025-06-06T20:33:57Z) - Heavy-Tailed Linear Bandits: Huber Regression with One-Pass Update [62.96781471194877]
ヘビーテール付きバンディットには、ヘビーテール付きノイズ、トランケーション、中央値の2つの基本戦略が導入されている。
本稿では,オンラインミラー降下フレームワークに基づくEmphone-passアルゴリズムを提案する。
論文 参考訳(メタデータ) (2025-03-01T09:41:45Z) - Sign Operator for Coping with Heavy-Tailed Noise in Non-Convex Optimization: High Probability Bounds Under $(L_0, L_1)$-Smoothness [74.18546828528298]
SignSGD with Majority Votingは,Kappakappakappa-1right,Kappakappakappa-1right,Kappakappakappa-1right,Kappakappakappa-1right,Kappaka ppakappa-1right,Kappakappakappa-1right,Kappakappakappa-1right,Kappakappakappa-1right,Kappakappakappa -1right,Kappakappakappa-1right,Kappakappakappa-1right,Kappakappappapa-1right,Kappaを用いて,複雑性の全範囲で堅牢に動作することを示す。
論文 参考訳(メタデータ) (2025-02-11T19:54:11Z) - On the $O(\frac{\sqrt{d}}{T^{1/4}})$ Convergence Rate of RMSProp and Its Momentum Extension Measured by $\ell_1$ Norm [54.28350823319057]
本稿では、RMSPropとその運動量拡張を考察し、$frac1Tsum_k=1Tの収束速度を確立する。
我々の収束率は、次元$d$を除くすべての係数に関して下界と一致する。
収束率は$frac1Tsum_k=1Tと類似していると考えられる。
論文 参考訳(メタデータ) (2024-02-01T07:21:32Z) - Minimal Expected Regret in Linear Quadratic Control [79.81807680370677]
オンライン学習アルゴリズムを考案し、その期待された後悔を保証します。
当時のこの後悔は、$A$と$B$が未知の場合、$widetildeO((d_u+d_x)sqrtd_xT)$によって上界(i)となる。
論文 参考訳(メタデータ) (2021-09-29T14:07:21Z) - Asynchronous Stochastic Optimization Robust to Arbitrary Delays [54.61797739710608]
遅延勾配の最適化を考えると、ステップt$毎に、アルゴリズムは古い計算を使って更新する - d_t$ for arbitrary delay $d_t gradient。
本実験は,遅延分布が歪んだり重くなったりした場合のアルゴリズムの有効性とロバスト性を示す。
論文 参考訳(メタデータ) (2021-06-22T15:50:45Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。