Fugu-MT 論文翻訳(概要): Trigger the Straggler: Load Hijack on Mixture-of-Experts LLMs

論文の概要: Trigger the Straggler: Load Hijack on Mixture-of-Experts LLMs

arxiv url: http://arxiv.org/abs/2608.10614v1
Date: Tue, 11 Aug 2026 07:57:22 GMT
ステータス: 翻訳完了
システム内更新日: 2026-08-12 19:14:45.953618
Title: Trigger the Straggler: Load Hijack on Mixture-of-Experts LLMs
Title（参考訳）: Trigger the Straggler:Mixture-of-Experts LLM上での負荷ハイジャック
Abstract要約: エキスパート並列性(EP)は、複数のGPUにまたがる大規模なMixture-of-Experts(MoE)モデルを提供する一般的な戦略である。この手順は、サービススケジュールにおいてサプライチェーン攻撃面を公開する。本稿では、悪意のあるモデルプロバイダがチェックポイントのルータのみを重み付けするLoad Hijackを紹介する。
参考スコア（独自算出の注目度）: 33.895645324973735
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Expert parallelism (EP) is a common strategy for serving large Mixture-of-Experts (MoE) models across multiple GPUs by distributing experts among devices. Router decisions then determine both which experts process each token and which GPUs execute the resulting work. This procedure exposes a supply-chain attack surface in the serving schedule. We introduce Load Hijack, in which a malicious model provider modifies only a checkpoint's router weights, distributes the poisoned checkpoint, and retains a private trigger. When the trigger appears, the poisoned router concentrates token-to-expert assignments on experts co-located on one GPU. The resulting load makes that GPU a straggler and forces peer devices to wait, while routing on ordinary inputs remains near the clean reference. We find this conditional behavior difficult to achieve because an objective that rewards target-expert use on triggered inputs can also bias ordinary-input routing toward the same experts. To resolve this conflict, Load Hijack employs a three-stage optimization procedure that produces strong trigger-dependent concentration while keeping ordinary-input routing close to the clean reference. Across three MoE families and four corpora, Load Hijack directs 92.3% to 95.6% of triggered token assignments to the target experts. In live EP serving, triggered traffic produces 1.43x the time-to-first-token and 0.86x the throughput measured under ordinary traffic. These results show that poisoned routers can act as trigger-controlled device schedulers and motivate checkpoint audits of routing and runtime load.
Abstract（参考訳）: エキスパート並列性(EP)は、複数のGPUにまたがる大規模なMixture-of-Experts(MoE)モデルを提供するための一般的な戦略である。ルータの決定により、各トークンを処理する専門家と、結果の処理を実行するGPUの両方が決定される。この手順は、サービススケジュールにおいてサプライチェーン攻撃面を公開する。本稿では,悪質なモデルプロバイダがチェックポイントのルータ重みだけを調整し,有害なチェックポイントを配布し,プライベートトリガを保持するLoad Hijackを紹介する。トリガーが現れると、毒のついたルータは、1つのGPU上に同時に配置された専門家のトークン・ツー・エキスパートの割り当てに集中する。結果として、GPUがストラグラーとなり、ピアデバイスを待たざるを得なくなる一方で、通常の入力のルーティングはクリーンな参照に近いままだ。この条件付き動作は、トリガーインプットに対する目標エキスパートの使用に報いる目的が、同じ専門家に対する通常の入力ルーティングをバイアスする可能性があるため、達成が困難である。この競合を解決するため、Load Hijackは3段階の最適化手順を採用し、通常の入力ルーティングをクリーンな参照に近づけながらトリガー依存の強い集中を発生させる。 3つのMoEファミリーと4つのコーポラにまたがって、Load Hijackはターゲットの専門家にトリガートークンの割り当ての92.3%から95.6%を指示している。ライブEPサービスでは、トリガートラフィックは1.43倍、スループットは0.86倍となる。これらの結果から,有毒なルータがトリガー制御デバイススケジューラとして機能し,ルーティングと実行時の負荷のチェックポイント監査を動機付けることが示唆された。

関連論文リスト

AcceptMoE: Commitment-Weighted Self-Sizing Verifier Expert Sets for Efficient MoE Speculative Decoding [21.76650680783374]
投機的復号化は、1つのターゲットモデルフォワードパスにおけるドラフトトークンのツリーを検証する。ミックス・オブ・エキスパート(MoE)ターゲットの場合、並列検証はすべてのツリーノードから選択された専門家の団結を活性化することができる。本稿では,検証側の専門家セレクタであるAcceptMoEを紹介する。
論文参考訳（メタデータ） (2026-08-04T01:01:12Z)
Agent-as-a-Router: Agentic Model Routing for Coding Tasks [54.00153674547733]
Agent-as-a-router (AC)はC-A-Fループとしてルーティングを形式化する(Context->Action->FeedbackContext) ACは、分配タスクに対する最小の累積後悔を達成し、配布外エージェントプログラミングタスクに一般化する。
論文参考訳（メタデータ） (2026-06-22T06:37:31Z)
Redesign Mixture-of-Experts Routers with Manifold Power Iteration [60.55368504665436]
Manifold Power Iteration (MPI) を用いたルータの再設計を提案する。 MPIはルータ列を駆動し、関連する専門家の主特異方向に向かって収束させる。 MPIはルータ列を駆動し、関連する専門家の主特異方向に向かって収束することを示す。
論文参考訳（メタデータ） (2026-06-10T17:57:36Z)
Adaptive Inverted-Index Routing for Granular Mixtures-of-Experts [49.09151538536423]
Mixture-of-experts (MoE)モデルはトークンごとに専門家のサブセットだけを活性化することでスケーラブルなトランスフォーマーアーキテクチャを実現する。最近の証拠は、より粒度の細かい専門家、すなわち、少数の大きな専門家ではなく、多くの小さな専門家によって、パフォーマンスが向上することを示している。ベクトル量子化(VQ)に基づく逆インデックス型ルーティングアーキテクチャである MoE (AIR-MoE) の適応型逆インデックスルーティングを導入する。
論文参考訳（メタデータ） (2026-05-06T14:15:10Z)
Misrouter: Exploiting Routing Mechanisms for Input-Only Attacks on Mixture-of-Experts LLMs [26.925535006021402]
Mixture-of-Experts (MoE)アーキテクチャは、疎結合なルーティングベースの計算によって、大規模言語モデルをスケールするための主要なパラダイムとして登場した。 MoEルーティングは、入力のみの攻撃によって、現実世界のサービスにおいてより強力な安全でない振る舞いを引き起こすことができる。そこで我々はMisrouterを提案する。Misrouterは入力のみの攻撃フレームワークで、ルーティング動作とエキスパート機能の共同ターゲットである。
論文参考訳（メタデータ） (2026-05-06T03:21:38Z)
Routing by Analogy: kNN-Augmented Expert Assignment for Mixture-of-Experts [32.65737144630759]
Mixture-of-Experts (MoE)アーキテクチャは、パラメトリックな"router"を使用して、トークンを専門家のまばらなサブセットにディスパッチすることで、大きな言語モデルを効率的にスケールする。我々は、類似したケースのメモリから最適な専門家の割り当てを再利用する検索強化ルーティングフレームワークであるkNN-MoEを紹介する。実験の結果、kNN-MoEはゼロショットベースラインよりも優れており、計算コストのかかる微調整に匹敵することがわかった。
論文参考訳（メタデータ） (2026-01-05T14:16:11Z)
RepetitionCurse: Measuring and Understanding Router Imbalance in Mixture-of-Experts LLMs under DoS Stress [16.010076395422264]
分配不能のプロンプトはルーティング戦略を操作でき、特定のデバイス上で計算ボトルネックを発生させ、他のデバイスにアイドルを強いる。この脆弱性を悪用するための低コストなブラックボックス戦略であるRepetitionCurseを提案する。
論文参考訳（メタデータ） (2025-12-30T05:24:26Z)
Building a Foundational Guardrail for General Agentic Systems via Synthetic Data [76.18834864749606]
LLMエージェントは、計画段階で介入するマルチステップタスクを計画できる。既存のガードレールは主にポスト・エグゼクティブ(英語版)を運用しており、スケーリングが困難であり、計画レベルで制御可能な監督を行う余地がほとんどない。我々は、良性軌道を合成し、カテゴリーラベル付きリスクを困難に注入し、自動報酬モデルを介して出力をフィルタリングする制御可能なエンジンであるAuraGenを紹介する。
論文参考訳（メタデータ） (2025-10-10T18:42:32Z)
From Score Distributions to Balance: Plug-and-Play Mixture-of-Experts Routing [52.01745035243826]
Mixture-of-Experts (MoE)モデルは、各トークンを専門家のサブセットにルーティングすることで、パラメータキャパシティをスケールすることができる。条件付きルーティングは、推論メモリの負荷をシフトし、デバイスごとに専門家の数を制限する。本稿では,精度を保ちながら負荷のバランスをとるプラグイン・アンド・プレイ型推論時ルーティングアルゴリズムLASERを提案する。
論文参考訳（メタデータ） (2025-09-29T16:29:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。