論文の概要: Logit-Aware MIMO AirComp for Distributed Mixture-of-Experts LLM Inference over Wireless Edge Networks

• arxiv url: http://arxiv.org/abs/2610.03741v1
• Date: Tue, 22 Sep 2026 15:55:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-13 19:27:46.804889
• Title: Logit-Aware MIMO AirComp for Distributed Mixture-of-Experts LLM Inference over Wireless Edge Networks
• Title（参考訳）: 無線エッジネットワーク上での分散混合LLM推論のためのロジト対応MIMO AirComp
• Abstract要約: 分散ミックスオブエキスパート(MoE)推論は、無線エッジネットワークに大規模言語モデル(LLM)をデプロイするための有望なアーキテクチャである。 MoEアグリゲーションエラーはLLM出力に不等な影響を及ぼす。 AirCompは通信歪みを最小限に抑えるが、MoEアグリゲーションエラーはLLM出力に不等な影響を及ぼす。
• 参考スコア（独自算出の注目度）: 46.17052200705373
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Distributed mixture-of-experts (MoE) inference is a promising architecture for deploying large language models (LLMs) at wireless edge networks because sparse experts can be placed across coordinated base stations (BSs), while the anchor node and user equipment (UE) can offload LLM inference tasks to BSs. The communication bottleneck is the MoE aggregation, where the anchor BS must recover a weighted sum of selected expert outputs before each decoding step. Over-the-air computation (AirComp) is well matched to this operation because the wireless multiple-access channel naturally superposes simultaneous transmissions. However, conventional AirComp minimizes communication distortion, whereas MoE aggregation errors have unequal impact on LLM outputs. We propose a logit-aware MIMO AirComp framework that estimates local logit sensitivity as block-level weights and jointly optimizes receive combiners and BS precoders under per-BS power constraints. We also develop an alternating algorithm that protects decoding decisions from aggregation perturbations. Using OpenCompass, we evaluate Qwen3-30B-A3B-Instruct-2507-FP8 on GSM8K and ARC-Challenge. At 30 dB aggregation SNR, perturbed Qwen3 retains 99.3% of clean GSM8K accuracy and 94.8% of clean ARC-Challenge accuracy. In a direct ARC-Challenge closed-loop audit over 295 examples, SW-AirComp achieves 43.73% accuracy at 30 dB and 26.78% at 20 dB, outperforming unweighted, matched-filter, and zero-forcing AirComp. In the wireless simulator, SW-AirComp reduces decision-relevant aggregation distortion; at 20 dB, its final weighted-sum mean-squared error is 53.5% lower than unweighted AirComp under the same channels, samples, and sensitivity weights. Logit-RMSE and logit-gap diagnostics further show that the gain comes from reducing output-logit perturbation and lowering the risk of top-token changes.
• Abstract（参考訳）: 分散ミキシング・オブ・エキスパート(MoE)推論は、無線エッジネットワークに大規模言語モデル(LLM)をデプロイするための有望なアーキテクチャである。 通信ボトルネックはMoEアグリゲーションであり、アンカーBSは各復号ステップの前に選択された専門家出力の重み付け和を回復しなければならない。 無線マルチアクセスチャネルは同時送信を自然に重畳するため、オーバー・ザ・エア計算(AirComp)はこの操作とよく一致している。 しかし、従来のAirCompは通信歪みを最小限に抑える一方、MoE集約誤差はLLM出力に不等な影響を及ぼす。 本稿では,局所ロジット感度をブロックレベルの重みとして推定し,BS単位の電力制約下での受信コンバータとBSプリコーダを協調最適化するロジット対応MIMO AirCompフレームワークを提案する。 また,デコード決定を集約摂動から保護する交互アルゴリズムを開発した。 OpenCompassを用いて,GSM8KおよびARC-Challenge上でQwen3-30B-A3B-Instruct-2507-FP8を評価する。 30dBアグリゲーションSNRでは、摂動されたQwen3は99.3%のクリーンGSM8Kの精度と94.8%のクリーンARC-Challengeの精度を維持している。 295以上の例のARC-Challengeクローズドループ監査において、SW-AirCompは30dBで43.73%、20dBで26.78%の精度を達成し、非重み付け、マッチフィルタ、ゼロ強制型AirCompよりも優れていた。 20dBでは、最終的な重み付き平均二乗誤差は、同じチャネル、サンプル、感度重みの下の未重み付きAirCompよりも53.5%低い。 Logit-RMSE と logit-gap の診断は、出力-logit の摂動を減らし、トップトーケンの変更のリスクを下げることによってもたらされる。

関連論文リスト

• Over-the-Air Federated Learning in Heterogeneous Mobile Wireless Networks [56.36166282526799]
  オーバー・ザ・エア(Over-the-air)計算は、無線ネットワークに学習アルゴリズムをデプロイするためのスケーラブルで効率的なソリューションである。 我々は,アルゴリズム正規化を採用し,暗黙のゴシップを通じてデバイスのアップデートを均等に混合するFedOAGを提案する。
  論文  参考訳（メタデータ） (2026-09-26T18:04:09Z)
• Deep Learning for Joint Narrowband Interference Cancellation and Soft Demodulation in OFDM Systems [3.1567687557500297]
  狭帯域干渉(NBI)は周波数分割多重化(OFDM)システムを著しく劣化させる。 我々は統合型ディープラーニングフレームワークを用いて、NBIキャンセルと堅牢なソフト復調を行う。
  論文  参考訳（メタデータ） (2026-07-09T17:26:43Z)
• Tiny Collaborative Inference for Occlusion-Robust Object Detection [0.5352699766206808]
  検索と救助のためのエッジAIノードは、コンピュータビジョンをローカルで実行することがますます期待されている。 ウルトラローエンドハードウェアは、メモリ、計算、デバイス間通信に厳しい制約を課す。 本研究は、MCUバックボーン、YOLOv2検出ヘッド、Lite量子化を組み合わせることで、1MB未満の閉塞物検出装置に対処する。
  論文  参考訳（メタデータ） (2026-06-01T21:10:08Z)
• Decentralized Instruction Tuning: Conflict-Aware Splitting and Weight Merging [8.653920907082915]
  我々は多種多様なユーザ意図を持つ言語モデルを訓練し、不均一な混合へのスケーリングは、勾配干渉と帯域幅重大同期によって妨げられることを発見した。 重み付けは曲率重み付き分散還元を生じさせ,PCA対応のコンフリクト分割は高い曲率方向に沿ってこの利得を最大化する。 これらの結果は、分散化されたマージ対応の命令チューニングパイプラインであるMERITを直接動機付けている。
  論文  参考訳（メタデータ） (2026-06-01T05:33:56Z)
• WISV: Wireless-Informed Semantic Verification for Distributed Speculative Decoding in Device-Edge LLM Inference [56.297697169678095]
  WISV(Wireless-Informed Semantic Verification)は、分散投機的復号化フレームワークである。 WISVは最大60.8%の許容長の増加、37.3%の対話ラウンドの削減、31.4%のエンドツーエンドレイテンシの改善を実現している。 NVIDIA Jetson AGX OrinとA40搭載サーバからなるハードウェアテストベッド上でWISVを検証する。
  論文  参考訳（メタデータ） (2026-04-20T01:29:56Z)
• Integrated Sensing, Communication, and Computation for Over-the-Air Federated Edge Learning [52.904670248426626]
  本稿では,統合されたセンサ,通信,計算機能を備えた空対空フェデレーションエッジ・ラーニング(Air-FEEL)システムについて検討する。 バッチサイズ制御とネットワークリソース割り当てを交互に最適化することにより、低複雑さI SCCアルゴリズムを導出する。
  論文  参考訳（メタデータ） (2025-08-21T02:46:46Z)
• Collaborative Edge AI Inference over Cloud-RAN [37.3710464868215]
  クラウド無線アクセスネットワーク(Cloud-RAN)ベースの協調エッジAI推論アーキテクチャを提案する。 具体的には、地理的に分散したデバイスが、リアルタイムのノイズ破壊センサデータサンプルをキャプチャし、ノイズの多い局所特徴ベクトルを抽出する。 我々は,各RRHが同一リソースブロック上の全デバイスから局所的特徴ベクトルを同時に受信することを可能にする。 これらの集約された特徴ベクトルは量子化され、さらに集約および下流推論タスクのために中央プロセッサに送信される。
  論文  参考訳（メタデータ） (2024-04-09T04:26:16Z)
• An Adaptive Device-Edge Co-Inference Framework Based on Soft Actor-Critic [72.35307086274912]
  高次元パラメータモデルと大規模数学的計算は、特にIoT(Internet of Things)デバイスにおける実行効率を制限する。 本稿では,ソフトポリシーの繰り返しによるエフェキシット点,エフェキシット点,エンフェキシット点を生成する離散的(SAC-d)のための新しい深層強化学習(DRL)-ソフトアクタ批判法を提案する。 レイテンシと精度を意識した報酬設計に基づいて、そのような計算は動的無線チャンネルや任意の処理のような複雑な環境によく適応でき、5G URLをサポートすることができる。
  論文  参考訳（メタデータ） (2022-01-09T09:31:50Z)
• Conditioning Trick for Training Stable GANs [70.15099665710336]
  本稿では,GANトレーニング中の不安定性問題に対応するため,ジェネレータネットワークに正規性から逸脱する条件付け手法を提案する。 我々は、生成元をシュア分解のスペクトル領域で計算された実サンプルの正規化関数から逸脱するように強制する。
  論文  参考訳（メタデータ） (2020-10-12T16:50:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。