論文の概要: Beyond Independent Optimization: Compression, MoE Routing, and Quantization Interactions in Multimodal Edge Intelligence

• arxiv url: http://arxiv.org/abs/2607.20981v1
• Date: Thu, 23 Jul 2026 07:03:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-24 18:26:25.304181
• Title: Beyond Independent Optimization: Compression, MoE Routing, and Quantization Interactions in Multimodal Edge Intelligence
• Title（参考訳）: 独立最適化を超えて:マルチモーダルエッジインテリジェンスにおける圧縮、MoEルーティング、量子化インタラクション
• Abstract要約: 効率的なマルチモーダル推論は、レイテンシ、メモリ、エネルギー制約の下でのマルチモーダル表現の保存、移動、ルーティング、キャッシュ、定量化のコストによって、ますます制限される。 本稿では、視覚トークン圧縮、ビデオトークン管理、KV-cache最適化、Mixture-of-Experts(MoE)ルーティング、低ビット量子化、エッジ展開、ハードウェア対応ベンチマークなど、効率的な視覚言語およびマルチモーダル大言語モデルの進歩について述べる。
• 参考スコア（独自算出の注目度）: 16.126063436694228
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Efficient multimodal inference is increasingly constrained not only by model quality or FLOP count, but also by the cost of preserving, moving, routing, caching, and quantizing multimodal representations under latency, memory, and energy constraints. This paper reviews recent advances in efficient vision-language and multimodal large language models, covering visual token compression, video token management, KV-cache optimization, Mixture-of-Experts (MoE) routing, low-bit quantization, edge deployment, and hardware-aware benchmarking. We argue that these techniques cannot be treated as independent optimizations. Visual token compression alters downstream feature distributions and MoE routing decisions, routing behavior affects expert utilization and quantization sensitivity, quantized router logits influence expert assignment, KV-cache policies determine retained multimodal evidence, and hardware constraints often transform computational savings into memory and communication bottlenecks. We organize the literature around these interactions and identify key design trade-offs, including accuracy versus token budget, static versus adaptive compression, sparse routing efficiency versus expert collapse, and low-bit inference versus modality-specific degradation. Finally, we introduce Temporal Routing Consistency as a diagnostic for video MoE models and highlight open research directions in routing-aware compression, cross-modal cache management, hardware-aware co-design, and unified benchmarking for multimodal edge intelligence.
• Abstract（参考訳）: 効率的なマルチモーダル推論は、モデル品質やFLOPカウントだけでなく、待ち時間、メモリ、エネルギー制約下でのマルチモーダル表現の保存、移動、ルーティング、キャッシュ、量子化といったコストによって、ますます制限される。 本稿では、視覚トークン圧縮、ビデオトークン管理、KV-cache最適化、Mixture-of-Experts(MoE)ルーティング、低ビット量子化、エッジ展開、ハードウェア対応ベンチマークなど、視覚言語およびマルチモーダル大言語モデルの最近の進歩についてレビューする。 これらの手法は独立最適化として扱えないと論じる。 ビジュアルトークン圧縮は下流の特徴分布とMoEルーティングの決定を変更し、ルーティング動作は専門家の利用と量子化の感度に影響を与え、量子化されたルータログは専門家の割り当てに影響を与える。 これらの相互作用に関する文献を整理し、トークン予算に対する精度、静的・適応圧縮、スパースルーティング効率対エキスパート崩壊、低ビット推論対モダリティ特異的劣化といった重要な設計トレードオフを特定する。 最後に、ビデオMoEモデルの診断としてテンポラルルーティング一貫性を導入し、ルーティング対応圧縮、クロスモーダルキャッシュ管理、ハードウェア対応の共同設計、マルチモーダルエッジインテリジェンスのための統一ベンチマークにおけるオープンな研究方向性を明らかにする。

関連論文リスト

• Benchmarking Composable Compression Techniques in Mixture-of-Experts LLMs [50.677556944160216]
  MoEXBenchは、構成可能なMoE圧縮をエンドツーエンドのデプロイメントワークフローとして評価するための体系的なベンチマークである。 コンポーザブル圧縮品質、ワークロードとアーキテクチャ、プルーニング/量子化/KVキャッシュ感度、コモディティハードウェアへのデプロイメント効率を測定する。
  論文  参考訳（メタデータ） (2026-08-22T00:01:18Z)
• AdaptiveSD A Stability-Aware, Runtime-Adaptive Speculative Decoding Framework with Multi-Policy Orchestration for CPU-Constrained LLM Inference [0.0]
  固定深度投機的復号化は有望な手法の1つとして現れてきたが、実際には、帯域幅の飽和、不安定性、あるいは破滅的なリソースの枯渇による性能低下がシステム障害の原因となることが多い。 当社のソリューションは、4つの密結合したコンポーネントが連続的なフィードバックループで連携する。Adaptive Draft Controller、Dynamic Policy Engine、KVキャッシュ調整レイヤ、モニタリングエンジンである。 従来の手法はスループットを最大化することのみに重点を置いているが,提案手法の有効性は,投機的効率の標準的な測定基準と並行して,無駄な計算処理やトークン間遅延分散など,いくつかの重要な指標に基づいて評価する。
  論文  参考訳（メタデータ） (2026-07-04T13:39:40Z)
• OScaR: The Occam's Razor for Extreme KV Cache Quantization in LLMs and Beyond [50.440302567029654]
  マルチモーダルインテリジェンスにより、Key-Valueキャッシュは効率的なデプロイメントのための主要なメモリボトルネックとなった。 本研究では、チャネルごとの量子化パラダイムの本質的な限界を再考する。 X-LLMのための高精度かつ軽量なKVキャッシュ圧縮フレームワークOScaRを提案する。
  論文  参考訳（メタデータ） (2026-05-19T10:53:03Z)
• KV Cache Optimization Strategies for Scalable and Efficient LLM Inference [0.0]
  KVキャッシュは、Transformerベースの大規模言語モデル(LLM)の基本最適化である。 効率的なKVキャッシュ管理は、スケーラブルなLLMデプロイメントの1次課題となっている。 本稿では,最近のKVキャッシュ最適化手法を体系的に検討し,これらを5つの方向へ整理する。
  論文  参考訳（メタデータ） (2026-03-20T18:16:46Z)
• Efficient and Interpretable Multi-Agent LLM Routing via Ant Colony Optimization [58.59491516762626]
  マルチエージェントシステム(MAS)のための効率的かつ解釈可能なルーティングフレームワークAMRO-Sを提案する。 AMRO-Sは、意味条件付き経路選択問題としてMASルーティングをモデル化し、3つのキーメカニズムを通してルーティング性能を向上させる。 5つの公開ベンチマークと高速ストレステストによる大規模な実験により、AMRO-Sは強いルーティングベースラインに対する品質-コストトレードオフを一貫して改善することを示した。
  論文  参考訳（メタデータ） (2026-03-13T12:26:05Z)
• Omni-C: Compressing Heterogeneous Modalities into a Single Dense Encoder [18.13981375699951]
  ヘテロジニアスモダリティ間の競合共有表現を学習する単一高密度トランスフォーマーベースのエンコーダであるOmni-Cを提案する。 バックボーン内のパラメータ共有を最大化することにより、Omni-CはMoE、ペア管理、ルーティングを必要とせずに、モダリティ間の競合を効果的に軽減する。 実験では、Omni-Cは単調タスクとクロスモデルタスクのエキスパートモデルに匹敵するパフォーマンスを実現している。
  論文  参考訳（メタデータ） (2026-02-27T06:41:25Z)
• Memory- and Latency-Constrained Inference of Large Language Models via Adaptive Split Computing [8.705453442427585]
  大規模言語モデル(LLM)は様々な推論タスクでほぼ人間に近い性能を達成した。 リソース制約のあるIoT(Internet-of-Things)デバイスへのデプロイメントは、大量のパラメータフットプリントとメモリ集約型の自己回帰デコーディングのため、依然として現実的ではない。 この研究は、エッジデバイスにLLMを配置するために明示的に設計された最初の自動回帰対応分割コンピューティングフレームワークを紹介した。
  論文  参考訳（メタデータ） (2025-11-06T02:55:07Z)
• MoQAE: Mixed-Precision Quantization for Long-Context LLM Inference via Mixture of Quantization-Aware Experts [29.11217299899888]
  MoQAEは、量子化の専門家の混合による混合精度量子化法である。 この結果から,MoQAEは最先端のKVキャッシュ量子化手法よりも効率と効率の両面で優れていることがわかった。
  論文  参考訳（メタデータ） (2025-06-09T08:16:24Z)
• The Larger the Merrier? Efficient Large AI Model Inference in Wireless Edge Networks [56.37880529653111]
  大規模計算モデル(LAIM)サービスの需要は、従来のクラウドベースの推論から、低レイテンシでプライバシ保護のアプリケーションのためのエッジベースの推論へのパラダイムシフトを推進している。 本稿では,事前学習したLAIMをデバイス上のサブモデルとサーバ上のサブモデルに分割して配置するLAIM推論方式について検討する。
  論文  参考訳（メタデータ） (2025-05-14T08:18:55Z)
• Task-Oriented Feature Compression for Multimodal Understanding via Device-Edge Co-Inference [54.53508601749513]
  本稿では,マルチモーダル理解のためのタスク指向特徴圧縮(TOFC)手法を提案する。 圧縮効率を向上させるために、視覚特徴の特性に基づいて複数のエントロピーモデルを適応的に選択する。 その結果,TOFCはデータ転送オーバーヘッドを最大52%削減し,システム遅延を最大63%削減できることがわかった。
  論文  参考訳（メタデータ） (2025-03-17T08:37:22Z)
• QuantCache: Adaptive Importance-Guided Quantization with Hierarchical Latent and Layer Caching for Video Generation [84.91431271257437]
  Diffusion Transformers (DiTs) はビデオ生成において支配的なアーキテクチャとして登場した。 DiTには、計算コストやメモリコストの増大など、大きな欠点がある。 我々は,新しいトレーニングフリー推論アクセラレーションフレームワークQuantCacheを提案する。
  論文  参考訳（メタデータ） (2025-03-09T10:31:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。