論文の概要: EdgeFM: Efficient Edge Inference for Vision-Language Models

• arxiv url: http://arxiv.org/abs/2604.27476v1
• Date: Thu, 30 Apr 2026 06:18:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-01 16:31:53.952471
• Title: EdgeFM: Efficient Edge Inference for Vision-Language Models
• Title（参考訳）: EdgeFM:ビジョンランゲージモデルのための効率的なエッジ推論
• Authors: Mengling Deng, Yuanpeng Chen, Sheng Yang, Wei Tao, Wenhai Zhang, Hui Song, Linyuanhao Qin, Kai Zhao, Xiaojun Ye, Shanhui Mo, Jingli Fan, Shuang Zhang, Bei Liu, Tiankun Zhao, Xiangjing An,
• Abstract要約: We propose EdgeFM, a lightweight, agent-driven VLM/LLM inference framework suitable for cross-platform industrial edge deployment。 スキルを直接呼び出すことで、プロプライエタリなツールチェーンが支配するパフォーマンスギャップを効果的に埋めることができます。 EdgeFMは、エンド・ツー・エンドの推論性能を良好に提供し、さまざまなエッジ産業シナリオに対して、オープンソースでプロダクショングレードのソリューションを提供しています。
• 参考スコア（独自算出の注目度）: 11.086903401744713
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Vision-language models (VLMs) have demonstrated strong applicability in edge industrial applications, yet their deployment remains severely constrained by requirements for deterministic low latency and stable execution under resource limitations. Existing frameworks either rely on bloated general-purpose designs or force developers into opaque, hardware-specific closed-source ecosystems, leading to hardware lock-in limitation and poor cross-platform adaptability. Observing that modern AI agents can efficiently search and tune configurations to generate highly optimized low-level kernels for standard LLM operators, we propose EdgeFM, a lightweight, agent-driven VLM/LLM inference framework tailored for cross-platform industrial edge deployment. EdgeFM removes non-essential features to reduce single-request latency, and encapsulates agent-tuned kernel optimizations as a modular library of reusable skills. By allowing direct invocation of these skills rather than waiting for closed-source implementations, it effectively closes the performance gap long dominated by proprietary toolchains. The framework natively supports mainstream platforms including x86 and NVIDIA Orin SoCs, and represents the first end-to-end VLA deployment on the domestic Horizon Journey platform, enhancing cross-platform portability. In most cases, it yields clearly better inference performance than conventional vendor-specific toolchains, achieving up to 1.49 times speedup over TensorRT-Edge-LLM on the NVIDIA Orin platform. Experimental results show that EdgeFM delivers favorable end-to-end inference performance, providing an open-source, production-grade solution for diverse edge industrial scenarios.
• Abstract（参考訳）: 視覚言語モデル(VLM)は、エッジ産業アプリケーションにおいて強力な適用性を示しているが、決定論的低レイテンシとリソース制限下での安定した実行の要件により、その展開は厳しい制約を受け続けている。 既存のフレームワークは肥大化した汎用設計に依存するか、開発者が不透明でハードウェア固有のクローズドソースエコシステムに強制する。 最新のAIエージェントが、標準LLM演算子に対して高度に最適化された低レベルカーネルを生成するために、構成を効率的に検索およびチューニングできるのを見て、我々は、クロスプラットフォーム産業エッジデプロイメントに適した軽量でエージェント駆動のVLM/LLM推論フレームワークであるEdgeFMを提案する。 EdgeFMは、単一要求レイテンシを低減するために非必要機能を取り除き、再利用可能なスキルのモジュールライブラリとしてエージェントチューニングされたカーネル最適化をカプセル化する。 クローズドソース実装を待つのではなく、これらのスキルを直接呼び出すことで、プロプライエタリなツールチェーンが支配するパフォーマンスギャップを効果的に埋めることができます。 このフレームワークはx86やNVIDIA Orin SoCsといったメインストリームプラットフォームをネイティブにサポートしており、ホームのHorizon Journeyプラットフォームにおける初のエンドツーエンドのVLAデプロイメントであり、クロスプラットフォームのポータビリティが向上している。 ほとんどの場合、NVIDIA Orinプラットフォーム上でTensorRT-Edge-LLMの最大1.49倍のスピードアップを達成するため、従来のベンダー固有のツールチェーンよりも明らかに推論性能が向上する。 実験結果によると、EdgeFMは、さまざまなエッジ産業シナリオに対して、オープンソースのプロダクショングレードソリューションを提供する、優れたエンドツーエンド推論性能を提供する。

関連論文リスト

• AgenTEE: Confidential LLM Agent Execution on Edge Devices [4.9434226170553535]
  AgenTEEは、エッジデバイスに機密エージェントパイプラインをデプロイするシステムである。 センシティブな資産とランタイム状態の強いシステムレベルの分離を強制する。 このようなマルチcVMシステムは実用的であり,実行時のオーバーヘッドが5.15%未満で,ほぼネイティブに近い性能を実現している。
  論文  参考訳（メタデータ） (2026-04-20T13:13:31Z)
• Edge Deployment of Small Language Models, a comprehensive comparison of CPU, GPU and NPU backends [0.2578242050187029]
  エッジデバイスは通常、処理能力、メモリ、エネルギー消費の厳しい制約の下で動作します。 Small Language Models (SLM)は、リソース制約のある環境にAI推論をもたらす軽量な代替手段を提供する。 各プラットフォームで利用可能な商用ソリューションの最大性能と処理効率とエネルギー効率を解析する。
  論文  参考訳（メタデータ） (2025-11-27T11:11:01Z)
• MOBIUS: Big-to-Mobile Universal Instance Segmentation via Multi-modal Bottleneck Fusion and Calibrated Decoder Pruning [91.90342432541138]
  モデルサイズとトレーニングデータのスケールアップには、インスタンスレベルの知覚のための高度な基盤モデルがある。 資源制約されたプラットフォームにおける高い計算コスト制限。 我々は,高性能コンピューティングプラットフォームとモバイルデバイスの両方において,効率的なセグメンテーションのための新しいベンチマークを導入する。
  論文  参考訳（メタデータ） (2025-10-16T18:00:00Z)
• xLLM Technical Report [57.13120905321185]
  我々は,知的かつ効率的なLarge Language Model (LLM)推論フレームワークであるxLLMを紹介する。 xLLMは、新しい分離されたサービスエンジンアーキテクチャを構築する。 xLLM-Engineは、システムとアルゴリズムの設計を最適化し、コンピュータリソースを完全に飽和させる。
  論文  参考訳（メタデータ） (2025-10-16T13:53:47Z)
• Edge-First Language Model Inference: Models, Metrics, and Tradeoffs [0.7980273012483663]
  本研究は、単一エッジデバイス上でのSLM機能の詳細なベンチマークから始まる、エッジとクラウドのデプロイメント間の相互作用について検討する。 エッジ推論が低コストで同等のパフォーマンスを提供するシナリオや、スケーラビリティやモデルキャパシティの制限によりクラウドのフォールバックが不可欠になるシナリオを特定します。 プラットフォームレベルの比較と設計の洞察を,一様かつ適応的なLM推論システム構築のために提案する。
  論文  参考訳（メタデータ） (2025-05-22T10:43:00Z)
• WDMoE: Wireless Distributed Mixture of Experts for Large Language Models [68.45482959423323]
  大規模言語モデル(LLM)は様々な自然言語処理タスクにおいて大きな成功を収めた。 本稿では,無線ネットワーク上での基地局(BS)およびモバイルデバイスにおけるエッジサーバ間のLLMの協調展開を実現するために,無線分散Mixture of Experts(WDMoE)アーキテクチャを提案する。
  論文  参考訳（メタデータ） (2024-11-11T02:48:00Z)
• Read-ME: Refactorizing LLMs as Router-Decoupled Mixture of Experts with System Co-Design [59.00758127310582]
  本稿では、事前学習された高密度LCMをより小さなMoEモデルに変換する新しいフレームワークRead-MEを提案する。 当社のアプローチでは,専門家の抽出にアクティベーション空間を用いる。 Read-MEは、同様のスケールの他の人気のあるオープンソース高密度モデルよりも優れています。
  論文  参考訳（メタデータ） (2024-10-24T19:48:51Z)
• Bridge the Future: High-Performance Networks in Confidential VMs without Trusted I/O devices [9.554247218443939]
  信頼されたI/O(Trusted I/O, TIO)は、秘密インパクト(CVM)のためのI/Oパフォーマンスを改善するための魅力的なソリューションである。 本稿では,すべてのI/Oタイプが,特にネットワークI/Oのメリットを享受できるわけではないことを強調する。 セキュアで効率的なデータプレーン開発キット(DPDK)拡張から構築したソフトウェアソリューションであるFOlioについて述べる。
  論文  参考訳（メタデータ） (2024-03-05T23:06:34Z)
• Energy-efficient Task Adaptation for NLP Edge Inference Leveraging Heterogeneous Memory Architectures [68.91874045918112]
  Adapter-ALBERTは、様々なタスクにわたる最大データ再利用のための効率的なモデル最適化である。 検証されたNLPエッジアクセラレータ上でシミュレーションを行うことにより、モデルを不均一なオンチップメモリアーキテクチャにマッピングする利点を実証する。
  論文  参考訳（メタデータ） (2023-03-25T14:40:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。