論文の概要: From PyTorch to the NPU: LLM-Agent-Driven Model Conversion Across Heterogeneous Inference Runtimes
- arxiv url: http://arxiv.org/abs/2609.27249v1
- Date: Wed, 23 Sep 2026 02:34:21 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-25 00:05:17.843925
- Title: From PyTorch to the NPU: LLM-Agent-Driven Model Conversion Across Heterogeneous Inference Runtimes
- Title（参考訳）: PyTorch から NPU へ: LLM-Agent-Driven Model Conversion の不均一推論ランタイム
- Abstract要約: Edge AIモデルデプロイメントは、モデル変換、オペレータ互換性処理、ランタイム統合、精度検証を含む、多段階のエンジニアリングプロセスである。
これまではQualcomm AIのエージェントベースの自動化を実証していたが、Intel OpenVINO、Rockchip RKNN、NVIDIART、ONNXPCなど、より広範なエッジランタイム推論プラクティスでは、独自のツールチェーンと最適化戦略が提示されている。
- 参考スコア（独自算出の注目度）: 0.4499833362998488
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Edge AI model deployment is a multi-stage engineering process involving model conversion, operator compatibility handling, runtime integration, and precision verification. While prior work has demonstrated agent-based automation for Qualcomm AI Runtime, the broader edge inference runtime ecosystem, including Intel OpenVINO, Rockchip RKNN, NVIDIA TensorRT, and ONNX Runtime, presents distinct toolchains and optimization strategies. This paper extends AIPC (AI Porting Conversion, an LLM agent-driven methodology for AI model deployment automation previously demonstrated on Qualcomm AI Runtime) to multi-runtime scenarios, proposing an LLM agent-driven approach for automated single-model-to-single-runtime deployment across heterogeneous inference backends, such as Intel OpenVINO, Rockchip RKNN, NVIDIA TensorRT, and ONNX Runtime. We decompose the edge AI deployment into standardized, verifiable stages, and inject runtime-specific domain knowledge into the agent execution flow through agent skills, auxiliary scripts, and staged verification loops. Using representative vision models, we demonstrate that agent-based deployment can complete the conversion from a PyTorch model to its executable inference, targeting OpenVINO for x86/NPU, RKNN for RK3588, TensorRT for NVIDIA GPU, and ONNX Runtime for Qualcomm NPU with a focus on FP16 precision deployment feasibility verification. The contributions of this paper primarily lie in providing multi-runtime deployment engineering practice experience, toolchain mapping analysis, a layout-adaptation and inference-replacement layer that removes manual transpose insertion from the agent's repair burden, and an empirical characterization of agent deviation behavior under structured knowledge injection, rather than large-scale systematic benchmarking or cross-runtime operator repair strategy comparison.
- Abstract（参考訳）: Edge AIモデルデプロイメントは、モデル変換、オペレータ互換性処理、ランタイム統合、精度検証を含む、多段階のエンジニアリングプロセスである。
Qualcomm AI Runtimeのエージェントベースの自動化が実証されているが、Intel OpenVINO、Rockchip RKNN、NVIDIA TensorRT、ONNX Runtimeなど、より広範なエッジ推論ランタイムエコシステムは、独自のツールチェーンと最適化戦略を提示している。
本稿では,Intel OpenVINO, Rockchip RKNN, NVIDIA TensorRT, ONNX Runtimeなどのヘテロジニアス推論バックエンドにまたがる単一モデルと単一実行時の自動デプロイのための,LLMエージェント駆動のアプローチを提案する。
我々は、エッジAIデプロイメントを標準化された検証可能なステージに分解し、エージェントスキル、補助スクリプト、ステージ化された検証ループを通じてランタイム固有のドメイン知識をエージェント実行フローに注入する。
代表的ビジョンモデルを用いて、エージェントベースのデプロイメントが、x86/NPUのOpenVINO、RK3588のRKNN、NVIDIA GPUのTensorRT、Qualcomm NPUのONNX RuntimeといったPyTorchモデルから実行可能な推論への変換を完了できることを実証した。
本論文の貢献は主に、大規模システムベンチマークやクロスランタイムオペレーターの修復戦略比較ではなく、構造化知識注入下でのエージェント偏差挙動の実証的特徴として、マルチランタイムデプロイメントエンジニアリングの実践経験、ツールチェーンマッピング分析、エージェントの修復負担から手動でトランスポジション挿入を除去するレイアウト適応および推論置換層を提供することにある。
関連論文リスト
- The Meta-Agent Challenge: Are Current Agents Capable of Autonomous Agent Development? [80.24951682268332]
本稿では,自律エージェント開発のためのフロンティアモデルのキャパシティをテストするための評価フレームワークであるMeta-Agent Challenge(MAC)を紹介する。
評価の整合性を確保するため、このフレームワークは報奨ハッキングに対する多層防御によって確保される。
メタエージェントは人間工学的な基本方針とほとんど一致せず、その一部はプロプライエタリなフロンティアモデルに支配されている。
論文 参考訳（メタデータ） (2026-06-03T04:58:17Z) - ChipMATE: Multi-Agent Training via Reinforcement Learning for Enhanced RTL Generation [55.947962672433675]
ChipMATEは、RTL生成のための最初の自己学習型マルチエージェントフレームワークである。
ChipMATEは産業的な実践に触発され、VerilogエージェントとPythonのリファレンスモデルエージェントをペアにし、相互に出力を検証する。
ChipMATEは、VerilogEval V2で75.0%と80.1%パス@1を4Bと9Bベースモデルで達成している。
論文 参考訳（メタデータ） (2026-05-13T01:04:21Z) - ExecuTorch -- A Unified PyTorch Solution to Run AI Models On-Device [9.328077533565924]
ExecuTorchはエッジAIのための統合PyTorchネイティブデプロイメントフレームワークである。
これは、異質な計算環境にまたがる機械学習モデルのシームレスなデプロイを可能にする。
論文 参考訳（メタデータ） (2026-05-05T18:59:31Z) - AIPC: Agent-Based Automation for AI Model Deployment with Qualcomm AI Runtime [0.0]
本稿では,AIモデル展開の制約付き自動化のためのAIエージェント駆動型アプローチであるAIPCを紹介する。
標準化された検証可能なステージへのデプロイを分解し、デプロイドメインの知識をエージェントの実行に注入する。
PyTorchから実行可能なQNN/SNPE推論へのデプロイを7～20分以内に完了し、構造的に定期的な視覚モデルを実現する。
論文 参考訳（メタデータ） (2026-04-16T06:15:56Z) - Veri-Sure: A Contract-Aware Multi-Agent Framework with Temporal Tracing and Formal Verification for Correct RTL Code Generation [4.723302382132762]
シリコングレードの正しさは、 (i) シミュレーション中心の評価の限られたカバレッジと信頼性、 (ii) 回帰と修復幻覚、 (iii) エージェントハンドオフ間で意図が再解釈される意味的ドリフトによってボトルネックが残っている。
エージェントの意図を整合させる設計契約を確立するマルチエージェントフレームワークであるVeri-Sureを提案する。
論文 参考訳（メタデータ） (2026-01-27T16:10:23Z) - ComAgent: Multi-LLM based Agentic AI Empowered Intelligent Wireless Networks [62.031889234230725]
6Gネットワークは複雑な層間最適化に依存している。
数学の定式化に高レベルの意図を手動で翻訳することは、まだボトルネックである。
我々はマルチLLMエージェントAIフレームワークであるComAgentを紹介する。
論文 参考訳（メタデータ） (2026-01-27T13:43:59Z) - AI-NativeBench: An Open-Source White-Box Agentic Benchmark Suite for AI-Native Systems [52.65695508605237]
我々は、Model Context Protocol(MCP)とAgent-to-Agent(A2A)標準に基づいて、アプリケーション中心でホワイトボックスのAI-NativeベンチマークスイートであるAI-NativeBenchを紹介する。
エージェントスパンを分散トレース内の第一級市民として扱うことにより,本手法は,単純な機能以上の工学的特性の粒度解析を可能にする。
この研究は、モデル能力の測定から信頼性の高いAI-Nativeシステムへの移行を導く最初の体系的な証拠を提供する。
論文 参考訳（メタデータ） (2026-01-14T11:32:07Z) - Let It Flow: Agentic Crafting on Rock and Roll, Building the ROME Model within an Open Agentic Learning Ecosystem [90.17610617854247]
本稿では,エージェントモデルの生産パイプラインを最適化する基盤インフラであるエージェント学習エコシステム(ALE)を紹介する。
ALEは、重量最適化のためのトレーニング後のフレームワークであるROLL、軌道生成のためのサンドボックス環境マネージャであるROCK、効率的なコンテキストエンジニアリングのためのエージェントフレームワークであるiFlow CLIの3つのコンポーネントで構成されている。
ROMEはALEが基盤として100万件以上のトラジェクトリをトレーニングしたオープンソースエージェントです。
論文 参考訳（メタデータ） (2025-12-31T14:03:39Z) - On AI Verification in Open RAN [22.005711879375173]
我々は,Open RANにおける深層強化学習(DRL)エージェントの動作を検証するために,解釈可能なモデルに基づく軽量な検証手法を提案する。
具体的には、Decision Tree(DT)ベースの検証器を使用して、実行時にほぼリアルタイムの一貫性チェックを実行します。
また、Open RANにおける信頼できるAIの採用を保証するための今後の課題についても概説する。
論文 参考訳（メタデータ） (2025-10-21T08:48:26Z) - ComfyBench: Benchmarking LLM-based Agents in ComfyUI for Autonomously Designing Collaborative AI Systems [80.69865295743149]
この研究は、LLMベースのエージェントを使用して、協調AIシステムを自律的に設計する試みである。
ComfyBenchをベースとしたComfyAgentは,エージェントが自律的に協調的なAIシステムを生成して設計できるようにするフレームワークである。
ComfyAgentは、o1-previewに匹敵する解像度を達成し、ComfyBenchの他のエージェントをはるかに上回っているが、ComfyAgentはクリエイティブタスクの15%しか解決していない。
論文 参考訳（メタデータ） (2024-09-02T17:44:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。