論文の概要: FlashRT-PAI: Fast Kernels Are Not Fast Pipelines for Physical AI Inference

• arxiv url: http://arxiv.org/abs/2610.24349v1
• Date: Sat, 17 Oct 2026 00:35:58 GMT
• ステータス: 情報取得中
• システム内更新日: 2026-10-20 11:46:43.588581
• Title: FlashRT-PAI: Fast Kernels Are Not Fast Pipelines for Physical AI Inference
• Title（参考訳）: FlashRT-PAI: 物理AI推論のための高速カーネルは高速パイプラインではない
• Abstract要約: FLASHRT-PAIは、モデル-ハードウェアパイプラインの共設計に基づいて構築された低言語推論エンジンである。 FLASHRT-PAIには3つのコアメカニズムが組み合わさっている: ディープカーネルの融合とオーバラップオーバーラップにより、オペレータ間のバウンダリとローンチギャップがなくなる; 実行契約はパイプラインのステージDAG、更新レート、名前付きバッファを形式化する。 16ビットの精度で、FLASHRT-PAIは公式パスよりも1.3-3.7倍高速である。
• 参考スコア（独自算出の注目度）: 3.8308602670912943
• License:
• Abstract: Vision-language-action (VLA), video-action (VA), and world action models (WAMs) form the backbone of modern physical AI systems, yet their real-time single-batch inference remains a defining bottleneck. Latency is dominated not by individual kernel computation, but by system-level overhead: thousands of short kernel launches, intermediate data movement across operator boundaries, and redundant recomputation across consecutive decisions. General-purpose graph compilers cannot address these costs, as they optimize individual calls in isolation and lack visibility into cross-call state semantics and global pipeline structure. We present FLASHRT-PAI, a low-latency inference engine built around model-hardware pipeline co-design rather than isolated kernel optimization. FLASHRT-PAI combines three core mechanisms: deep kernel fusion with launch overlap eliminates inter-operator boundaries and launch gaps; an execution contract formalizes the pipeline's stage DAG, update rates, and named buffers to enable cross-decision state reuse and selective refresh; and execution-state capsules enable fast snapshot, restore, and fork of persistent pipeline state. The system also supports drop-in acceleration of unmodified PyTorch models via parity- and latency-gated kernel replacement. Evaluation covers six policies on RTX 5090 and four on Jetson AGX Thor. At matched 16-bit precision, FLASHRT-PAI is 1.3-3.7x faster than official compiled paths. Combining pipeline co-design with reduced precision delivers 3.38-12.66x speedup over official eager implementations. In LIBERO-10, four-bit pi0.5 achieves 94.04% success on Thor and 93.32% on RTX 5090, compared with 92.4% for the measured official FP16 reference. FLASHRT-PAI is open source, distributed via Hugging Face Kernel Hub, and its opt-in pi0.5 kernels have been adopted into the LeRobot framework.
• Abstract（参考訳）: 視覚言語アクション(VLA)、ビデオアクション(VA)、世界アクションモデル(WAM)は現代の物理AIシステムのバックボーンを形成するが、リアルタイムの単一バッチ推論は依然として決定的なボトルネックである。 レイテンシは、個々のカーネル計算ではなく、システムレベルのオーバーヘッドによって支配されている。数千の短いカーネル起動、オペレータ境界を越えた中間データ移動、連続的な決定による冗長な再計算である。 汎用グラフコンパイラは、個々の呼び出しを分離して最適化し、クロスコール状態セマンティクスやグローバルパイプライン構造への可視性を欠いているため、これらのコストに対処できない。 本稿では,FLASHRT-PAIについて述べる。FLASHRT-PAIは,単一カーネル最適化ではなく,モデルハードウェアパイプラインの共設計を中心に構築された低レイテンシ推論エンジンである。 FLASHRT-PAIは3つのコアメカニズムを組み合わせたものだ。ディープカーネルの融合とローンチオーバーラップは、運用間の境界とローンチギャップを排除し、実行コントラクトはパイプラインのステージDAG、更新レート、名前付きバッファを形式化し、クロス決定状態の再利用と選択的リフレッシュを可能にする。 このシステムは、パリティおよび遅延ゲートされたカーネル置換を通じて、未修正のPyTorchモデルのドロップインアクセラレーションをサポートする。 RTX 5090とJetson AGX Thorの6つのポリシーが評価されている。 16ビットの精度で、FLASHRT-PAIは公式のコンパイルパスよりも1.3-3.7倍高速である。 パイプラインの共同設計と精度の低下を組み合わせることで、公式の熱心な実装よりも3.38-12.66倍のスピードアップを実現している。 LIBERO-10では、4ビットのpi0.5がソーで94.04%、RTX 5090で93.32%、公式のFP16参照で92.4%である。 FLASHRT-PAIはオープンソースで、Hugging Face Kernel Hub経由で配布され、オプトインのpi0.5カーネルはLeRobotフレームワークに採用されている。

関連論文リスト

• RFPO: Rectified Flow Policy Optimization for Embodied Control [57.28454299980691]
  フローベースのポリシーは、継続的ロボット制御のための表現力のあるフレームワークを提供するが、その反復ODE統合は、かなりの推論コストをもたらす。 本稿では,信頼性のある数ステップ実行のためのフローポリシー最適化フレームワークRFPOを紹介する。 Unitree Go2、Boston Dynamics Spot、Unitree H1、Unitree G1の他、RFPOはワンステップ実行下でのフルステップ制御性能を一貫して維持する。
  論文  参考訳（メタデータ） (2026-10-07T17:24:46Z)
• RealtimeWAM: How Fast Can I Run My World Action Model? [18.4760626624844]
  World Action Models (WAM)は、視覚力学モデリングとアクション生成を組み合わせるが、高い推論遅延はロボットの応答性を制限する。 最近の取り組みは、FastWAMのように、テスト時に露骨な将来ビデオ生成を削除することで推論を加速する。 低遅延推論のための適応計算と並列実行を協調するフレームワークであるRealtimeWAMを提案する。
  論文  参考訳（メタデータ） (2026-10-07T13:44:34Z)
• GroundAnything: Reconciling Parallel Decoding with Precise Visual Grounding at Flash Speed [71.05944634852158]
  GroundAnythingはブロックワイズによる正確なローカライゼーションで高速並列デコーディングを再構成する。 30のグラウンドベンチマークで、私たちの自己回帰型であるGroundAnything-VLMは、この技術の新たな全体的な状態を確立します。 エントロピー誘導復号法により、GroundAnythingは、この規模の芸術の先行状態を超越している。
  論文  参考訳（メタデータ） (2026-09-30T12:20:51Z)
• Sol-H3: Recursive Self-Improvement for MiniMax-H3 Inference Acceleration on Sol-Engine across Cloud and Edge [49.97870278439677]
  MiniMax-H3は、高機能で実運用レベルのオープンソースモデルである。 本稿では,効率的なアルゴリズム設計と最適化された演算子実装を統合したフルスタック推論パイプラインを提案する。 オーディオ付き5秒のビデオは、8xGB200ノードでリアルタイムより3.5倍高速に生成され、1つのDGX Sparkで1分以内のメモリ常駐が可能である。
  論文  参考訳（メタデータ） (2026-09-28T13:15:07Z)
• Pre-Compiled Pipeline Shards for Distributed LLM Inference on Intel AI PC Fleets [0.0]
  私たちは、少数のAIPCが、単一のAIPCの能力を超えたモデルを提供できることを示しています。 Intel Tiber Cloud上のLunar Lake AI PCの4ノードデプロイは、対話的な速度で単一のユーザに提供する。
  論文  参考訳（メタデータ） (2026-08-19T17:33:28Z)
• LocalNav: Distilling Frontier VLMs and Embodied RL for On-Device Object Goal Navigation [53.88286427894783]
  視覚言語モデル(VLM)は、ロボット分野において、言語コンテキストによる環境認識を可能にする強力なツールとして登場した。 しかし、彼らの計算フットプリントは、通常、それらをクラウド実行に制限し、リソースに制約のあるロボットへのローカルなデプロイによる低レイテンシの推論を妨げる。 本稿では,大規模フロンティアモデルからの複雑な空間意味推論を,組み込みGPUデバイス上でエッジ実行を行うための軽量な4BパラメータローカルVLMに転送する蒸留戦略を提案する。
  論文  参考訳（メタデータ） (2026-06-26T09:11:59Z)
• Pushing the Limits of On-Device Streaming ASR: A Compact, High-Accuracy English Model for Low-Latency Inference [5.685908474026849]
  エッジデバイス上での高品質な自動音声認識(ASR)は、GPUアクセラレーションなしでCPUで完全に動作している間に、精度、レイテンシ、メモリフットプリントを共同で最適化するモデルを必要とする。 我々は,エンコーダデコーダ,トランスデューサ,LDMベースのパラダイムを包含し,バッチ,チャンク,ストリーミング推論モードで評価する,最先端のASRアーキテクチャの体系的研究を行った。 推奨構成であるint4 k-quant変種は、8つの標準ベンチマークで平均8.20%のストリーミングWERを実現し、0.56秒のアルゴリズムレイテンシでCPU上でのリアルタイムよりも快適に動作します。
  論文  参考訳（メタデータ） (2026-04-16T00:04:32Z)
• Forge-UGC: FX optimization and register-graph engine for universal graph compiler [2.587194279527956]
  OpenVINOやONNXのような既存のフレームワークは、しばしば不透明なコンパイルパイプラインを使用する。 Forge-UGCは、グラフキャプチャ、最適化、中間表現の低下、バックエンドスケジューリングを分離するハードウェアに依存しない設計でこの問題に対処する。
  論文  参考訳（メタデータ） (2026-04-14T04:39:16Z)
• LiQSS: Post-Transformer Linear Quantum-Inspired State-Space Tensor Networks for Real-Time 6G [85.58816960936069]
  Sixth-Generation (6G) Open Radio Access Networks (O-RAN) における能動的およびエージェント的制御は、厳密なニアタイム(Near-RT)レイテンシと計算制約の下で制御グレードの予測を必要とする。 本稿では,効率的な無線テレメトリ予測のための変圧器後パラダイムについて検討する。 本稿では、自己アテンションを安定な状態空間動的カーネルに置き換える量子インスピレーション付き状態空間テンソルネットワークを提案する。
  論文  参考訳（メタデータ） (2026-01-18T12:08:38Z)
• PointODE: Lightweight Point Cloud Learning with Neural Ordinary Differential Equations on Edge [0.8403582577557918]
  本稿では,残差接続を持つブロックの連続的スタックに基づいて,ポイントクラウド特徴抽出のためのパラメータ効率のよいアーキテクチャを提案する。 PointODEは、合成データセットと実世界のデータセットの両方の最先端モデルと競合する精度を示す。
  論文  参考訳（メタデータ） (2025-05-31T07:34:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。