論文の概要: Interflow: Breaking the Offline-Online Barrier for Private AI at the Edge

• arxiv url: http://arxiv.org/abs/2610.27431v1
• Date: Tue, 20 Oct 2026 00:30:44 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-21 21:58:47.559212
• Title: Interflow: Breaking the Offline-Online Barrier for Private AI at the Edge
• Title（参考訳）: Interflow: エッジでプライベートAIのためのオフラインバリアを壊す
• Abstract要約: プライバシ保護機械学習(PPML)は、ユーザデータを公開することなく、強力なAIサービスをエッジに持ち込むための有望な道を提供する。 既存のMPCシステムは、通常、オンライン実行から入力非依存の相関ランダムネス生成を分離する。 そこで我々は,この分離をバッチ処理によって再考し,相関ランダム生成とオンライン実行とのパイプライン化を提案する。
• 参考スコア（独自算出の注目度）: 5.728121210602148
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Privacy-preserving machine learning (PPML) offers a promising path toward bringing powerful AI services to the edge without exposing sensitive user data. However, its practical deployment remains constrained by the high communication, computation, and data-movement costs of secure multi-party computation (MPC), particularly during nonlinear inference. Existing MPC systems typically decouple input-independent correlated randomness generation from online execution, creating substantial memory pressure to buffer single-use cryptographic data. Moreover, limited storage can force a stop-and-refill execution pattern that repeatedly stalls the pipeline to replenish these buffers, bringing randomness generation back onto the critical path. We propose Interflow, an algorithm-hardware co-design that rethinks this separation by batch-wise processing and pipelining correlated-randomness generation with online execution: while the current batch consumes pre-generated randomness to execute secure nonlinear operations, correlation generation proceeds concurrently for the next batch. By leveraging interleaved execution, efficient data movement, and hardware acceleration, the design transforms preprocessing from a serialized, storage-intensive offline phase into a continuously overlapped pipeline that generates correlated randomness closer to the point of consumption, reducing memory footprint and data movement overhead. Implemented on the Zynq UltraScale+ ZCU102, Interflow improves nonlinear evaluation throughput by up to 1.55x for CNN operators and 1.48x for transformer operators. It achieves up to 1.26x speedup for ResNet-50 and up to 1.21x speedup for BERT-base, and reduces memory footprint by up to 37%, compared with baseline frameworks.
• Abstract（参考訳）: プライバシ保護機械学習(PPML)は、機密性の高いユーザデータを公開することなく、強力なAIサービスをエッジに持ち込むための有望な道を提供する。 しかし、その実践的な展開は、特に非線形推論において、セキュアなマルチパーティ計算(MPC)の高通信、計算、データ移動コストに制約されている。 既存のMPCシステムは、入力非依存の相関ランダム性生成をオンライン実行から切り離し、単一使用暗号データをバッファリングするためにかなりのメモリ圧力を発生させるのが一般的である。 さらに、限られたストレージでは、パイプラインが繰り返し停止してバッファを補充するストップ・アンド・リフィル実行パターンを強制し、ランダムな生成をクリティカルパスに戻すことができる。 我々は,この分離をバッチ処理によって再考し,相関ランダムの生成をオンライン実行とともにパイプライン化するアルゴリズムハードウェアの共同設計であるInterflowを提案する。 インターリーブされた実行、効率的なデータ移動、ハードウェアアクセラレーションを活用することにより、シリアライズされたストレージ集約型のオフラインフェーズから連続的に重なり合うパイプラインへと前処理を変換し、消費点に近い相関ランダム性を生成し、メモリフットプリントとデータ移動オーバーヘッドを低減する。 Zynq UltraScale+ZCU102に実装されたInterflowは、CNNオペレータの1.55倍、トランスフォーマーオペレータの1.48倍の非線形評価スループットを向上させる。 ResNet-50の最大1.26倍のスピードアップ、BERTベースの最大1.21倍のスピードアップを実現し、ベースラインフレームワークと比較してメモリフットプリントを最大37%削減する。

関連論文リスト

• TRACE: Transformer Residual Activation Codebook Encoding for Communication-efficient Distributed Edge Inference [60.442064966340524]
  Transformer Residual Codebook Residual (トレース) Traceは、Vector Quantizerを、コードブックにインデックスされたキー/値表現の後の残余に配置する。 トレースは最大1.89%の精度で、最大1.27倍のエンドツーエンドの推論スピードアップを達成する。
  論文  参考訳（メタデータ） (2026-10-15T09:57:04Z)
• Communication-Efficient LLM Adaptation over Decentralized GPU Meshes [48.95736135870457]
  本稿では,事前学習後適応のための非同期2回路システムを提案する。 高速圧縮トレーニング回路は、パイプライン並列転送と圧縮データ並列同期のためのマスキングアクティベーションを用いたスループットを駆動する。 マスクは,この方法で固定された場合,高い圧縮速度でプレトレーニング後の適応を支援する。
  論文  参考訳（メタデータ） (2026-09-13T06:56:50Z)
• X-Stage: An Overlooked Pipeline Stage for Communication-Computation Overlap in DiT Inference [18.883833948875488]
  デバイス初期通信により、分散拡散トランスフォーマー(DiT)の永続的なGPUカーネルはリモートストアを発行する。 既存のシステムスケジュールは、通信が発行され、受信されたデータが消費可能になったときであるが、リモート可視完了前の発行後の進捗を省略する。 X-Stageはソフトウェアで見えるポストイシューパイプラインのステージです。
  論文  参考訳（メタデータ） (2026-07-25T16:04:36Z)
• DSpark: Confidence-Scheduled Speculative Decoding with Semi-Autoregressive Generation [69.8840101036735]
  投機的復号化はLarge Language Model (LLM)推論を加速させる。 最近の並列起草者は、1つの前方通過で長いトークン列を効率的に提案するが、トークン間の依存関係が欠如しているため、急速に受け入れが低下する。 我々はDSparkという投機的復号化フレームワークを導入し、高いスループットの並列生成を適応的かつロードアウェアな検証と統合する。
  論文  参考訳（メタデータ） (2026-07-06T14:28:06Z)
• Latent Recurrent Transformer: Architecture Exploration, Training Strategies, and Scaling Behavior [107.2098567818173]
  Latent Recurrent Transformer (LRT) は自己回帰変換器の軽量化である。 LRTは、次のトークンのリカレントメモリとして、前のトークンから高レベルなソース層隠れステートを再利用する。
  論文  参考訳（メタデータ） (2026-05-26T10:10:26Z)
• Expert Streaming: Accelerating Low-Batch MoE Inference via Multi-chiplet Architecture and Dynamic Expert Trajectory Scheduling [29.998645673111536]
  Mixture-of-Expertsは、ローバッチ推論を備えたエッジAIの有望なアプローチである。 MoEのスパーシリティと動的ゲーティングシフト 分散戦略は、より微細なランタイムの粒度に向かっている。 Fully Sharded Expert Data Parallelismは、低バッチのMoE計算用に特別に設計された並列化パラダイムである。
  論文  参考訳（メタデータ） (2026-03-29T10:44:55Z)
• Silentflow: Leveraging Trusted Execution for Resource-Limited MPC via Hardware-Algorithm Co-design [6.998260344481881]
  我々はCOT生成における通信を排除するプロトコルであるSilentflowを紹介する。 エンドツーエンドのレイテンシとリソース要求のバランスをとり、最先端のプロトコルよりも39.51倍のスピードアップを実現しています。
  論文  参考訳（メタデータ） (2025-08-18T21:00:10Z)
• UIO-LLMs: Unbiased Incremental Optimization for Long-Context LLMs [111.05657299071648]
  UIO-LLMsは、長いコンテキスト設定下でのメモリ拡張トランスフォーマーの漸進的な最適化手法である。 本稿では,TBPTTアルゴリズムを用いて学習過程を改良する。 UIO-LLMは、Llama2-7b-chatのコンテキストウィンドウを4Kから100Kトークンに、2%の追加パラメータで拡張するなど、長いコンテキストを扱うことに成功した。
  論文  参考訳（メタデータ） (2024-06-26T08:44:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。