論文の概要: Spyre-Accelerated Retrieval-Augmented Generation on IBM LinuxONE: A Cloud-Native Architecture for Secure, High-Throughput Enterprise AI Inference
- arxiv url: http://arxiv.org/abs/2608.21393v1
- Date: Sun, 02 Aug 2026 09:00:24 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-31 05:49:59.225896
- Title: Spyre-Accelerated Retrieval-Augmented Generation on IBM LinuxONE: A Cloud-Native Architecture for Secure, High-Throughput Enterprise AI Inference
- Title（参考訳）: IBM LinuxONEのSpyre-Accelerated Retrieval-Augmented Generation: セキュアで高速なエンタープライズAI推論のためのクラウドネイティブアーキテクチャ
- Abstract要約: 本稿では,IBM LinuxONE上で動作する6サブシステムRAGアーキテクチャについて述べる。
クエリからベクトル検索までのパイプラインのすべての部分は、単一のLinuxONEシステム内に留まる。
初期の分析では、エンドツーエンドのRAGレイテンシは2秒未満で、オンプレミスの推論と比べて最大20倍の低下を示した。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Running large language models inside enterprise environments has always bumped up against a practical wall: the data lives in one place, the AI horsepower sits somewhere else, and moving sensitive records between the two creates real headaches around latency, security, and regulatory exposure. IBM's Spyre accelerator PCIe inference card built for LinuxONE and the broader IBM Z family changes that equation. In this paper we lay out a six-subsystem RAG architecture that runs entirely on IBM LinuxONE, using Spyre for generative inference, the Telum II on-chip accelerator for lightweight classification tasks, and Red Hat OpenShift for container orchestration. Every piece of the pipeline from query intake through vector retrieval, prompt assembly, LLM inference, compliance filtering, and response delivery stays within a single LinuxONE system, so sensitive data never has to leave the hardware perimeter. We walk through the design choices behind each subsystem, dig into the Spyre compilation and serving stack, explain how LinuxONE's Secure Execution technology extends confidential-computing guarantees to AI workloads, and benchmark the architecture against cloud-GPU and on-premises alternatives. Early analysis points to end-to-end RAG latencies under two seconds and up to a 20x reduction compared to off-platform inference, all while keeping the strong encryption and auditability posture that regulated industries actually need.
- Abstract（参考訳）: データが一箇所に存在し、AIの馬力はどこかに存在し、両者の間で機密性のある記録を移動させることは、レイテンシ、セキュリティ、規制の露出に関する真の頭痛を生んでいる。
IBMのSpyreアクセラレータPCIe推論カードはLinuxONE用に構築され、より広い範囲のIBM Zファミリーはその方程式を変更する。
本稿では、生成推論にSpyre、軽量な分類タスクにTelum II on-chipアクセラレータ、コンテナオーケストレーションにRed Hat OpenShiftを使用して、完全にIBM LinuxONEで動作する6サブシステムRAGアーキテクチャを配置する。
クエリの取り込みからベクトル検索、プロンプトアセンブリ、LCM推論、コンプライアンスフィルタリング、レスポンス配信に至るまで、パイプラインのすべての部分は単一のLinuxONEシステムに留まっているため、センシティブなデータはハードウェア周辺を離れる必要はない。
各サブシステムの背後にある設計上の選択を調べ、Spyreコンパイルとサービススタックを掘り下げ、LinuxONEのSecure ExecutionテクノロジがAIワークロードに対して機密計算の保証を拡張する方法を説明し、クラウドGPUとオンプレミスの代替品に対してアーキテクチャをベンチマークします。
初期の分析では、業界が本当に必要とする強力な暗号化と監査可能性の姿勢を維持しながら、2秒以内のエンドツーエンドRAGレイテンシと、オフプラットフォーム推論の最大20倍の遅延を指摘した。
関連論文リスト
- HazardAuditor: From Executable Threats to Safer Computer-Use Agents [50.06351661912873]
既存のガードモデルは静的なプロンプトと応答をターゲットとしている。
既存の安全プラットフォームは、正規化された監督ではなく、ガードモデルで学ぶ必要がある評価判断を生成する。
両ギャップを埋める実行基盤フレームワークであるHazardAuditorを紹介します。
論文 参考訳（メタデータ） (2026-09-14T07:09:33Z) - EnclaveX: End-to-End Confidential AI with CPU/GPU TEEs [0.26249027950824505]
大規模言語モデル(LLM)は急速に普及し、AIアプリケーションの普及を促している。
ほとんどのデプロイメントは、Microsoft Azure、Google Cloud、AWSなどの集中型インフラストラクチャに依存しており、ユーザは機密データやトレーニング、微調整コードを共有する必要がある。
クラウドプロバイダは機密性と整合性を確保するために信頼しなければなりません。
我々は、(Intel TDXとAMD SEV-SNPによる)VMレベルでの機密性と整合性を保証するメカニズムとアプリケーションレベルでのアプリケーションレベルのセキュリティを保証するメカニズムを提案し、管理者が機密VMコンテンツにアクセスする能力などの脆弱性を強調した。
論文 参考訳（メタデータ） (2026-06-30T09:35:28Z) - Step-level Optimization for Efficient Computer-use Agents [51.29573359027217]
我々は、強力なコンピュータ利用エージェントは、実際は高価で遅いと論じている。
本稿では,コンピュータ利用エージェントのためのイベント駆動ステップレベルカスケードを提案する。
論文 参考訳（メタデータ） (2026-04-29T19:59:36Z) - Building a Robust Risk-Based Access Control System to Combat Ransomware's Capability to Encrypt: A Machine Learning Approach [0.510691253204425]
ランサムウェアの中核機能、無許可の暗号化は、正当な使用を妨害することなく悪意のある暗号化活動を識別しブロックする制御を要求する。
我々は、機械学習推論と必須アクセス制御を結合して、Linux上の暗号化をリアルタイムに規制する確率論的、リスクベースのアクセス制御アーキテクチャを提案する。
論文 参考訳（メタデータ） (2026-01-23T14:48:35Z) - TZ-LLM: Protecting On-Device Large Language Models with Arm TrustZone [8.538298365840877]
モバイルデバイスにデプロイされる大規模言語モデル(LLM)は、ユーザのプライバシやネットワーク遅延の低減といったメリットを提供するが、重大なセキュリティリスクをもたらす。
我々は、Arm Trusted Execution Environment (TEE)、TrustZoneを用いて、デバイス上でのLDMを保護するシステム設計を提案する。
論文 参考訳（メタデータ） (2025-11-17T18:59:20Z) - CryptOracle: A Modular Framework to Characterize Fully Homomorphic Encryption [3.5348336893819554]
本稿では,FHE のオープンソースライブラリ OpenFHE の詳細な特徴について述べる。
我々は,(1)ベンチマークスイート,(2)ハードウェアプロファイラ,(3)予測性能モデルからなるモジュラー評価フレームワークであるCryptOracleを紹介する。
論文 参考訳（メタデータ） (2025-10-03T23:30:29Z) - DRIFT: Dynamic Rule-Based Defense with Injection Isolation for Securing LLM Agents [52.92354372596197]
大規模言語モデル(LLM)は、強力な推論と計画能力のため、エージェントシステムの中心となってきています。
この相互作用は、外部ソースからの悪意のある入力がエージェントの振る舞いを誤解させる可能性がある、インジェクション攻撃のリスクも引き起こす。
本稿では,信頼に値するエージェントシステムのための動的ルールベースの分離フレームワークを提案する。
論文 参考訳（メタデータ） (2025-06-13T05:01:09Z) - vApps: Verifiable Applications at Internet Scale [2.931173822616461]
検証可能なアプリケーション(vApps)は、検証可能なコンピューティングアプリケーションの作成とデプロイを効率化するために設計された、新しい開発フレームワークである。
vAppsは、包括的なSDK内でRustベースのドメイン特化言語(DSL)を統一する。
これにより、多様なソフトウェアコンポーネントの確保に対する開発者の負担が軽減され、アプリケーションロジックに集中できるようになる。
論文 参考訳（メタデータ） (2025-04-21T02:19:06Z) - L2MAC: Large Language Model Automatic Computer for Extensive Code Generation [52.81694565226513]
トランスフォーマーベースの大規模言語モデル(LLM)は、基盤となるトランスフォーマーアーキテクチャの固定コンテキストウィンドウによって制約される。
本稿では,L2MACを提案する。L2MACは,LLMをベースとした汎用型自動計算機(von Neumann Architecture)フレームワークで,長期的かつ一貫した出力生成を実現する。
論文 参考訳（メタデータ） (2023-10-02T16:55:19Z) - FusionAI: Decentralized Training and Deploying LLMs with Massive
Consumer-Level GPUs [57.12856172329322]
我々は、巨大な未使用のコンシューマレベルのGPUをアンロックする分散システムを構想する。
このシステムは、CPUとGPUメモリの制限、ネットワーク帯域幅の低さ、ピアとデバイスの多様性など、重要な課題に直面している。
論文 参考訳（メタデータ） (2023-09-03T13:27:56Z) - Monitoring ROS2: from Requirements to Autonomous Robots [58.720142291102135]
本稿では,構造化自然言語で記述された要件から自律ロボットのランタイムモニタを生成するための形式的アプローチの概要について述べる。
当社のアプローチでは,Fletal Requirement Elicitation Tool (FRET) とランタイム検証フレームワークであるCopilotを,Ogma統合ツールを通じて統合しています。
論文 参考訳（メタデータ） (2022-09-28T12:19:13Z) - Implementing Reinforcement Learning Datacenter Congestion Control in NVIDIA NICs [64.26714148634228]
渋滞制御 (CC) アルゴリズムの設計は非常に困難になる。
現在、計算能力に制限があるため、ネットワークデバイスにAIモデルをデプロイすることはできない。
我々は,近年の強化学習CCアルゴリズムに基づく計算軽度解を構築した。
論文 参考訳（メタデータ） (2022-07-05T20:42:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。