論文の概要: Towards Online Code Specialization of Systems
- arxiv url: http://arxiv.org/abs/2501.11366v1
- Date: Mon, 20 Jan 2025 09:55:15 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-01-22 14:23:32.539365
- Title: Towards Online Code Specialization of Systems
- Title（参考訳）: システムのオンラインコードスペシャライゼーションに向けて
- Authors: Vaastav Anand, Deepak Garg, Antoine Kaufmann,
- Abstract要約: 我々は性能クリティカルな低レベルシステムに対して、根本的に異なるアプローチを提唱する。
我々はジャスト・イン・タイムのコンパイルを利用して、開発者が特定した特殊化ポイントに基づいてシステムコードを変更する。
ネットワークスタックのような低レベルのシステムコードでも,オンラインの特殊化(i)が実現可能であること,(ii)複雑なコストモデルを必要としないシステム性能の向上,(iii)手作業による探索に比べて開発者の努力が低くなることを実証する。
- 参考スコア（独自算出の注目度）: 1.470243173272826
- License:
- Abstract: Specializing low-level systems to specifics of the workload they serve and platform they are running on often significantly improves performance. However, specializing systems is difficult because of three compounding challenges: i) specialization for optimal performance requires in-depth compile-time changes; ii) the right combination of specialization choices for optimal performance is hard to predict a priori; and iii) workloads and platform details often change online. In practice, benefits of specialization are thus not attainable for many low-level systems. To address this, we advocate for a radically different approach for performance-critical low-level systems: designing and implementing systems with and for runtime code specialization. We leverage just-in-time compilation to change systems code based on developer-specified specialization points as the system runs. The JIT runtime automatically tries out specialization choices and measures their impact on system performance, e.g. request latency or throughput, to guide the search. With Iridescent, our early prototype, we demonstrate that online specialization (i) is feasible even for low-level systems code, such as network stacks, (ii) improves system performance without the need for complex cost models, (iii) incurs low developer effort, especially compared to manual exploration. We conclude with future opportunities online system code specialization enables.
- Abstract（参考訳）: 低レベルのシステムを、提供するワークロードや、実行中のプラットフォームに特化することで、パフォーマンスが大幅に向上します。
しかし、3つの複合的な課題のため、システムの専門化は困難である。
一 最適性能の特化には、詳細なコンパイル時の変更が必要である。
二 最適性能のための特化選択の正しい組み合わせは、先入観を予測することが困難であること。
三 ワークロードとプラットフォームの詳細がしばしばオンラインに変化すること。
実際には、多くの低レベルシステムでは、特殊化の利点は達成できない。
この問題に対処するため、我々はパフォーマンスクリティカルな低レベルのシステムに対して、実行時コードの特殊化によるシステムの設計と実装という、根本的に異なるアプローチを提唱する。
我々は、ジャスト・イン・タイムのコンパイルを利用して、開発者が指定した特殊化ポイントに基づいてシステムコードを変更する。
JITランタイムは自動的に特殊化の選択を試行し、例えば要求遅延やスループットといったシステムパフォーマンスへの影響を測定して、検索をガイドします。
Iridescentは初期のプロトタイプで、オンラインの専門化を実証する
i)はネットワークスタックのような低レベルのシステムコードでも実現可能である。
(ii)複雑なコストモデルを必要としないシステム性能の向上。
三 開発努力の低さ、特に手作業による探究と比較して。
将来、オンラインシステムコードの専門化が可能となる可能性について結論付けます。
関連論文リスト
- LLM-based Optimization of Compound AI Systems: A Survey [64.39860384538338]
複合AIシステムでは、LLMコール、レトリバー、コードインタプリタ、ツールなどのコンポーネントが相互接続される。
近年の進歩により, LLM を用いたパラメータのエンドツーエンド最適化が可能となった。
本稿では,複合AIシステムのLCMに基づく最適化の原理と動向について述べる。
論文 参考訳（メタデータ） (2024-10-21T18:06:25Z) - SPRIG: Improving Large Language Model Performance by System Prompt Optimization [45.96513122345295]
大きな言語モデル(LLM)は多くのシナリオで印象的な機能を示しているが、そのパフォーマンスはプロンプトの選択に依存している。
本研究では,モデルの性能を最大化するために,既定成分からのプロンプトを反復的に構築する編集に基づく遺伝的アルゴリズムであるSPRIGを提案する。
47種類のタスクの集合に対して,システムプロンプトの性能を評価し,一般化性を確保する。
論文 参考訳（メタデータ） (2024-10-18T18:51:44Z) - Characterization of Large Language Model Development in the Datacenter [55.9909258342639]
大きな言語モデル(LLM)は、いくつかの変換タスクにまたがって素晴らしいパフォーマンスを示している。
しかし,大規模クラスタ資源を効率よく利用してLCMを開発することは容易ではない。
我々は,GPUデータセンタAcmeから収集した6ヶ月のLDM開発ワークロードの詳細な評価を行った。
論文 参考訳（メタデータ） (2024-03-12T13:31:14Z) - BAGUA: Scaling up Distributed Learning with System Relaxations [31.500494636704598]
BAGUAは分散データ並列トレーニングのための新しい通信フレームワークである。
新しいシステム設計によって、BAGUAは様々な最先端の分散学習アルゴリズムを実装し拡張する能力を持つ。
最大16台のマシンを持つ運用クラスタでは、BAGUAは、エンドツーエンドのトレーニング時間において、PyTorch-DDP、Horovod、BytePSを上回ります。
論文 参考訳（メタデータ） (2021-07-03T21:27:45Z) - Multi-Exit Semantic Segmentation Networks [78.44441236864057]
本稿では,最先端セグメンテーションモデルをMESSネットワークに変換するフレームワークを提案する。
パラメトリド早期出口を用いた特別訓練されたCNNは、より簡単なサンプルの推測時に、その深さに沿って保存する。
接続されたセグメンテーションヘッドの数、配置、アーキテクチャとエグジットポリシーを併用して、デバイス機能とアプリケーション固有の要件に適応する。
論文 参考訳（メタデータ） (2021-06-07T11:37:03Z) - RecPipe: Co-designing Models and Hardware to Jointly Optimize
Recommendation Quality and Performance [6.489720534548981]
RecPipeは、推奨品質と推論性能を共同で最適化するシステムである。
RPAccelは、品質、テールレイテンシ、システムスループットを共同で最適化するカスタムアクセラレータである。
論文 参考訳（メタデータ） (2021-05-18T20:44:04Z) - MLComp: A Methodology for Machine Learning-based Performance Estimation
and Adaptive Selection of Pareto-Optimal Compiler Optimization Sequences [10.200899224740871]
組込みソフトウェア最適化のための新しい強化学習型ポリシー手法を提案する。
異なる機械学習モデルが自動的にテストされ、最適なものを選択する。
また、ターゲットとするプラットフォームやアプリケーションドメインに対して、フレームワークを効率的にトレーニングできることも示しています。
論文 参考訳（メタデータ） (2020-12-09T19:13:39Z) - Centralized and distributed online learning for sparse time-varying
optimization [2.7006549420999937]
時間変化システムを追跡するオンラインアルゴリズムの開発は、ここ数年で多くの注目を集めている。
本稿では,特定のモデルを採用しないオンライン学習手法を提案する。
具体的には、集中型および分散型アルゴリズムを開発し、動的後悔の観点から理論的に解析する。
論文 参考訳（メタデータ） (2020-01-31T16:29:38Z) - Optimal by Design: Model-Driven Synthesis of Adaptation Strategies for
Autonomous Systems [9.099295007630484]
我々は,自律システムのための最適適応戦略のモデルベース要求駆動型合成のためのフレームワークであるOptimal by Design (ObD)を提案する。
ObDは、自己適応システムの基本的な要素、すなわちシステム、能力、要求、環境の高レベルな記述のためのモデルを提案する。
これらの要素に基づいてマルコフ決定プロセス(MDP)が構築され、最適な戦略や最も報いるシステム行動を計算する。
論文 参考訳（メタデータ） (2020-01-16T12:49:55Z) - A System for Real-Time Interactive Analysis of Deep Learning Training [66.06880335222529]
現在利用可能なシステムは、トレーニングプロセスが始まる前に指定しなければならないログデータのみを監視することに限定されている。
本稿では,リアルタイム情報を生成するライブプロセス上で対話型クエリを実行可能にするシステムを提案する。
論文 参考訳（メタデータ） (2020-01-05T11:33:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。