論文の概要: Is Intelligence the Right Direction in New OS Scheduling for Multiple Resources in Cloud Environments?

• arxiv url: http://arxiv.org/abs/2504.15021v1
• Date: Mon, 21 Apr 2025 11:09:43 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-29 15:21:45.562706
• Title: Is Intelligence the Right Direction in New OS Scheduling for Multiple Resources in Cloud Environments?
• Title（参考訳）: インテリジェンスはクラウド環境における複数リソースのための新しいOSスケジューリングにおける正しい方向か?
• Authors: Xinglei Dou, Lei Liu, Limin Xiao,
• Abstract要約: OSML+は、共同配置されたクラウドサービスのためのMLベースの新しいリソーススケジューリングメカニズムである。 私たちの設計は、最新のオフ・ザ・シェルフの大規模サーバなど、さまざまなクラウドサーバでうまく機能します。
• 参考スコア（独自算出の注目度）: 4.546118183880352
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Making it intelligent is a promising way in System/OS design. This paper proposes OSML+, a new ML-based resource scheduling mechanism for co-located cloud services. OSML+ intelligently schedules the cache and main memory bandwidth resources at the memory hierarchy and the computing core resources simultaneously. OSML+ uses a multi-model collaborative learning approach during its scheduling and thus can handle complicated cases, e.g., avoiding resource cliffs, sharing resources among applications, enabling different scheduling policies for applications with different priorities, etc. OSML+ can converge faster using ML models than previous studies. Moreover, OSML+ can automatically learn on the fly and handle dynamically changing workloads accordingly. Using transfer learning technologies, we show our design can work well across various cloud servers, including the latest off-the-shelf large-scale servers. Our experimental results show that OSML+ supports higher loads and meets QoS targets with lower overheads than previous studies.
• Abstract（参考訳）: インテリジェントにすることは、System/OS設計において有望な方法である。 提案するOSML+は,コロケーション型クラウドサービスのためのMLベースのリソーススケジューリング機構である。 OSML+は、キャッシュとメインメモリの帯域幅のリソースを、メモリ階層とコンピューティングコアのリソースを同時にスケジュールする。 OSML+はスケジューリング中に複数のモデルの共同学習アプローチを使用しており、例えばリソース不足の回避、アプリケーション間でリソースの共有、異なる優先順位のアプリケーションに対する異なるスケジューリングポリシーの実現など、複雑なケースを処理できる。 OSML+は、以前の研究よりもMLモデルを用いてより高速に収束することができる。 さらに、OSML+は自動的に学習し、動的に変化するワークロードを処理できる。 トランスファーラーニング技術を使用して、最新のオフザシェルの大規模サーバを含む、さまざまなクラウドサーバで、私たちの設計がうまく機能することを示す。 実験の結果,OSML+はより高負荷でQoS目標を達成でき,従来の研究よりも低オーバーヘッドで達成できることがわかった。

関連論文リスト

• Local-Cloud Inference Offloading for LLMs in Multi-Modal, Multi-Task, Multi-Dialogue Settings [25.184186431458862]
  大規模言語モデル(LLM)は、複数の対話やマルチモーダルデータソースを通じてマルチタスク解決能力を示すことができる。 LLMのこれらのユニークな特徴は、その大きなモデルサイズとともに、そのデプロイメントをより困難にしている。 我々は,マルチモーダル,マルチタスク,マルチ対話という3次元オフロードを備えたローカルクラウドLLM推論システムであるTMOを設計する。
  論文  参考訳（メタデータ） (2025-02-16T06:18:28Z)
• Reinforcement Learning for Long-Horizon Interactive LLM Agents [56.9860859585028]
  インタラクティブデジタルエージェント(IDA)は、ステートフルなデジタル環境のAPIを利用して、ユーザの要求に応じてタスクを実行する。 対象環境で直接IDAを訓練する強化学習(RL)手法を提案する。 我々は、近似ポリシー最適化のデータおよびメモリ効率の亜種である LOOP を導出する。
  論文  参考訳（メタデータ） (2025-02-03T18:35:42Z)
• Virgo: A Preliminary Exploration on Reproducing o1-like MLLM [89.50691075011429]
  スロー思考推論システムは、推論中の思考時間をスケールすることで、広く注目を集めている。 マルチモーダル大規模言語モデル(MLLM)への適応にも関心が高まっている。 本稿では,少量のテキスト長文思考データを用いて,有能なMLLMを微調整することで,簡単なアプローチを探索する。 自然言語で表現されたこれらの長文推論プロセスは,MLLMに効果的に転送できることがわかった。
  論文  参考訳（メタデータ） (2025-01-03T17:14:16Z)
• Is the GPU Half-Empty or Half-Full? Practical Scheduling Techniques for LLMs [3.7758841366694353]
  文献および実用サービスシステムからスケジューリング手法を調査する。 文献からのスケジューラは、しばしば優れたパフォーマンスを得るが、かなりの複雑さをもたらす。 対照的に、実際のデプロイメントにおけるスケジューラは、しばしばテーブルに簡単にパフォーマンス向上を残しますが、実装、デプロイ、設定が容易です。
  論文  参考訳（メタデータ） (2024-10-23T13:05:46Z)
• Efficient Prompting for LLM-based Generative Internet of Things [88.84327500311464]
  大規模言語モデル(LLM)は、様々なタスクにおいて顕著な能力を示しており、最近、IoT(Internet of Things)アプリケーションにLLMの能力を統合することが研究の注目を集めている。 セキュリティ上の懸念から、多くの機関は最先端の商用LLMサービスへのアクセスを避け、ローカルネットワーク環境でのオープンソースLLMのデプロイと利用を必要としている。 本研究では,LLMを用いた生成IoT(Generative IoT)システムを提案する。
  論文  参考訳（メタデータ） (2024-06-14T19:24:00Z)
• Towards Modular LLMs by Building and Reusing a Library of LoRAs [64.43376695346538]
  マルチタスクデータに対して最適なアダプタライブラリを構築する方法について検討する。 モデルベースクラスタリング(MBC)を導入し,パラメータの類似性に基づいてタスクをグループ化する手法を提案する。 ライブラリを再使用するために,最も関連性の高いアダプタの動的選択を可能にする新しいゼロショットルーティング機構であるArrowを提案する。
  論文  参考訳（メタデータ） (2024-05-18T03:02:23Z)
• Efficient Multimodal Large Language Models: A Survey [60.7614299984182]
  MLLM(Multimodal Large Language Models)は、視覚的質問応答、視覚的理解、推論などのタスクにおいて顕著な性能を示す。 モデルサイズと高いトレーニングと推論コストが、MLLMのアカデミックや産業への応用を妨げている。 本調査は,効率的なMLLMの現状を包括的かつ体系的に概観するものである。
  論文  参考訳（メタデータ） (2024-05-17T12:37:10Z)
• Preble: Efficient Distributed Prompt Scheduling for LLM Serving [8.706905652975554]
  本稿では,プロンプト共有をターゲットとし最適化する最初の分散LLMサービスプラットフォームであるPrebleを提案する。 我々は,新しいスケジューリングアルゴリズムと階層的スケジューリング機構を用いて,KV状態の再利用と計算負荷分散を協調的に最適化する分散スケジューリングシステムを構築した。 2つのオープンソースLCM上での実際のワークロードと要求到着パターンによるPrebleの評価は、平均レイテンシで1.5倍から14.5倍、p99レイテンシで2倍から10倍のSOTAサービスシステムより優れていることを示している。
  論文  参考訳（メタデータ） (2024-05-08T06:30:58Z)
• Small LLMs Are Weak Tool Learners: A Multi-LLM Agent [73.54562551341454]
  大規模言語モデル(LLM)エージェントはスタンドアロンのLLMの機能を大幅に拡張する。 本稿では、上記の機能をプランナー、呼び出し元、要約器に分解する新しい手法を提案する。 このモジュール化されたフレームワークは、個々の更新と、それぞれの機能を構築するための小さなLLMの潜在的な使用を容易にする。
  論文  参考訳（メタデータ） (2024-01-14T16:17:07Z)
• Venn: Resource Management for Collaborative Learning Jobs [24.596584073531886]
  コラボレーション学習(CL)は、機械学習(ML)と分散エッジデバイス間のデータサイエンスのための有望なアプローチとして登場した。 本稿では,複数のCLジョブ間で異種デバイスを効率的にスケジュールするCLリソースマネージャであるVennを紹介する。 評価の結果,最先端のCLリソースマネージャと比較して,Vennは平均JCTを最大1.88倍改善した。
  論文  参考訳（メタデータ） (2023-12-13T17:13:08Z)
• In Situ Framework for Coupling Simulation and Machine Learning with Application to CFD [51.04126395480625]
  近年、流体力学計算を容易にする機械学習(ML)の多くの成功例が報告されている。 シミュレーションが大きくなるにつれて、従来のオフライン学習のための新しいトレーニングデータセットの生成は、I/Oとストレージのボトルネックを生み出します。 この作業は、この結合を単純化し、異種クラスタでのその場トレーニングと推論を可能にするソリューションを提供する。
  論文  参考訳（メタデータ） (2023-06-22T14:07:54Z)
• Machine learning for cloud resources management -- An overview [0.0]
  本研究では,機械学習と組み合わされたクラウドリソース管理の最も重要な課題について考察する。 さまざまな種類のクラウドリソース管理分野で使用されるML技術と,その比較を合理的に行うために,大規模な研究コレクションが使用されている。 本稿では,各分野に最適なMLモデルを提案する。
  論文  参考訳（メタデータ） (2021-01-28T13:23:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。