論文の概要: Herding LLaMaS: Using LLMs as an OS Module
- arxiv url: http://arxiv.org/abs/2401.08908v1
- Date: Wed, 17 Jan 2024 01:32:45 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-18 17:27:07.194367
- Title: Herding LLaMaS: Using LLMs as an OS Module
- Title（参考訳）: LLaMaS: OSモジュールとしてLLMを使用する
- Authors: Aditya K Kamath and Sujay Yadalam
- Abstract要約: 新しいデバイスに容易に適応できるLLaMaSを提案する。
LLaMaSはLarge Language Models (LLM)を使用して、テキスト記述から新しいデバイスの有用性を抽出する。
- 参考スコア（独自算出の注目度）: 0.9790236766474201
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Computer systems are becoming increasingly heterogeneous with the emergence
of new memory technologies and compute devices. GPUs alongside CPUs have become
commonplace and CXL is poised to be a mainstay of cloud systems. The operating
system is responsible for managing these hardware resources, requiring
modification every time a new device is released. Years of research and
development are sunk into tuning the OS for high performance with each new
heterogeneous device. With the recent explosion in memory technologies and
domain-specific accelerators, it would be beneficial to have an OS that could
provide high performance for new devices without significant effort.
We propose LLaMaS which can adapt to new devices easily. LLaMaS uses Large
Language Models (LLMs) to extract the useful features of new devices from their
textual description and uses these features to make operating system decisions
at runtime. Adding support to LLaMaS for a new device is as simple as
describing the system and new device properties in plaintext.
LLaMaS reduces the burden on system administrators to enable easy integration
of new devices into production systems.
Preliminary evaluation using ChatGPT shows that LLMs are capable of
extracting device features from text and make correct OS decisions based on
those features.
- Abstract（参考訳）: 新しいメモリ技術やコンピュータ装置の出現に伴い、コンピュータシステムはますます異質になりつつある。
CPUと並行してGPUが一般的になり、CXLはクラウドシステムのメインステイとなる。
オペレーティングシステムはこれらのハードウェアリソースを管理する責任を持ち、新しいデバイスがリリースされる度に修正を必要とする。
長年の研究と開発は、新しい異種デバイスごとに高いパフォーマンスのためにOSをチューニングするために日没する。
最近のメモリ技術とドメイン固有のアクセラレーターの爆発により、新しいデバイスに高いパフォーマンスを提供するOSが大きな努力を払わずに提供されることは有益である。
我々は新しいデバイスに容易に適応できるラマを提案する。
LLaMaSはLarge Language Models(LLM)を使用して、テキスト記述から新しいデバイスの有用な機能を抽出し、これらの機能を使用して実行時にオペレーティングシステムの決定を行う。
新しいデバイスに対するLLaMaSのサポートの追加は、システムと新しいデバイスプロパティを平文で記述するのと同じくらい単純である。
LLaMaSはシステム管理者の負担を軽減し、新しいデバイスをプロダクションシステムに簡単に統合できるようにする。
ChatGPTを用いた予備評価では、LLMはテキストからデバイス特徴を抽出し、それらの特徴に基づいて正しいOS決定を行うことができる。
関連論文リスト
- MemLLM: Finetuning LLMs to Use An Explicit Read-Write Memory [49.96019697955383]
本稿では,構造化および明示的な読み書きメモリモジュールを統合することで,知識能力を向上させる新しい手法であるMemLLMを紹介する。
実験の結果,MemLLMは言語モデリング全般,特に言語モデルにおいて,性能と解釈可能性を向上させることが示唆された。
私たちは MemLLM を,メモリ拡張による LLM の基盤化と現実化に向けた重要なステップと捉えています。
論文 参考訳（メタデータ） (2024-04-17T18:13:16Z) - When Large Language Model Agents Meet 6G Networks: Perception,
Grounding, and Alignment [100.58938424441027]
モバイル端末とエッジサーバの協調を利用した6GネットワークにおけるAIエージェントの分割学習システムを提案する。
提案システムでは,LLMのための新しいモデルキャッシングアルゴリズムを導入し,コンテキストにおけるモデル利用を改善する。
論文 参考訳（メタデータ） (2024-01-15T15:20:59Z) - LLM as OS, Agents as Apps: Envisioning AIOS, Agents and the AIOS-Agent
Ecosystem [48.81136793994758]
大規模言語モデル (LLM) は(人工)知能オペレーティングシステム (IOS) またはAIOS (AIOS) として機能する。
LLMの影響はAIアプリケーションレベルに限らず、コンピュータシステム、アーキテクチャ、ソフトウェア、プログラミング言語の設計と実装に革命をもたらすものと期待している。
論文 参考訳（メタデータ） (2023-12-06T18:50:26Z) - Confidant: Customizing Transformer-based LLMs via Collaborative Edge
Training [18.526329975259483]
トランスフォーマーベースの大規模言語モデル(LLM)は、様々な自然言語処理(NLP)タスクにおいて印象的な機能を示している。
コンピューティング、メモリ、エネルギー予算に制限のあるモバイルエッジデバイスにLSMをデプロイし、微調整することは困難である。
我々は,コモディティモバイルデバイス上での最先端のLCMをカスタマイズするためのマルチバックエンド協調学習フレームワークであるConfidantを提案する。
論文 参考訳（メタデータ） (2023-11-22T13:20:59Z) - MemGPT: Towards LLMs as Operating Systems [50.02623936965231]
大規模言語モデル(LLM)はAIに革命をもたらしたが、限られたコンテキストウィンドウによって制約されている。
従来のオペレーティングシステムにおける階層型メモリシステムからのインスピレーションを引き出す技術である仮想コンテキスト管理を提案する。
私たちはMemGPTコードと実験のためのデータをhttps://memgpt.ai.comでリリースします。
論文 参考訳（メタデータ） (2023-10-12T17:51:32Z) - L2MAC: Large Language Model Automatic Computer for Extensive Code Generation [52.81694565226513]
トランスフォーマーベースの大規模言語モデル(LLM)は、基盤となるトランスフォーマーアーキテクチャの固定コンテキストウィンドウによって制約される。
本稿では,L2MACを提案する。L2MACは,LLMをベースとした汎用型自動計算機(von Neumann Architecture)フレームワークで,長期的かつ一貫した出力生成を実現する。
論文 参考訳（メタデータ） (2023-10-02T16:55:19Z) - Revolutionizing Mobile Interaction: Enabling a 3 Billion Parameter GPT
LLM on Mobile [0.0]
本稿では, 数十億のパラメータを持つLCMを, ネットワーク接続のないモバイルデバイス上で直接実行できる未来を想定する, LLM推論に対する革新的なアプローチを提案する。
この記事は、30億のパラメータを持つ微調整のGPT LLMを紹介し、4GBのメモリを持つデバイス上でスムーズに動作可能である。
ネイティブコードとモデル量子化技術の統合により、アプリケーションは汎用アシスタントとして機能するだけでなく、テキスト対アクション機能とのシームレスなモバイルインタラクションを促進する。
論文 参考訳（メタデータ） (2023-09-29T16:30:49Z) - FusionAI: Decentralized Training and Deploying LLMs with Massive
Consumer-Level GPUs [57.12856172329322]
我々は、巨大な未使用のコンシューマレベルのGPUをアンロックする分散システムを構想する。
このシステムは、CPUとGPUメモリの制限、ネットワーク帯域幅の低さ、ピアとデバイスの多様性など、重要な課題に直面している。
論文 参考訳（メタデータ） (2023-09-03T13:27:56Z) - Artificial Intelligence in the Low-Level Realm -- A Survey [0.0]
我々は、OSの主要な責務において、AIアプローチ、特に機械学習を利用する方法と努力を求めます。
言い換えれば、答えるべき主な質問は、従来のOSカーネルのメインタスクを改善する上で、AIがどのように直接的に役割を担ってきたか、という点である。
論文 参考訳（メタデータ） (2021-09-19T19:36:54Z) - TensorFlow Lite Micro: Embedded Machine Learning on TinyML Systems [5.188829601887422]
組み込みデバイス上でのディープラーニング推論は、小さな組み込みデバイスが一様であることから、無数のアプリケーションで溢れている分野である。
組み込みデバイス上でのディープラーニング推論は、小さな組み込みデバイスが一様であることから、無数のアプリケーションで溢れている分野である。
組み込みシステム上でディープラーニングモデルを実行するための,オープンソースのML推論フレームワークであるLite Microを紹介した。
論文 参考訳（メタデータ） (2020-10-17T00:44:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。