論文の概要: The Compressor-Retriever Architecture for Language Model OS

• arxiv url: http://arxiv.org/abs/2409.01495v1
• Date: Mon, 2 Sep 2024 23:28:15 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-06 03:35:27.511504
• Title: The Compressor-Retriever Architecture for Language Model OS
• Title（参考訳）: 言語モデルOSのための圧縮機-レトリバーアーキテクチャ
• Authors: Yuan Yang, Siheng Xiong, Ehsan Shareghi, Faramarz Fekri,
• Abstract要約: オペレーティングシステム(OS)のコアコンポーネントとして言語モデルを用いるという概念について検討する。 このようなLM OSを実現する上で重要な課題は、寿命の長いコンテキストを管理し、セッション間のステートフルネスを確保することだ。 本稿では,生涯のコンテキスト管理のために設計されたモデル非依存アーキテクチャであるコンプレッサー・レトリバーを紹介する。
• 参考スコア（独自算出の注目度）: 20.56093501980724
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent advancements in large language models (LLMs) have significantly enhanced their capacity to aggregate and process information across multiple modalities, enabling them to perform a wide range of tasks such as multimodal data querying, tool usage, web interactions, and handling long documents. These capabilities pave the way for transforming LLMs from mere chatbots into general-purpose agents capable of interacting with the real world. This paper explores the concept of using a language model as the core component of an operating system (OS), effectively acting as a CPU that processes data stored in a context window, which functions as RAM. A key challenge in realizing such an LM OS is managing the life-long context and ensuring statefulness across sessions, a feature limited by the current session-based interaction paradigm due to context window size limit. To address this, we introduce compressor-retriever, a model-agnostic architecture designed for life-long context management. Unlike other long-context solutions such as retrieval-augmented generation, our approach exclusively uses the base model's forward function to compress and retrieve context, ensuring end-to-end differentiability. Preliminary experiments demonstrate the effectiveness of this architecture in in-context learning tasks, marking a step towards the development of a fully stateful LLM OS. Project repo available at: https://github.com/gblackout/LM-OS
• Abstract（参考訳）: 大規模言語モデル(LLM)の最近の進歩は、複数のモダリティにまたがって情報を集約・処理する能力を大幅に強化し、マルチモーダルデータクエリ、ツールの使用、Webインタラクション、長いドキュメントの処理など、幅広いタスクを実行できるようになった。 これらの能力は、LLMを単なるチャットボットから、現実世界と対話できる汎用エージェントに変換するための道を開く。 本稿では,オペレーティングシステム(OS)のコアコンポーネントとして言語モデルを使用する概念を考察し,RAMとして機能するコンテキストウィンドウに格納されたデータを処理するCPUとして効果的に機能する。 このようなLM OSを実現する上で重要な課題は、コンテキストウィンドウサイズ制限による現在のセッションベースのインタラクションパラダイムによって制限された、長いコンテキストの管理とセッション間のステートフル性を保証することだ。 そこで本研究では,生涯のコンテキスト管理のために設計されたモデルに依存しないコンプレッサー・レトリバーを提案する。 検索拡張生成のような他の長期コンテキストソリューションとは異なり、我々のアプローチはベースモデルのフォワード関数のみを用いてコンテキストを圧縮・取得し、エンドツーエンドの微分可能性を保証する。 予備的な実験では、このアーキテクチャがコンテキスト内学習タスクにおいて有効であることを示し、完全にステートフルなLLM OSの開発への一歩を踏み出した。 プロジェクトリポジトリは、https://github.com/gblackout/LM-OSで入手できる。

関連論文リスト

• SEGMENT+: Long Text Processing with Short-Context Language Models [53.40059130780192]
  SEGMENT+は、LMが限られたコンテキストウィンドウ内で拡張入力を効率的に処理できるフレームワークである。 SEGMENT+は構造化音符とフィルタリングモジュールを使用して情報の流れを管理し、制御可能かつ解釈可能なシステムを実現する。
  論文  参考訳（メタデータ） (2024-10-09T03:40:22Z)
• Beyond Prompts: Dynamic Conversational Benchmarking of Large Language Models [0.0]
  本稿では,対話エージェントを対象とした動的ベンチマークシステムを提案する。 タスクをインターリーブするために定期的にコンテキストスイッチを行い、エージェントの長期記憶、継続的な学習、情報統合機能を評価する現実的なテストシナリオを構築します。
  論文  参考訳（メタデータ） (2024-09-30T12:01:29Z)
• Towards Enhancing Linked Data Retrieval in Conversational UIs using Large Language Models [1.3980986259786221]
  本稿では,既存のシステムにおけるLarge Language Models(LLM)の統合について検討する。 LLMの高度な自然言語理解機能を活用することで、Webシステム内のRDFエンティティ抽出を改善する。 本手法の評価は,ユーザクエリに対するシステム表現性と応答精度の顕著な向上を示す。
  論文  参考訳（メタデータ） (2024-09-24T16:31:33Z)
• Can Long-Context Language Models Subsume Retrieval, RAG, SQL, and More? [54.667202878390526]
  長文言語モデル(LCLM)は、従来、検索システムやデータベースといった外部ツールに依存していたタスクへのアプローチに革命をもたらす可能性がある。 実世界のタスクのベンチマークであるLOFTを導入し、文脈内検索と推論においてLCLMの性能を評価するために設計された数百万のトークンを出力する。 以上の結果からLCLMは,これらのタスクを明示的に訓練したことがないにも関わらず,最先端の検索システムやRAGシステムと競合する驚くべき能力を示した。
  論文  参考訳（メタデータ） (2024-06-19T00:28:58Z)
• On the Multi-turn Instruction Following for Conversational Web Agents [83.51251174629084]
  本稿では,ユーザと環境の両方で複数回にまたがる高度なインタラクションを必要とする,対話型Webナビゲーションの新たなタスクを紹介する。 本稿では,メモリ利用と自己回帰技術を用いた自己反射型メモリ拡張計画(Self-MAP)を提案する。
  論文  参考訳（メタデータ） (2024-02-23T02:18:12Z)
• Towards More Unified In-context Visual Understanding [74.55332581979292]
  マルチモーダル出力を有効にした視覚理解のための新しいICLフレームワークを提案する。 まず、テキストと視覚的プロンプトの両方を量子化し、統一された表現空間に埋め込む。 次にデコーダのみのスパーストランスアーキテクチャを用いて生成モデリングを行う。
  論文  参考訳（メタデータ） (2023-12-05T06:02:21Z)
• MemGPT: Towards LLMs as Operating Systems [50.02623936965231]
  大規模言語モデル(LLM)はAIに革命をもたらしたが、限られたコンテキストウィンドウによって制約されている。 従来のオペレーティングシステムにおける階層型メモリシステムからのインスピレーションを引き出す技術である仮想コンテキスト管理を提案する。 私たちはMemGPTコードと実験のためのデータをhttps://memgpt.ai.comでリリースします。
  論文  参考訳（メタデータ） (2023-10-12T17:51:32Z)
• SOLIS -- The MLOps journey from data acquisition to actionable insights [62.997667081978825]
  本稿では,基本的なクロスプラットフォームテンソルフレームワークとスクリプト言語エンジンを使用しながら,すべての要件をサポートする統合デプロイメントパイプラインとフリー・ツー・オペレートアプローチを提案する。 しかし、このアプローチは、実際のプロダクショングレードシステムに機械学習機能を実際にデプロイするために必要な手順やパイプラインを提供していない。
  論文  参考訳（メタデータ） (2021-12-22T14:45:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。