論文の概要: L2MAC: Large Language Model Automatic Computer for Extensive Code Generation

• arxiv url: http://arxiv.org/abs/2310.02003v3
• Date: Sat, 16 Mar 2024 01:42:40 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-20 03:42:41.723056
• Title: L2MAC: Large Language Model Automatic Computer for Extensive Code Generation
• Title（参考訳）: L2MAC:大規模コード生成のための大規模言語モデル自動計算機
• Authors: Samuel Holt, Max Ruiz Luyten, Mihaela van der Schaar,
• Abstract要約: トランスフォーマーベースの大規模言語モデル(LLM)は、基盤となるトランスフォーマーアーキテクチャの固定コンテキストウィンドウによって制約される。 本稿では,L2MAC について述べる。L2MAC は LLM をベースとした初の実用的自動計算機フレームワークで,長期的かつ一貫した出力生成を実現する。
• 参考スコア（独自算出の注目度）: 52.81694565226513
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Transformer-based large language models (LLMs) are constrained by the fixed context window of the underlying transformer architecture, hindering their ability to produce long and coherent outputs. Memory-augmented LLMs are a promising solution, but current approaches cannot handle long output generation tasks since they (1) only focus on reading memory and reduce its evolution to the concatenation of new memories or (2) use very specialized memories that cannot adapt to other domains. This paper presents L2MAC, the first practical LLM-based stored-program automatic computer (von Neumann architecture) framework, an LLM-based multi-agent system, for long and consistent output generation. Its memory has two components: the instruction registry, which is populated with a prompt program to solve the user-given task, and a file store, which will contain the final and intermediate outputs. Each instruction in turn is executed by a separate LLM agent, whose context is managed by a control unit capable of precise memory reading and writing to ensure effective interaction with the file store. These components enable L2MAC to generate extensive outputs, bypassing the constraints of the finite context window while producing outputs that fulfill a complex user-specified task. We empirically demonstrate that L2MAC achieves state-of-the-art performance in generating large codebases for system design tasks, significantly outperforming other coding methods in implementing the detailed user-specified task, and we provide valuable insights into the reasons for this performance gap.
• Abstract（参考訳）: トランスフォーマーベースの大規模言語モデル(LLM)は、基盤となるトランスフォーマーアーキテクチャの固定されたコンテキストウィンドウによって制約され、長い一貫性のある出力を生成する能力を妨げる。 メモリ拡張LDMは有望なソリューションであるが,(1)読み出しのみに集中し,新たなメモリの結合への進化を減少させる,あるいは(2)他のドメインに適応できない非常に特殊なメモリを使用するため,現在のアプローチでは長い出力タスクを処理できない。 本稿では,L2MAC について述べる。L2MAC は LLM をベースとしたマルチエージェントシステムである LLM をベースとした初の実用的記憶型自動計算機 (von Neumann アーキテクチャ) フレームワークで,長期的かつ一貫した出力生成を実現する。 そのメモリには2つのコンポーネントがある: 命令レジストリは、ユーザ登録タスクを解決するプロンプトプログラムで集約され、ファイルストアは、最終的な出力と中間出力を含む。 各命令は別個のLCMエージェントによって実行され、そのコンテキストは、ファイルストアとの効果的な相互作用を確保するために、正確なメモリ読み書きが可能な制御ユニットによって管理される。 これらのコンポーネントにより、L2MACは、複雑なユーザ指定タスクを満たす出力を生成しながら、有限コンテキストウィンドウの制約をバイパスして、広範な出力を生成することができる。 我々は,L2MACがシステム設計タスクの大規模コードベースの生成において最先端のパフォーマンスを実現し,詳細なユーザ指定タスクの実装において,他のコーディング手法を著しく上回っていることを実証的に証明し,この性能ギャップの原因について貴重な知見を提供する。

関連論文リスト

• The Compressor-Retriever Architecture for Language Model OS [20.56093501980724]
  オペレーティングシステム(OS)のコアコンポーネントとして言語モデルを用いるという概念について検討する。 このようなLM OSを実現する上で重要な課題は、寿命の長いコンテキストを管理し、セッション間のステートフルネスを確保することだ。 本稿では,生涯のコンテキスト管理のために設計されたモデル非依存アーキテクチャであるコンプレッサー・レトリバーを紹介する。
  論文  参考訳（メタデータ） (2024-09-02T23:28:15Z)
• Rome was Not Built in a Single Step: Hierarchical Prompting for LLM-based Chip Design [22.70660876673987]
  大言語モデル(LLM)は、ハードウェア記述言語(HDL)生成によるコンピュータハードウェア合成に有効である。 しかし、複雑なタスクを扱う場合のHDL生成にLLMが支援するアプローチは難しかった。 本稿では,効率的なステップワイズ設計手法を実現する階層的プロンプト手法について紹介する。
  論文  参考訳（メタデータ） (2024-07-23T21:18:31Z)
• ML-Bench: Evaluating Large Language Models and Agents for Machine Learning Tasks on Repository-Level Code [76.84199699772903]
  ML-Benchは、既存のコードリポジトリを利用してタスクを実行する現実世界のプログラミングアプリケーションに根ざしたベンチマークである。 LLM(Large Language Model)とAIエージェントの両方を評価するために、事前に定義されたデプロイメント環境でLLMのテキスト-コード変換を評価するML-LLM-Benchと、Linuxサンドボックス環境でエンドツーエンドのタスク実行で自律エージェントをテストするML-Agent-Benchの2つの設定が採用されている。
  論文  参考訳（メタデータ） (2023-11-16T12:03:21Z)
• MemGPT: Towards LLMs as Operating Systems [50.02623936965231]
  大規模言語モデル(LLM)はAIに革命をもたらしたが、限られたコンテキストウィンドウによって制約されている。 従来のオペレーティングシステムにおける階層型メモリシステムからのインスピレーションを引き出す技術である仮想コンテキスト管理を提案する。 私たちはMemGPTコードと実験のためのデータをhttps://memgpt.ai.comでリリースします。
  論文  参考訳（メタデータ） (2023-10-12T17:51:32Z)
• AskIt: Unified Programming Interface for Programming with Large Language Models [0.0]
  大規模言語モデル(LLM)は創発能力として知られるユニークな現象を示し、多くのタスクにまたがって適応性を示す。 本稿では,LLM用に特別に設計されたドメイン固有言語であるAskItを紹介する。 50タスクにわたって、AskItは簡潔なプロンプトを生成し、ベンチマークよりも16.14パーセントのプロンプト長の削減を実現した。
  論文  参考訳（メタデータ） (2023-08-29T21:44:27Z)
• RET-LLM: Towards a General Read-Write Memory for Large Language Models [53.288356721954514]
  RET-LLMは、大規模な言語モデルに一般的な読み書きメモリユニットを装備する新しいフレームワークである。 デビッドソンのセマンティクス理論に触発され、三重項の形で知識を抽出し保存する。 本フレームワークは,時間に基づく質問応答タスクの処理において,堅牢な性能を示す。
  論文  参考訳（メタデータ） (2023-05-23T17:53:38Z)
• LLM-Pruner: On the Structural Pruning of Large Language Models [65.02607075556742]
  大規模言語モデル(LLM)は、言語理解と生成において顕著な能力を示している。 タスク非依存であり、元のトレーニングデータセットへの依存を最小限に抑えるという2つの制約の範囲内でLLMの圧縮に取り組む。 LLM-Prunerという名前のこの手法は、非臨界結合構造を選択的に除去する構造プルーニングを採用する。
  論文  参考訳（メタデータ） (2023-05-19T12:10:53Z)
• Inference with Reference: Lossless Acceleration of Large Language Models [97.04200102556551]
  LLMAは、参照によるLarge Language Model (LLM)推論を高速化するアクセラレータである。 LLMによる復号結果と実世界の多くのシナリオで利用できる参照との間には、多くの同一のテキストが存在していることが観察の動機となっている。
  論文  参考訳（メタデータ） (2023-04-10T09:55:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。