論文の概要: MaxMind: A Memory Loop Network to Enhance Software Productivity based on Large Language Models

• arxiv url: http://arxiv.org/abs/2408.03841v1
• Date: Wed, 7 Aug 2024 15:27:22 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-08 12:44:51.448321
• Title: MaxMind: A Memory Loop Network to Enhance Software Productivity based on Large Language Models
• Title（参考訳）: MaxMind: 大規模言語モデルに基づくソフトウェア生産性向上のためのメモリループネットワーク
• Authors: Yuchen Dong, XiaoXiang Fang, Yuchen Hu, Renshuang Jiang, Zhe Jiang,
• Abstract要約: 本稿では,リアルタイムタスク体験をシステムメモリに変換することの重要性について論じる。 タスク記憶の蓄積とリサイクルがタスク成功率の着実に向上することを示す。 メモリリサイクルを取り入れることで、システムのタスク実行効率を最大25%向上させることができる。
• 参考スコア（独自算出の注目度）: 13.839564855350295
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The application of large language models to facilitate automated software operations and tool generation (SOTG), thus augmenting software productivity, mirrors the early stages of human evolution when the ability to create and use tools accelerated the progress of civilization. These complex tasks require AI to continuously summarize and improve. Current research often overlooks the importance of converting real-time task experiences into system memory and differentiating the value of existing knowledge for future reference. This paper addresses these issues by evolving external memory models into Memory-Loop Networks for timely memorization and experience referencing. We also enhance a RAG mechanism with knowledge precision segmentation to utilize memory based on value differentiation, and design the MaxMind model for SOTG accordingly.To demonstrate our approach, we developed MaxMind4Sheet, an electronic spreadsheet processing system aligned with the MaxMind philosophy. Comparative experiments with SheetCopilot have demonstrated that the accumulation and recycling of task memories lead to a steady enhancement in task success rate, with an improvement rate of approximately 3%-6% per round in this implementation example. Note that as the memories continue to grow, this cumulative improvement may be substantial. The inclusion of memory recycling can also boost the system's task execution efficiency by up to 25%, and it can address the retraining issue faced by LLMs when handling specialized tasks through memories transfer.These suggest that MaxMind has significant potential to enhance the capabilities and productivity of LLM systems in SOTG.
• Abstract（参考訳）: ソフトウェアの自動操作とツール生成(SOTG)を促進するための大きな言語モデルの適用により、ソフトウェア生産性が向上し、ツールの作成と使用能力が文明の進展を加速するときに、人間の進化の初期段階が反映される。 これらの複雑なタスクは、AIが継続的に要約し、改善する必要がある。 現在の研究では、リアルタイムタスク体験をシステムメモリに変換し、将来の参照のために既存の知識の価値を区別することの重要性をしばしば見落としている。 本稿では、メモリモデルからメモリループネットワークへ進化させ、タイムリーな記憶と体験参照を実現することにより、これらの課題に対処する。 また,知識精度セグメンテーションによるRAG機構を強化して,値の微分に基づくメモリ利用を実現し,それに応じてSOTGのMaxMindモデルを設計し,MaxMindの原理に沿った電子スプレッドシート処理システムであるMaxMind4Sheetを開発した。 SheetCopilotとの比較実験により、タスクメモリの蓄積とリサイクルがタスク成功率の着実に向上し、この実装例では1ラウンドあたり約3%-6%の改善率が示されている。 記憶が成長し続けるにつれて、この累積的な改善は重大なものとなるかもしれない。 また, メモリ再資源化により, タスク実行効率が最大25%向上し, メモリ転送による特殊タスク処理において, LLMが直面する再訓練問題に対処できる可能性が示唆された。

関連論文リスト

• DeeR-VLA: Dynamic Inference of Multimodal Large Language Models for Efficient Robot Execution [114.61347672265076]
  実世界のロボットのためのMLLMの開発は、ロボットプラットフォームで利用可能な計算能力とメモリ容量が典型的に限られているため、難しい。 活性化MLLMのサイズを自動的に調整するロボットビジョンランゲージ・アクション・モデル(DeeR)の動的早期実行フレームワークを提案する。 DeeR は LLM の計算コストを 5.2-6.5x に削減し、GPU のメモリを 2-6x に削減した。
  論文  参考訳（メタデータ） (2024-11-04T18:26:08Z)
• Stable Hadamard Memory: Revitalizing Memory-Augmented Agents for Reinforcement Learning [64.93848182403116]
  現在のディープラーニングメモリモデルは、部分的に観察可能で長期にわたる強化学習環境で苦労している。 本稿では,強化学習エージェントのための新しい記憶モデルであるStable Hadamard Memoryを紹介する。 我々の手法は、部分的に観測可能なベンチマークに挑戦する上で、最先端のメモリベースの手法よりも大幅に優れています。
  論文  参考訳（メタデータ） (2024-10-14T03:50:17Z)
• Robust Implementation of Retrieval-Augmented Generation on Edge-based Computing-in-Memory Architectures [26.183960625493807]
  エッジデバイスにデプロイされる大規模言語モデル(LLM)は、微調整とパラメータの特定の部分の更新を通じて学習する。 Retrieval-Augmented Generation (RAG) は資源効率の高いLLM学習手法である。 本稿では,コンピューティング・イン・メモリ(CiM)アーキテクチャを用いてRAGを高速化する新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-05-07T22:31:50Z)
• Bullion: A Column Store for Machine Learning [4.096087402737292]
  本稿では,機械学習処理に適した列記憶システムであるBullionについて述べる。 Bundyはデータコンプライアンスの複雑さに対処し、長いシーケンススパース機能のエンコーディングを最適化し、拡張可能なプロジェクションを効率的に管理し、ストレージに機能量子化を導入し、包括的なカスケードエンコーディングフレームワークを提供する。 予備的な実験結果と理論的分析は、機械学習ワークロードのユニークな要求に直面して、Bullionが強力なパフォーマンスを提供する能力が改善されたことを示している。
  論文  参考訳（メタデータ） (2024-04-13T05:01:54Z)
• Online Adaptation of Language Models with a Memory of Amortized Contexts [82.02369596879817]
  MAC(Memory of Amortized Contexts)は、大規模言語モデルのための効率的かつ効果的なオンライン適応フレームワークである。 MACとMACを組み合わせれば,検索の高速化など,一般的な代替手段の性能が向上することを示す。
  論文  参考訳（メタデータ） (2024-03-07T08:34:57Z)
• RecallM: An Adaptable Memory Mechanism with Temporal Understanding for Large Language Models [3.9770715318303353]
  RecallMは、適応可能で拡張可能な長期記憶機構を備えた大規模言語モデルを提供するための新しいアーキテクチャである。 RecallM は,長期記憶に格納された知識を更新するためのベクトルデータベースよりも 4 倍有効であることを示す。 また、RecallMは、一般的な質問応答およびコンテキスト内学習タスクにおいて、競合性能を示すことを示した。
  論文  参考訳（メタデータ） (2023-07-06T02:51:54Z)
• Think Before You Act: Decision Transformers with Working Memory [44.18926449252084]
  決定変換器に基づく意思決定エージェントは、複数のタスクにまたがる一般化能力を示している。 この非効率性は、モデルがトレーニングを通してパラメータの振る舞いを記憶する忘れ現象に起因していると我々は主張する。 ダウンストリームタスクの情報を格納、ブレンド、検索するためのワーキングメモリモジュールを提案する。
  論文  参考訳（メタデータ） (2023-05-24T01:20:22Z)
• RET-LLM: Towards a General Read-Write Memory for Large Language Models [53.288356721954514]
  RET-LLMは、大規模な言語モデルに一般的な読み書きメモリユニットを装備する新しいフレームワークである。 デビッドソンのセマンティクス理論に触発され、三重項の形で知識を抽出し保存する。 本フレームワークは,時間に基づく質問応答タスクの処理において,堅牢な性能を示す。
  論文  参考訳（メタデータ） (2023-05-23T17:53:38Z)
• Mesa: A Memory-saving Training Framework for Transformers [58.78933015299703]
  本稿では,トランスフォーマーのためのメモリ節約トレーニングフレームワークであるMesaを紹介する。 Mesaは、フォワードパス中に正確なアクティベーションを使用し、低精度のアクティベーションを格納することで、トレーニング中のメモリ消費を減らす。 ImageNet、CIFAR-100、ADE20Kの実験は、Mesaがトレーニング中にメモリフットプリントの半分を削減できることを示した。
  論文  参考訳（メタデータ） (2021-11-22T11:23:01Z)
• Continual Learning Approach for Improving the Data and Computation Mapping in Near-Memory Processing System [3.202860612193139]
  ページと計算再マッピングによるデータ配置とリソース活用を最適化する人工知能メモリマッピング方式であるAIMMを提案する。 AIMMはニューラルネットワークを使用して、強化学習アルゴリズムを使用して訓練された実行中にほぼ最適なマッピングを実現します。 本研究では,AIMMが単一および複数プログラムシナリオにおけるベースラインNMP性能を最大70%と50%向上させたことを評価した。
  論文  参考訳（メタデータ） (2021-04-28T09:50:35Z)
• Improving Computational Efficiency in Visual Reinforcement Learning via Stored Embeddings [89.63764845984076]
  効率的な強化学習のためのストアド埋め込み(SEER)について紹介します。 SEERは、既存の非政治深層強化学習方法の簡単な修正です。 計算とメモリを大幅に節約しながら、SEERがRLizableエージェントのパフォーマンスを低下させないことを示します。
  論文  参考訳（メタデータ） (2021-03-04T08:14:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。