論文の概要: SR-CIS: Self-Reflective Incremental System with Decoupled Memory and Reasoning
- arxiv url: http://arxiv.org/abs/2408.01970v1
- Date: Sun, 4 Aug 2024 09:09:35 GMT
- ステータス: 処理完了
- システム内更新日: 2024-08-06 17:41:24.146882
- Title: SR-CIS: Self-Reflective Incremental System with Decoupled Memory and Reasoning
- Title（参考訳）: SR-CIS:記憶と推論を分離した自己回帰インクリメンタルシステム
- Authors: Biqing Qi, Junqi Gao, Xinquan Chen, Dong Li, Weinan Zhang, Bowen Zhou,
- Abstract要約: 自己回帰補充インクリメンタルシステム(SR-CIS)を提案する。
Complementary Inference Module (CIM)とComplementary Memory Module (CMM)で構成されている。
CMMはタスク固有の短期記憶(STM)領域と汎用長期記憶(LTM)領域から構成される。
トレーニング中に画像のテキスト記述を格納し、Scenario Replay Module (SRM) と組み合わせることで、SR-CISは限られたストレージ要件で安定したインクリメンタルメモリを実現する。
- 参考スコア（独自算出の注目度）: 32.18013657468068
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: The ability of humans to rapidly learn new knowledge while retaining old memories poses a significant challenge for current deep learning models. To handle this challenge, we draw inspiration from human memory and learning mechanisms and propose the Self-Reflective Complementary Incremental System (SR-CIS). Comprising the deconstructed Complementary Inference Module (CIM) and Complementary Memory Module (CMM), SR-CIS features a small model for fast inference and a large model for slow deliberation in CIM, enabled by the Confidence-Aware Online Anomaly Detection (CA-OAD) mechanism for efficient collaboration. CMM consists of task-specific Short-Term Memory (STM) region and a universal Long-Term Memory (LTM) region. By setting task-specific Low-Rank Adaptive (LoRA) and corresponding prototype weights and biases, it instantiates external storage for parameter and representation memory, thus deconstructing the memory module from the inference module. By storing textual descriptions of images during training and combining them with the Scenario Replay Module (SRM) post-training for memory combination, along with periodic short-to-long-term memory restructuring, SR-CIS achieves stable incremental memory with limited storage requirements. Balancing model plasticity and memory stability under constraints of limited storage and low data resources, SR-CIS surpasses existing competitive baselines on multiple standard and few-shot incremental learning benchmarks.
- Abstract（参考訳）: 古い記憶を維持しながら、人間が新しい知識を素早く習得する能力は、現在のディープラーニングモデルにとって重要な課題である。
この課題に対処するため,人間の記憶と学習機構からインスピレーションを得て,自己表現的補完的インクリメンタルシステム(SR-CIS)を提案する。
Deconstructed Complementary Inference Module (CIM) とComplementary Memory Module (CMM) を補完するSR-CISは、高速な推論のための小さなモデルと、CIMにおける緩やかな議論のための大きなモデルを備えており、効率的なコラボレーションのための信頼性認識オンライン異常検出(CA-OAD)機構によって実現されている。
CMMはタスク固有の短期記憶(STM)領域と汎用長期記憶(LTM)領域から構成される。
タスク固有のLow-Rank Adaptive (LoRA)とそれに対応するプロトタイプの重みとバイアスを設定することで、パラメータと表現メモリの外部ストレージをインスタンス化し、メモリモジュールを推論モジュールから分解する。
トレーニング中に画像のテキスト記述を格納し、Scenario Replay Module (SRM) と組み合わせることで、定期的な短期から長期のメモリ再構成とともに、ストレージ要件が限定された安定したインクリメンタルメモリを実現する。
制限されたストレージと低いデータリソースの制約の下で、モデルの可塑性とメモリ安定性のバランスをとることで、SR-CISは、複数の標準および数ショットのインクリメンタル学習ベンチマークにおいて、既存の競合ベースラインを超えている。
関連論文リスト
- Stable Hadamard Memory: Revitalizing Memory-Augmented Agents for Reinforcement Learning [64.93848182403116]
現在のディープラーニングメモリモデルは、部分的に観察可能で長期にわたる強化学習環境で苦労している。
本稿では,強化学習エージェントのための新しい記憶モデルであるStable Hadamard Memoryを紹介する。
我々の手法は、部分的に観測可能なベンチマークに挑戦する上で、最先端のメモリベースの手法よりも大幅に優れています。
論文 参考訳（メタデータ） (2024-10-14T03:50:17Z) - Mathematical Formalism for Memory Compression in Selective State Space Models [0.0]
状態空間モデル(SSM)は、シーケンスデータの長距離依存性をモデル化するための強力なフレームワークとして登場した。
我々は、選択状態空間モデルにおけるメモリ圧縮を理解するための厳密な数学的枠組みを開発する。
選択型SSMは従来のRNNモデルと比較してメモリ効率と処理速度を大幅に向上することを示した。
論文 参考訳（メタデータ） (2024-10-04T05:45:48Z) - B'MOJO: Hybrid State Space Realizations of Foundation Models with Eidetic and Fading Memory [91.81390121042192]
我々はB'MOJOと呼ばれるモデル群を開発し、構成可能なモジュール内で理想的メモリと暗黙的メモリをシームレスに結合する。
B'MOJOのイデオティックメモリとフェードメモリを変調する能力は、32Kトークンまでテストされた長いシーケンスの推論をより良くする。
論文 参考訳（メタデータ） (2024-07-08T18:41:01Z) - CAMELoT: Towards Large Language Models with Training-Free Consolidated
Associative Memory [38.429707659685974]
大規模言語モデル(LLM)は、メモリとランタイムのコストが高いため、長い入力シーケンスを扱うのに苦労する。
本稿では,事前学習した(凍結した)注意に基づくLCMに再学習せずに結合可能な連想記憶モジュールを提案する。
CAMELoTと呼ばれるこのアーキテクチャは、128トークンの小さなコンテキストウィンドウでも優れたパフォーマンスを示している。
論文 参考訳（メタデータ） (2024-02-21T01:00:17Z) - Enhancing Large Language Model with Self-Controlled Memory Framework [56.38025154501917]
大きな言語モデル(LLM)は、長い入力を処理できないため、重要な歴史的情報が失われる。
本稿では,LLMが長期記憶を維持し,関連する情報をリコールする能力を高めるための自己制御メモリ(SCM)フレームワークを提案する。
論文 参考訳（メタデータ） (2023-04-26T07:25:31Z) - A Model or 603 Exemplars: Towards Memory-Efficient Class-Incremental
Learning [56.450090618578]
CIL(Class-Incremental Learning)は、この要件を満たすために、限られたメモリサイズでモデルをトレーニングすることを目的としている。
モデルサイズを総予算にカウントし,メモリサイズに整合する手法を比較すると,保存モデルは常に機能しないことを示す。
本稿では,メモリ効率のよい拡張可能なMOdelのための MEMO という,シンプルで効果的なベースラインを提案する。
論文 参考訳（メタデータ） (2022-05-26T08:24:01Z) - Semantically Constrained Memory Allocation (SCMA) for Embedding in
Efficient Recommendation Systems [27.419109620575313]
ディープラーニングモデルの重要な課題は、数百万のカテゴリクラスやトークンを扱うことだ。
本稿では,記憶の共有を意味情報の重なりに比例して共有する,新しいメモリ共有埋め込み方式を提案する。
性能を維持しながらメモリフットプリントの大幅な削減を示す。
論文 参考訳（メタデータ） (2021-02-24T19:55:49Z) - Neural Network Compression for Noisy Storage Devices [71.4102472611862]
従来、モデル圧縮と物理ストレージは分離される。
このアプローチでは、ストレージは圧縮されたモデルの各ビットを等しく扱い、各ビットに同じ量のリソースを割り当てるように強制される。
i) 各メモリセルの容量を最大化するためにアナログメモリを使用し, (ii) モデル圧縮と物理ストレージを共同で最適化し, メモリの有用性を最大化する。
論文 参考訳（メタデータ） (2021-02-15T18:19:07Z) - Memformer: A Memory-Augmented Transformer for Sequence Modeling [55.780849185884996]
本稿では、シーケンスモデリングのための効率的なニューラルネットワークであるMemformerを紹介する。
我々のモデルは長いシーケンスを処理する際に線形時間複雑性と一定メモリ空間複雑性を実現する。
論文 参考訳（メタデータ） (2020-10-14T09:03:36Z) - Distributed Associative Memory Network with Memory Refreshing Loss [5.5792083698526405]
メモリリフレッシングロス(MRL)を用いた分散連想メモリアーキテクチャ(DAM)について紹介する。
人間の脳の動作にインスパイアされた私たちのフレームワークは、複数のメモリブロックにまたがる分散表現でデータをエンコードします。
MRLにより、記憶されたメモリコンテンツから入力データを再生することにより、MANNは、入力データとタスク目的との関連性を強化することができる。
論文 参考訳（メタデータ） (2020-07-21T07:34:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。