論文の概要: Human-like Episodic Memory for Infinite Context LLMs

• arxiv url: http://arxiv.org/abs/2407.09450v1
• Date: Fri, 12 Jul 2024 17:34:03 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-15 22:39:07.726333
• Title: Human-like Episodic Memory for Infinite Context LLMs
• Title（参考訳）: 無限文脈LLMのためのヒューマン・ライクなエピソード記憶
• Authors: Zafeirios Fountas, Martin A Benfeghoul, Adnan Oomerjee, Fenia Christopoulou, Gerasimos Lampouras, Haitham Bou-Ammar, Jun Wang,
• Abstract要約: EM-LLMは,ヒトのエピソード記憶と事象認識の重要な側面を大きな言語モデルに統合する新しいアプローチである。 EM-LLMは、ベイジアン・サプライズとグラフ理論境界修正の組み合わせを用いて、トークンの列をコヒーレントなエピソード事象に整理する。 LongBenchデータセットの実験では、EM-LLMのパフォーマンスが向上し、最先端のInfLLMモデルを上回っている。
• 参考スコア（独自算出の注目度）: 13.211261438927798
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models (LLMs) have shown remarkable capabilities, but still struggle with processing extensive contexts, limiting their ability to maintain coherence and accuracy over long sequences. In contrast, the human brain excels at organising and retrieving episodic experiences across vast temporal scales, spanning a lifetime. In this work, we introduce EM-LLM, a novel approach that integrates key aspects of human episodic memory and event cognition into LLMs, enabling them to effectively handle practically infinite context lengths while maintaining computational efficiency. EM-LLM organises sequences of tokens into coherent episodic events using a combination of Bayesian surprise and graph-theoretic boundary refinement in an on-line fashion. When needed, these events are retrieved through a two-stage memory process, combining similarity-based and temporally contiguous retrieval for efficient and human-like access to relevant information. Experiments on the LongBench dataset demonstrate EM-LLM's superior performance, outperforming the state-of-the-art InfLLM model with an overall relative improvement of 4.3% across various tasks, including a 33% improvement on the PassageRetrieval task. Furthermore, our analysis reveals strong correlations between EM-LLM's event segmentation and human-perceived events, suggesting a bridge between this artificial system and its biological counterpart. This work not only advances LLM capabilities in processing extended contexts but also provides a computational framework for exploring human memory mechanisms, opening new avenues for interdisciplinary research in AI and cognitive science.
• Abstract（参考訳）: 大規模言語モデル(LLM)は目覚ましい能力を示しているが、それでも広いコンテキストの処理に苦慮しており、長いシーケンスでコヒーレンスと精度を維持する能力は制限されている。 対照的に、人間の脳は、生涯にわたって、広範囲の時間的スケールでエピソード体験を組織化し、取り出すのに優れています。 本研究では,人間のエピソード記憶と事象認識の重要な側面をLLMに統合し,計算効率を維持しつつ,事実上無限のコンテキスト長を効果的に処理できるEM-LLMを提案する。 EM-LLMは、ベイジアン・サプライズとグラフ理論境界の洗練をオンライン方式で組み合わせて、トークンの列をコヒーレントなエピソード事象に整理する。 必要に応じて、これらのイベントは2段階のメモリプロセスを通じて検索され、類似性に基づく、時間的に連続した検索を組み合わせて、関連情報への効率的かつ人間的なアクセスを行う。 LongBenchデータセットの実験では、EM-LLMの優れたパフォーマンスが実証されており、PassageRetrievalタスクの33%の改善を含む、さまざまなタスクで全体の4.3%の改善を達成して、最先端のInfLLMモデルを上回っている。 さらに, EM-LLMの事象セグメンテーションと人間の知覚事象との間には強い相関関係がみられ, この人工システムと生物学的相互作用との橋渡しが示唆された。 この研究は、拡張コンテキストの処理におけるLLM機能の向上だけでなく、人間の記憶機構を探索するための計算フレームワークを提供し、AIと認知科学における学際研究のための新たな道を開く。

関連論文リスト

• Performant, Memory Efficient and Scalable Multi-Agent Reinforcement Learning [3.676220008456203]
  Sableは、Retentive NetworksからMARLへの保持機構を適応させる新しいアルゴリズムである。 Sableは、タスクの大部分で既存の最先端メソッドを大幅に上回る。
  論文  参考訳（メタデータ） (2024-10-02T16:15:26Z)
• KV Cache Compression, But What Must We Give in Return? A Comprehensive Benchmark of Long Context Capable Approaches [52.02764371205856]
  長期の文脈能力は、大規模言語モデル(LLM)にとって重要な能力である この研究は、現在の手法の分類を提供し、長いコンテキストタスクの7つのカテゴリにまたがる10以上の最先端のアプローチを評価する。
  論文  参考訳（メタデータ） (2024-07-01T17:59:47Z)
• Adaptive Multi-Scale Decomposition Framework for Time Series Forecasting [26.141054975797868]
  時系列予測(TSF)のための新しい適応型マルチスケール分解(AMD)フレームワークを提案する。 我々のフレームワークは時系列を複数のスケールで異なる時間パターンに分解し、MDM(Multi-Scale Decomposable Mixing)ブロックを活用する。 提案手法は,時間依存性とチャネル依存性の両方を効果的にモデル化し,マルチスケールデータ統合を改良するために自己相関を利用する。
  論文  参考訳（メタデータ） (2024-06-06T05:27:33Z)
• Memory-Inspired Temporal Prompt Interaction for Text-Image Classification [13.449375069856684]
  我々は、人間の記憶戦略、すなわちメモリインスパイアされたテンポラルプロンプトインタラクション(MITP)にインスパイアされた、新しいプロンプトベースのマルチモーダルインタラクション戦略を提案する。 我々は、中間層上の時間的プロンプトを利用して取得段階を模倣し、類似性に基づくプロンプト相互作用を利用してメモリ統合を模倣し、メモリアクティベーションを模倣するプロンプト生成戦略を採用する。 比較的少ないメモリ使用量とトレーニング可能なパラメータの2.0Mのデータセットで競合する結果が得られる。
  論文  参考訳（メタデータ） (2024-01-26T13:36:12Z)
• GATGPT: A Pre-trained Large Language Model with Graph Attention Network for Spatiotemporal Imputation [19.371155159744934]
  実世界の環境では、センサーの故障やデータ転送エラーなどの問題により、そのようなデータには欠落する要素がしばしば含まれる。 時間的計算の目的は、観測された時系列における固有の空間的および時間的関係を理解することによって、これらの欠落値を推定することである。 伝統的に、複雑な時間的計算は特定のアーキテクチャに依存しており、適用可能性の制限と高い計算複雑性に悩まされている。 対照的に、我々のアプローチは、事前訓練された大規模言語モデル(LLM)を複雑な時間的インプットに統合し、画期的なフレームワークであるGATGPTを導入している。
  論文  参考訳（メタデータ） (2023-11-24T08:15:11Z)
• Heterogenous Memory Augmented Neural Networks [84.29338268789684]
  ニューラルネットワークのための新しいヘテロジニアスメモリ拡張手法を提案する。 学習可能なメモリトークンをアテンション機構付きで導入することにより、膨大な計算オーバーヘッドを伴わずに性能を効果的に向上させることができる。 In-distriion (ID) と Out-of-distriion (OOD) の両方の条件下での様々な画像およびグラフベースのタスクに対するアプローチを示す。
  論文  参考訳（メタデータ） (2023-10-17T01:05:28Z)
• Self-Supervised Neuron Segmentation with Multi-Agent Reinforcement Learning [53.00683059396803]
  マスク画像モデル(MIM)は,マスク画像から元の情報を復元する簡便さと有効性から広く利用されている。 本稿では、強化学習(RL)を利用して最適な画像マスキング比とマスキング戦略を自動検索する決定に基づくMIMを提案する。 本手法は,ニューロン分節の課題において,代替自己監督法に対して有意な優位性を有する。
  論文  参考訳（メタデータ） (2023-10-06T10:40:46Z)
• A Low-rank Matching Attention based Cross-modal Feature Fusion Method for Conversational Emotion Recognition [54.44337276044968]
  低ランクマッチング注意法(LMAM)と呼ばれる新しい軽量クロスモーダル機能融合法を提案する。 LMAMは、会話における文脈的感情的意味情報を効果的に捉え、自己認識機構によって引き起こされる二次的複雑性問題を緩和する。 実験により, LMAMの軽量化を前提として, 他の一般的な相互拡散法と比較し, LMAMの優位性を検証した。
  論文  参考訳（メタデータ） (2023-06-16T16:02:44Z)
• Efficient Global-Local Memory for Real-time Instrument Segmentation of Robotic Surgical Video [53.14186293442669]
  手術器具の知覚における重要な手がかりとして,隣接するフレームからの局所的時間依存性と,長距離における大域的意味的相関があげられる。 本稿では,グローバルとローカルの両方の時間的知識を関連付ける新しいデュアルメモリネットワーク(DMNet)を提案する。 本手法は,実時間速度を維持しながらセグメント化精度を向上する手法である。
  論文  参考訳（メタデータ） (2021-09-28T10:10:14Z)
• A Multi-Task Deep Learning Framework to Localize the Eloquent Cortex in Brain Tumor Patients Using Dynamic Functional Connectivity [7.04584289867204]
  脳腫瘍患者の大脳皮質の言語と運動領域を同時に局在させるために動的機能接続を用いた新しいディープラーニングフレームワークを提案する。 本モデルは,従来の深層学習手法よりも高い局所化精度を達成し,左半球側方化症例で訓練した場合でも,両言語領域を識別できる。
  論文  参考訳（メタデータ） (2020-11-17T18:18:09Z)
• Convolutional Tensor-Train LSTM for Spatio-temporal Learning [116.24172387469994]
  本稿では,ビデオシーケンスの長期相関を効率的に学習できる高次LSTMモデルを提案する。 これは、時間をかけて畳み込み特徴を組み合わせることによって予測を行う、新しいテンソルトレインモジュールによって達成される。 この結果は,幅広いアプリケーションやデータセットにおいて,最先端のパフォーマンス向上を実現している。
  論文  参考訳（メタデータ） (2020-02-21T05:00:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。