論文の概要: Learning to Rehearse in Long Sequence Memorization

• arxiv url: http://arxiv.org/abs/2106.01096v1
• Date: Wed, 2 Jun 2021 11:58:30 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-03 14:25:31.765000
• Title: Learning to Rehearse in Long Sequence Memorization
• Title（参考訳）: 長列記憶におけるリハーサルの学習
• Authors: Zhu Zhang, Chang Zhou, Jianxin Ma, Zhijie Lin, Jingren Zhou, Hongxia Yang and Zhou Zhao
• Abstract要約: 既存の推論タスクは、しばしば、推論中に入力内容が常にアクセス可能であるという重要な仮定を持つ。 メモリ拡張ニューラルネットワークは、人間のような書き込み読み取りメモリを導入し、1回のパスで長い入力シーケンスを圧縮し記憶する。 しかし、2つの重大な欠点がある: 1) メモリを現在の情報から継続的に更新し、必然的に初期の内容を忘れる; 2) 重要な情報を区別せず、全てのコンテンツを平等に扱う。 本稿では,履歴サンプリング装置を用いた自己教師型リハーサルによる長期記憶向上のためのリハーサルメモリを提案する。
• 参考スコア（独自算出の注目度）: 107.14601197043308
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Existing reasoning tasks often have an important assumption that the input contents can be always accessed while reasoning, requiring unlimited storage resources and suffering from severe time delay on long sequences. To achieve efficient reasoning on long sequences with limited storage resources, memory augmented neural networks introduce a human-like write-read memory to compress and memorize the long input sequence in one pass, trying to answer subsequent queries only based on the memory. But they have two serious drawbacks: 1) they continually update the memory from current information and inevitably forget the early contents; 2) they do not distinguish what information is important and treat all contents equally. In this paper, we propose the Rehearsal Memory (RM) to enhance long-sequence memorization by self-supervised rehearsal with a history sampler. To alleviate the gradual forgetting of early information, we design self-supervised rehearsal training with recollection and familiarity tasks. Further, we design a history sampler to select informative fragments for rehearsal training, making the memory focus on the crucial information. We evaluate the performance of our rehearsal memory by the synthetic bAbI task and several downstream tasks, including text/video question answering and recommendation on long sequences.
• Abstract（参考訳）: 既存の推論タスクは、入力内容が推論中に常にアクセス可能であり、無制限のストレージリソースを必要とし、長いシーケンスの厳しい遅延に悩まされているという重要な仮定を持つことが多い。 記憶資源が限られた長いシーケンスの効率的な推論を実現するために、メモリ拡張ニューラルネットワークは、人間ライクなライトリードメモリを導入し、1パスで長い入力シーケンスを圧縮して記憶し、メモリのみに基づいてその後のクエリに答えようとする。 しかし、2つの重大な欠点がある: 1) メモリを現在の情報から継続的に更新し、必然的に初期の内容を忘れる; 2) 重要な情報を区別せず、全てのコンテンツを平等に扱う。 本稿では,歴史サンプルを用いた自己教師型リハーサルによる長期記憶を改善するためのリハーサルメモリ(RM)を提案する。 早期情報の段階的忘れを緩和するため, 自己指導型リハーサルトレーニングを再現性や親しみやすいタスクで設計する。 さらに,リハーサルトレーニングのための情報断片選択のための履歴サンプルの設計を行い,重要な情報にメモリを集中させる。 我々は,合成babiタスクによるリハーサルメモリの性能評価と,テキスト/ビデオ質問応答や長いシーケンスでのレコメンデーションを含むいくつかの下流タスクによる評価を行った。

関連論文リスト

• LongMemEval: Benchmarking Chat Assistants on Long-Term Interactive Memory [68.97819665784442]
  本稿では,チャットアシスタントの5つのコアメモリ能力を評価するためのベンチマークであるLongMemEvalを紹介する。 LongMemEvalは、既存の長期記憶システムにとって重要な課題である。 長期記憶設計を4つの設計選択に分割する統合フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-10-14T17:59:44Z)
• Assessing Episodic Memory in LLMs with Sequence Order Recall Tasks [42.22616978679253]
  本稿では,認知心理学におけるエピソード記憶研究の課題から順応する逐次リコールタスク(SORT)を紹介する。 SORTはLLMにテキストセグメントの正しい順序を思い出させる必要があり、拡張が容易で追加のアノテーションを必要としない一般的なフレームワークを提供する。 155人の被験者による人間実験から,本書の長期記憶に基づくシーケンス順序を再現できることが示唆された。
  論文  参考訳（メタデータ） (2024-10-10T17:17:38Z)
• Exploring Memorization in Fine-tuned Language Models [53.52403444655213]
  我々は,タスク間の微調整中に,言語モデルの暗記を探索する最初の包括的分析を行う。 オープンソースと、さまざまなタスクにまたがる独自の微調整LMによる研究は、暗記が様々な微調整タスクの間に強い相違を示すことを示している。 本稿では,この課題の相違をスパース符号化理論を用いて直感的に説明し,暗記と注目スコア分布との強い相関関係を明らかにする。
  論文  参考訳（メタデータ） (2023-10-10T15:41:26Z)
• Saliency-Augmented Memory Completion for Continual Learning [8.243137410556495]
  忘れる方法は、継続的な学習に対処しなければならない問題である。 本稿では,連続学習のための新たなサリエンシ強化メモリ補完フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-12-26T18:06:39Z)
• Evaluating Long-Term Memory in 3D Mazes [10.224858246626171]
  Memory Mazeはエージェントの長期記憶を評価するために設計されたランダム化迷路の3Dドメインである。 既存のベンチマークとは異なり、Memory Mazeはエージェントの能力から切り離された長期的なメモリを測定する。 現在のアルゴリズムは、時間の経過とともに縮小したバックプロパゲーションによるトレーニングの恩恵を受け、小さな迷路で成功するが、大きな迷路での人間のパフォーマンスに欠ける。
  論文  参考訳（メタデータ） (2022-10-24T16:32:28Z)
• Keep Me Updated! Memory Management in Long-term Conversations [14.587940208778843]
  本稿では,長期会話における新しいタスクとメモリ管理データセットを提案する。 本稿では,無効あるいは冗長な情報を排除した新しいメモリ管理機構を提案する。 実験結果から,本研究のアプローチは,エンゲージネスや人間性という点において,ベースラインよりも優れていたことが示唆された。
  論文  参考訳（メタデータ） (2022-10-17T05:06:38Z)
• Not All Memories are Created Equal: Learning to Forget by Expiring [49.053569908417636]
  本稿では,重要情報の保持を学習し,無関係情報を期限とするExpire-Spanを提案する。 この記憶を忘れることで、トランスフォーマーは数十万以上の前のタイムステップに効率的に参加することができます。 私たちは、Expire-Spanが数万の大きさの記憶にスケールできることを示し、信じられないほど長いコンテキストタスクに新しい状態を設定します。
  論文  参考訳（メタデータ） (2021-05-13T20:50:13Z)
• Sequential Recommender via Time-aware Attentive Memory Network [67.26862011527986]
  本稿では,注意機構と繰り返し単位を改善するための時間ゲーティング手法を提案する。 また,長期と短期の嗜好を統合するマルチホップ・タイムアウェア・アテンテーティブ・メモリ・ネットワークを提案する。 提案手法は,候補探索タスクに対してスケーラブルであり,ドット積に基づくTop-Kレコメンデーションのための潜在因数分解の非線形一般化とみなすことができる。
  論文  参考訳（メタデータ） (2020-05-18T11:29:38Z)
• Encoding-based Memory Modules for Recurrent Neural Networks [79.42778415729475]
  本稿では,リカレントニューラルネットワークの設計とトレーニングの観点から,記憶サブタスクについて考察する。 本稿では,線形オートエンコーダを組み込んだエンコーディングベースのメモリコンポーネントを特徴とする新しいモデルであるLinear Memory Networkを提案する。
  論文  参考訳（メタデータ） (2020-01-31T11:14:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。