論文の概要: Explain My Surprise: Learning Efficient Long-Term Memory by Predicting Uncertain Outcomes

• arxiv url: http://arxiv.org/abs/2207.13649v1
• Date: Wed, 27 Jul 2022 17:12:47 GMT
• ステータス: 処理完了
• システム内更新日: 2022-07-28 12:57:20.604059
• Title: Explain My Surprise: Learning Efficient Long-Term Memory by Predicting Uncertain Outcomes
• Title（参考訳）: 説明私のサプライズ:不確かさの予測による学習効率のよい長期記憶
• Authors: Artyom Sorokin, Nazar Buzun, Leonid Pugachev, Mikhail Burtsev
• Abstract要約: 我々は,シーケンス全体を通して勾配をバックプロパゲートすることなく,長期的依存関係を学習できる新しいトレーニング手法であるMemUPを提案する。 リカレントアーキテクチャのMemUP実装では、パフォーマンスはベースラインに匹敵するが、計算メモリは大幅に少なくなっている。
• 参考スコア（独自算出の注目度）: 0.1092387707389144
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In many sequential tasks, a model needs to remember relevant events from the distant past to make correct predictions. Unfortunately, a straightforward application of gradient based training requires intermediate computations to be stored for every element of a sequence. This requires prohibitively large computing memory if a sequence consists of thousands or even millions elements, and as a result, makes learning of very long-term dependencies infeasible. However, the majority of sequence elements can usually be predicted by taking into account only temporally local information. On the other hand, predictions affected by long-term dependencies are sparse and characterized by high uncertainty given only local information. We propose MemUP, a new training method that allows to learn long-term dependencies without backpropagating gradients through the whole sequence at a time. This method can be potentially applied to any gradient based sequence learning. MemUP implementation for recurrent architectures shows performances better or comparable to baselines while requiring significantly less computing memory.
• Abstract（参考訳）: 多くのシーケンシャルなタスクでは、モデルが正確な予測を行うために、遠い過去の関連するイベントを記憶する必要がある。 残念ながら、勾配に基づくトレーニングの簡単な適用には、シーケンスの各要素に中間計算を格納する必要がある。 これは、シーケンスが数千から数百万の要素で構成されている場合、非常に大きな計算メモリを必要とし、その結果、非常に長期的な依存関係の学習が不可能になる。 しかし、ほとんどのシーケンス要素は、時間的に局所的な情報のみを考慮して予測できる。 一方,長期依存による予測は不十分であり,ローカル情報のみを前提とした不確実性が高いことが特徴である。 我々は,シーケンス全体の勾配をバックプロパゲートすることなく,長期的依存関係を学習できる新しいトレーニング手法であるMemUPを提案する。 この方法は任意の勾配に基づくシーケンス学習に適用することができる。 再並行アーキテクチャのMemUP実装では、パフォーマンスはベースラインに匹敵するが、計算メモリは大幅に少ない。

関連論文リスト

• Cascaded Scaling Classifier: class incremental learning with probability scaling [4.816581623191151]
  本稿では, Margin Dampening と Cascaded Scaling という新たな漸進正規化手法を提案する。 1つ目は、ソフト制約と知識蒸留のアプローチを組み合わせて、過去の知識を保存し、新しいパターンを忘れることを可能にします。 提案手法は,複数のベンチマークにおいて,確立されたベースラインで良好に動作することを示す。
  論文  参考訳（メタデータ） (2024-02-02T09:33:07Z)
• Memory-Based Dual Gaussian Processes for Sequential Learning [26.22552882103996]
  提案手法は,最近提案されたデュアルスパース変分GPを用いて,これらの誤差をすべてチェックする手法である。 提案手法は,過去のデータのメモリを積極的に構築・更新することで,汎用可能性の正確な推測を可能にし,学習を改善する。
  論文  参考訳（メタデータ） (2023-06-06T10:34:03Z)
• Learning Sequence Representations by Non-local Recurrent Neural Memory [61.65105481899744]
  教師付きシーケンス表現学習のためのNon-local Recurrent Neural Memory (NRNM)を提案する。 我々のモデルは長距離依存を捉えることができ、潜伏した高レベル特徴を我々のモデルで抽出することができる。 我々のモデルは、これらのシーケンスアプリケーションごとに特別に設計された他の最先端の手法と比較して好意的に比較する。
  論文  参考訳（メタデータ） (2022-07-20T07:26:15Z)
• Provable Reinforcement Learning with a Short-Term Memory [68.00677878812908]
  我々はPMDPsの新しいサブクラスについて研究し、その潜在状態は、最近の短い長さ$m$の履歴によって復号化することができる。 特に、リッチ・オブザーブレーション・セッティングにおいて、指数関数的にスケールするサンプル複雑性を持つ新しい「モーメントマッチング」アプローチを用いて、新しいアルゴリズムを開発する。 以上の結果から,これらの環境下での強化学習には短期記憶が十分であることが示唆された。
  論文  参考訳（メタデータ） (2022-02-08T16:39:57Z)
• Sequential Episodic Control [0.6445605125467572]
  最先端の強化学習アルゴリズムは、パフォーマンスを達成するために必要なエピソードの数が多いため、サンプル非効率である。 哺乳類の海馬にインスパイアされたERLアルゴリズムは、通常、拡張メモリシステムを使用して過去の出来事から学習をブートストラップし、このサンプル非効率問題を克服する。 ここでは、エピソードサンプリングの順序から得られる取得メモリ内容のバイアスを含めることで、エピソード制御アルゴリズムのサンプリングとメモリ効率が向上することを示す。
  論文  参考訳（メタデータ） (2021-12-29T18:42:15Z)
• Simple Stochastic and Online Gradient DescentAlgorithms for Pairwise Learning [65.54757265434465]
  ペアワイズ学習(Pairwise learning)とは、損失関数がペアインスタンスに依存するタスクをいう。 オンライン降下(OGD)は、ペアワイズ学習でストリーミングデータを処理する一般的なアプローチである。 本稿では,ペアワイズ学習のための手法について,シンプルでオンラインな下降を提案する。
  論文  参考訳（メタデータ） (2021-11-23T18:10:48Z)
• Learning to Rehearse in Long Sequence Memorization [107.14601197043308]
  既存の推論タスクは、しばしば、推論中に入力内容が常にアクセス可能であるという重要な仮定を持つ。 メモリ拡張ニューラルネットワークは、人間のような書き込み読み取りメモリを導入し、1回のパスで長い入力シーケンスを圧縮し記憶する。 しかし、2つの重大な欠点がある: 1) メモリを現在の情報から継続的に更新し、必然的に初期の内容を忘れる; 2) 重要な情報を区別せず、全てのコンテンツを平等に扱う。 本稿では,履歴サンプリング装置を用いた自己教師型リハーサルによる長期記憶向上のためのリハーサルメモリを提案する。
  論文  参考訳（メタデータ） (2021-06-02T11:58:30Z)
• Condensed Composite Memory Continual Learning [17.192367229752072]
  ディープニューラルネットワーク(DNN)は、最新のタスクのデータのみが利用可能な一連のタスクでトレーニングされると、パフォーマンスが急速に低下します。 本稿では,完全なデータセットの本質を捉えた,少数の合成例を学習する新しい方法を提案する。
  論文  参考訳（メタデータ） (2021-02-19T12:18:15Z)
• Dynamic Memory based Attention Network for Sequential Recommendation [79.5901228623551]
  DMAN(Dynamic Memory-based Attention Network)と呼ばれる新しい連続的推薦モデルを提案する。 長い動作シーケンス全体を一連のサブシーケンスに分割し、モデルをトレーニングし、ユーザの長期的な利益を維持するためにメモリブロックのセットを維持する。 動的メモリに基づいて、ユーザの短期的および長期的関心を明示的に抽出し、組み合わせて効率的な共同推薦を行うことができる。
  論文  参考訳（メタデータ） (2021-02-18T11:08:54Z)
• Temporally Correlated Task Scheduling for Sequence Learning [143.70523777803723]
  多くのアプリケーションにおいて、シーケンス学習タスクは通常、複数の時間的に相関した補助タスクと関連付けられている。 シーケンス学習に学習可能なスケジューラを導入し、トレーニングのための補助的なタスクを適応的に選択できる。 本手法は,同時翻訳とストックトレンド予測の性能を著しく向上させる。
  論文  参考訳（メタデータ） (2020-07-10T10:28:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。