論文の概要: Improve Long-term Memory Learning Through Rescaling the Error Temporally

• arxiv url: http://arxiv.org/abs/2307.11462v1
• Date: Fri, 21 Jul 2023 09:55:44 GMT
• ステータス: 処理完了
• システム内更新日: 2023-07-24 13:04:18.272094
• Title: Improve Long-term Memory Learning Through Rescaling the Error Temporally
• Title（参考訳）: エラーの一時的再スケーリングによる長期記憶学習の改善
• Authors: Shida Wang, Zhanglu Yan
• Abstract要約: シーケンスモデリングにおいて一般的に使用される誤りの短期記憶に対するバイアスについて検討する。 このバイアスを低減するために、時間的に再スケールされたエラーを用いることを提案する。 長期記憶学習における適切な時間的再スケール誤差の重要性を数値的に検証した。
• 参考スコア（独自算出の注目度）: 2.28438857884398
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper studies the error metric selection for long-term memory learning in sequence modelling. We examine the bias towards short-term memory in commonly used errors, including mean absolute/squared error. Our findings show that all temporally positive-weighted errors are biased towards short-term memory in learning linear functionals. To reduce this bias and improve long-term memory learning, we propose the use of a temporally rescaled error. In addition to reducing the bias towards short-term memory, this approach can also alleviate the vanishing gradient issue. We conduct numerical experiments on different long-memory tasks and sequence models to validate our claims. Numerical results confirm the importance of appropriate temporally rescaled error for effective long-term memory learning. To the best of our knowledge, this is the first work that quantitatively analyzes different errors' memory bias towards short-term memory in sequence modelling.
• Abstract（参考訳）: 本稿では,シーケンスモデリングにおける長期記憶学習における誤差メトリック選択について検討する。 平均絶対/二乗誤差を含む一般的な誤差における短期記憶に対するバイアスについて検討する。 以上の結果から, 時間的正重み付き誤差はすべて, 線形機能学習における短期記憶に偏っていることがわかった。 このバイアスを軽減し、長期記憶学習を改善するために、時間的再スケール誤差の利用を提案する。 短期記憶へのバイアスを減らすことに加えて、このアプローチは消滅する勾配問題を軽減することもできる。 異なる長記憶タスクとシーケンスモデルについて数値実験を行い,クレームを検証する。 長期記憶学習における適切な時間的再スケール誤差の重要性を数値的に検証した。 我々の知る限りでは、これはシーケンスモデリングにおける短期記憶に対する異なるエラーのメモリバイアスを定量的に分析する最初の研究である。

関連論文リスト

• Stable Hadamard Memory: Revitalizing Memory-Augmented Agents for Reinforcement Learning [64.93848182403116]
  現在のディープラーニングメモリモデルは、部分的に観察可能で長期にわたる強化学習環境で苦労している。 本稿では,強化学習エージェントのための新しい記憶モデルであるStable Hadamard Memoryを紹介する。 我々の手法は、部分的に観測可能なベンチマークに挑戦する上で、最先端のメモリベースの手法よりも大幅に優れています。
  論文  参考訳（メタデータ） (2024-10-14T03:50:17Z)
• Exploring Learnability in Memory-Augmented Recurrent Neural Networks: Precision, Stability, and Empirical Insights [2.1485350418225244]
  本研究では,Pushdown Automataと理論的に等価であるメモリレスおよびメモリ拡張RNNの学習可能性について検討する。 完全にトレーニングされたコンポーネントフリーズモデルの実験では、メモリコンポーネントの凍結によりパフォーマンスが大幅に向上した。
  論文  参考訳（メタデータ） (2024-10-04T05:29:51Z)
• Causal Estimation of Memorisation Profiles [58.20086589761273]
  言語モデルにおける記憶の理解は、実践的および社会的意味を持つ。 覚書化(英: Memorisation)とは、モデルがそのインスタンスを予測できる能力に対して、あるインスタンスでトレーニングを行うことによる因果的影響である。 本稿では,計量学の差分差分設計に基づく,新しい,原理的,効率的な記憶推定法を提案する。
  論文  参考訳（メタデータ） (2024-06-06T17:59:09Z)
• What do larger image classifiers memorise? [64.01325988398838]
  トレーニング例は, モデルサイズにまたがって, 予想外の多彩な記憶軌跡を示す。 有効で一般的なモデル圧縮手法である知識蒸留は,記憶を阻害する傾向があり,一般化も改善する。
  論文  参考訳（メタデータ） (2023-10-09T01:52:07Z)
• Memory-Based Dual Gaussian Processes for Sequential Learning [26.22552882103996]
  提案手法は,最近提案されたデュアルスパース変分GPを用いて,これらの誤差をすべてチェックする手法である。 提案手法は,過去のデータのメモリを積極的に構築・更新することで,汎用可能性の正確な推測を可能にし,学習を改善する。
  論文  参考訳（メタデータ） (2023-06-06T10:34:03Z)
• Winner-Take-All Column Row Sampling for Memory Efficient Adaptation of Language Model [89.8764435351222]
  分散を低減した行列生成のために, WTA-CRS と呼ばれる新しい非バイアス推定系を提案する。 我々の研究は、チューニング変換器の文脈において、提案した推定器が既存のものよりも低い分散を示すという理論的および実験的証拠を提供する。
  論文  参考訳（メタデータ） (2023-05-24T15:52:08Z)
• Explain My Surprise: Learning Efficient Long-Term Memory by Predicting Uncertain Outcomes [0.1092387707389144]
  我々は,シーケンス全体を通して勾配をバックプロパゲートすることなく,長期的依存関係を学習できる新しいトレーニング手法であるMemUPを提案する。 リカレントアーキテクチャのMemUP実装では、パフォーマンスはベースラインに匹敵するが、計算メモリは大幅に少なくなっている。
  論文  参考訳（メタデータ） (2022-07-27T17:12:47Z)
• A Model or 603 Exemplars: Towards Memory-Efficient Class-Incremental Learning [56.450090618578]
  CIL(Class-Incremental Learning)は、この要件を満たすために、限られたメモリサイズでモデルをトレーニングすることを目的としている。 モデルサイズを総予算にカウントし,メモリサイズに整合する手法を比較すると,保存モデルは常に機能しないことを示す。 本稿では,メモリ効率のよい拡張可能なMOdelのための MEMO という,シンプルで効果的なベースラインを提案する。
  論文  参考訳（メタデータ） (2022-05-26T08:24:01Z)
• Prediction of chaotic attractors in quasiperiodically forced logistic map using deep learning [0.0]
  我々は、よく知られたディープラーニングフレームワークLong Short-Term Memoryを用いて、準周期的に強制されたロジスティックマップの2つのカオス力学を予測した。 予測値はRoot Mean Square Errorと呼ばれるメトリクスを用いて評価され、散乱プロットを用いて視覚化される。 本稿では,3段階までのカオス的アトラクタ予測において,Long Short-Term Memoryモデルの有効性を示す。
  論文  参考訳（メタデータ） (2022-03-18T06:27:16Z)
• Sequential memory improves sample and memory efficiency in Episodic Control [0.0]
  最先端の強化学習アルゴリズムは、パフォーマンスを達成するために必要なエピソードの数が多いため、サンプル非効率である。 哺乳類の海馬にインスパイアされたERLアルゴリズムは、通常、拡張メモリシステムを使用して過去の出来事から学習をブートストラップし、このサンプル非効率問題を克服する。 ここでは、エピソードサンプリングの順序から得られる取得メモリ内容のバイアスを含めることで、エピソード制御アルゴリズムのサンプリングとメモリ効率が向上することを示す。
  論文  参考訳（メタデータ） (2021-12-29T18:42:15Z)
• How Low Can We Go: Trading Memory for Error in Low-Precision Training [52.94003953419242]
  低精度算術は、少ないエネルギー、少ないメモリ、少ない時間でディープラーニングモデルを訓練する。 私たちは貯金の代償を支払っている: 精度の低い方がラウンドオフエラーが大きくなり、したがって予測エラーが大きくなる可能性がある。 私たちはメタラーニングのアイデアを借りて、メモリとエラーのトレードオフを学びます。
  論文  参考訳（メタデータ） (2021-06-17T17:38:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。