論文の概要: Learning what to remember
- arxiv url: http://arxiv.org/abs/2201.03806v1
- Date: Tue, 11 Jan 2022 06:42:50 GMT
- ステータス: 処理完了
- システム内更新日: 2022-01-12 13:53:29.258405
- Title: Learning what to remember
- Title(参考訳): 覚えることを学ぶ
- Authors: Robi Bhattacharjee and Gaurav Mahajan
- Abstract要約: 本稿では,学習者が絶え間ない事実の流れに直面する生涯学習シナリオについて考察し,その記憶に保持すべきものを決定する。
オンライン学習フレームワークに基づく数学的モデルを導入し、学習者は記憶に制約のある専門家の集合に対して自己測定を行う。
このメモリ制約のあるシナリオにおいて乗算重み更新アルゴリズムを用いることの難しさを特定し、後悔の保証が最良に近い代替スキームを設計する。
- 参考スコア(独自算出の注目度): 9.108546206438218
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We consider a lifelong learning scenario in which a learner faces a
neverending and arbitrary stream of facts and has to decide which ones to
retain in its limited memory. We introduce a mathematical model based on the
online learning framework, in which the learner measures itself against a
collection of experts that are also memory-constrained and that reflect
different policies for what to remember. Interspersed with the stream of facts
are occasional questions, and on each of these the learner incurs a loss if it
has not remembered the corresponding fact. Its goal is to do almost as well as
the best expert in hindsight, while using roughly the same amount of memory. We
identify difficulties with using the multiplicative weights update algorithm in
this memory-constrained scenario, and design an alternative scheme whose regret
guarantees are close to the best possible.
- Abstract(参考訳): 我々は,学習者が絶え間なく任意の事実の流れに直面する生涯学習シナリオを考察し,その記憶に保持すべきものを決定する必要がある。
オンライン学習フレームワークに基づく数学的モデルを導入し、学習者は記憶に制約のある専門家の集合に対して自己測定を行い、記憶すべきものに対する異なるポリシーを反映する。
事実のストリームに散らばっているのは時々の質問であり、これらの各学習者は、対応する事実を覚えていなければ損失を被る。
そのゴールは、ほぼ同じ量のメモリを使用しながら、後見で最高の専門家とほとんど同じことをすることです。
このメモリ制約のあるシナリオにおいて乗算重み更新アルゴリズムを用いることの難しさを特定し、後悔の保証が最良に近い代替スキームを設計する。
関連論文リスト
- Stable Hadamard Memory: Revitalizing Memory-Augmented Agents for Reinforcement Learning [64.93848182403116]
現在のディープラーニングメモリモデルは、部分的に観察可能で長期にわたる強化学習環境で苦労している。
本稿では,強化学習エージェントのための新しい記憶モデルであるStable Hadamard Memoryを紹介する。
我々の手法は、部分的に観測可能なベンチマークに挑戦する上で、最先端のメモリベースの手法よりも大幅に優れています。
論文 参考訳(メタデータ) (2024-10-14T03:50:17Z) - PARMESAN: Parameter-Free Memory Search and Transduction for Dense Prediction Tasks [5.5127111704068374]
この研究は、トランスダクティブ推論によるディープラーニングの柔軟性に対処する。
我々は,高密度予測タスクを解くためにメモリモジュールを活用するスケーラブルな手法であるPARMESANを提案する。
提案手法は,一般的なアーキテクチャと互換性があり,標準で1D,2D,3Dグリッドベースのデータに転送する。
論文 参考訳(メタデータ) (2024-03-18T12:55:40Z) - TOFU: A Task of Fictitious Unlearning for LLMs [99.92305790945507]
Webからの大量のコーパスに基づいてトレーニングされた大規模な言語モデルは、法的および倫理的懸念を提起する機密データやプライベートデータを再現することができる。
トレーニングデータに存在する情報を忘れるためにモデルをチューニングするアンラーニングは、トレーニング後のプライベートデータを保護する手段を提供する。
未学習の理解を深めるためのベンチマークであるTOFUを紹介する。
論文 参考訳(メタデータ) (2024-01-11T18:57:12Z) - Exploring Memorization in Fine-tuned Language Models [53.52403444655213]
我々は,タスク間の微調整中に,言語モデルの暗記を探索する最初の包括的分析を行う。
オープンソースと、さまざまなタスクにまたがる独自の微調整LMによる研究は、暗記が様々な微調整タスクの間に強い相違を示すことを示している。
本稿では,この課題の相違をスパース符号化理論を用いて直感的に説明し,暗記と注目スコア分布との強い相関関係を明らかにする。
論文 参考訳(メタデータ) (2023-10-10T15:41:26Z) - Ticketed Learning-Unlearning Schemes [57.89421552780526]
そこで我々は,学習のためのチケット付きモデルを提案する。
広義のコンセプトクラスに対して,空間効率のよいチケット付き学習スキームを提供する。
論文 参考訳(メタデータ) (2023-06-27T18:54:40Z) - Saliency-Augmented Memory Completion for Continual Learning [8.243137410556495]
忘れる方法は、継続的な学習に対処しなければならない問題である。
本稿では,連続学習のための新たなサリエンシ強化メモリ補完フレームワークを提案する。
論文 参考訳(メタデータ) (2022-12-26T18:06:39Z) - Learning What to Memorize: Using Intrinsic Motivation to Form Useful
Memory in Partially Observable Reinforcement Learning [0.0]
曖昧な環境で学習するためには、エージェントは以前の認識を記憶に残さなければならない。
本研究では, メモリの制御をエージェントに委ねることで, メモリ変更動作を可能とすることで, メモリの制御をエージェントに行わせるという考え方に従う。
この学習メカニズムは、希少な観察を記憶する本質的な動機によって支えられ、エージェントが環境中の状態を曖昧にするのに役立つ。
論文 参考訳(メタデータ) (2021-10-25T11:15:54Z) - Learning to Learn Variational Semantic Memory [132.39737669936125]
我々はメタラーニングに変分セマンティックメモリを導入し、数ショットラーニングのための長期的知識を得る。
セマンティックメモリはスクラッチから成長し、経験したタスクから情報を吸収することで徐々に統合される。
アドレスコンテンツから潜在記憶変数の変動推論としてメモリリコールを定式化する。
論文 参考訳(メタデータ) (2020-10-20T15:05:26Z) - Online Class-Incremental Continual Learning with Adversarial Shapley
Value [28.921534209869105]
本稿では、モデルがオンラインデータストリームから新しいクラスを継続的に学習する必要があるオンラインクラス増分設定に焦点を当てる。
そこで本研究では,遅延決定境界を保存する能力に基づいて,メモリデータサンプルをスコアリングする,新たなアディバーショナルシェープ値スコアリング手法を提案する。
全体として,提案手法は,様々なデータセット上での最先端のリプレイベース連続学習法と比較して,競争力や性能の向上を図っている。
論文 参考訳(メタデータ) (2020-08-31T20:52:27Z) - Bilevel Continual Learning [76.50127663309604]
BCL(Bilevel Continual Learning)という,継続的学習の新たな枠組みを提案する。
連続学習ベンチマーク実験では,多くの最先端手法と比較して,提案したBCLの有効性が示された。
論文 参考訳(メタデータ) (2020-07-30T16:00:23Z) - Using Hindsight to Anchor Past Knowledge in Continual Learning [36.271906785418864]
連続学習では、学習者は時間とともに分布が変化するデータのストリームに直面します。
現代のニューラルネットワークは、以前に獲得した知識をすぐに忘れてしまうため、この設定で苦しむことが知られている。
ここでは、学習者が2段階最適化を使用して現在のタスクの知識を更新し、過去のタスクの予測をそのまま維持する。
論文 参考訳(メタデータ) (2020-02-19T13:21:19Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。