論文の概要: Forgetting is Everywhere

• arxiv url: http://arxiv.org/abs/2511.04666v1
• Date: Thu, 06 Nov 2025 18:52:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-07 20:17:53.574711
• Title: Forgetting is Everywhere
• Title（参考訳）: 忘れ物は至る所にある
• Authors: Ben Sanati, Thomas L. Lee, Trevor McInroe, Aidan Scannell, Nikolay Malkin, David Abel, Amos Storkey,
• Abstract要約: 本稿では,学習者の将来の体験に対する予測分布における自己整合性の欠如を特徴付けるアルゴリズム・タスク非依存理論を提案する。 我々の理論は、アルゴリズムが忘れる確率の一般的な測度を自然に生み出す。 我々は,すべての学習環境に忘れ物が存在することを実証的に示し,学習効率を決定する上で重要な役割を担っている。
• 参考スコア（独自算出の注目度）: 19.22572725623779
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: A fundamental challenge in developing general learning algorithms is their tendency to forget past knowledge when adapting to new data. Addressing this problem requires a principled understanding of forgetting; yet, despite decades of study, no unified definition has emerged that provides insights into the underlying dynamics of learning. We propose an algorithm- and task-agnostic theory that characterises forgetting as a lack of self-consistency in a learner's predictive distribution over future experiences, manifesting as a loss of predictive information. Our theory naturally yields a general measure of an algorithm's propensity to forget. To validate the theory, we design a comprehensive set of experiments that span classification, regression, generative modelling, and reinforcement learning. We empirically demonstrate how forgetting is present across all learning settings and plays a significant role in determining learning efficiency. Together, these results establish a principled understanding of forgetting and lay the foundation for analysing and improving the information retention capabilities of general learning algorithms.
• Abstract（参考訳）: 一般学習アルゴリズムの開発における根本的な課題は、新しいデータに適応する際の過去の知識を忘れる傾向にある。 この問題に対処するには、忘れることの原則的な理解が必要であるが、数十年の研究にもかかわらず、学習の基盤となるダイナミクスに関する洞察を提供する統一された定義は存在しない。 本稿では,学習者の将来の体験に対する予測分布における自己整合性の欠如を特徴付けるアルゴリズム・タスク非依存理論を提案する。 我々の理論は、アルゴリズムが忘れる確率の一般的な測度を自然に生み出す。 この理論を検証するために、分類、回帰、生成モデリング、強化学習にまたがる総合的な実験セットを設計する。 我々は,すべての学習環境に忘れ物が存在することを実証的に示し,学習効率を決定する上で重要な役割を担っている。 これらの結果と合わせて,一般学習アルゴリズムの情報保持能力の解析・改善の基礎を忘れることの原則的理解を確立した。

関連論文リスト

• Beyond Statistical Learning: Exact Learning Is Essential for General Intelligence [59.07578850674114]
  音の誘惑的推論は、一般知能の必然的に望ましい側面である。 もっとも先進的なフロンティアシステムでさえ、定期的かつ一貫して容易に解決可能な推論タスクに干渉していることは、よく文書化されている。 彼らの不健全な振る舞いは、彼らの発展を支えている統計的学習のアプローチの結果である、と我々は主張する。
  論文  参考訳（メタデータ） (2025-06-30T14:37:50Z)
• Learning principle and mathematical realization of the learning mechanism in the brain [0.0]
  我々はこれを学習原理と呼び、全ての学習は入力データの確率を推定するのと等価である。 従来の教師付き学習は条件付き確率の推定に等価であり,教師付き学習をより効果的かつ一般化させることに成功した。 微分を用いた推定確率の値の定義法を提案し,事前知識を使わずに任意のデータセット上で教師なし学習を行うことを示す。
  論文  参考訳（メタデータ） (2023-11-22T12:08:01Z)
• Ticketed Learning-Unlearning Schemes [57.89421552780526]
  そこで我々は,学習のためのチケット付きモデルを提案する。 広義のコンセプトクラスに対して,空間効率のよいチケット付き学習スキームを提供する。
  論文  参考訳（メタデータ） (2023-06-27T18:54:40Z)
• To Compress or Not to Compress- Self-Supervised Learning and Information Theory: A Review [30.87092042943743]
  ディープニューラルネットワークは教師付き学習タスクに優れるが、広範なラベル付きデータの必要性によって制約される。 自己組織化学習は有望な代替手段として登場し、明確なラベルなしでモデルを学習できる。 情報理論、特に情報ボトルネックの原則は、ディープニューラルネットワークの形成において重要な役割を担っている。
  論文  参考訳（メタデータ） (2023-04-19T00:33:59Z)
• A Comprehensive Survey of Continual Learning: Theory, Method and Application [64.23253420555989]
  本稿では,基礎的設定,理論的基礎,代表的方法,実践的応用を橋渡しする継続的学習に関する包括的調査を行う。 連続学習の一般的な目的は、資源効率の文脈において、適切な安定性と塑性のトレードオフと適切なタスク内/タスク内一般化性を保証することであると要約する。
  論文  参考訳（メタデータ） (2023-01-31T11:34:56Z)
• Understanding Self-Predictive Learning for Reinforcement Learning [61.62067048348786]
  強化学習のための自己予測学習の学習ダイナミクスについて検討する。 本稿では,2つの表現を同時に学習する新しい自己予測アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-12-06T20:43:37Z)
• Anti-Retroactive Interference for Lifelong Learning [65.50683752919089]
  我々は脳のメタラーニングと連想機構に基づく生涯学習のパラダイムを設計する。 知識の抽出と知識の記憶という2つの側面から問題に取り組む。 提案した学習パラダイムが,異なるタスクのモデルを同じ最適に収束させることができることを理論的に分析した。
  論文  参考訳（メタデータ） (2022-08-27T09:27:36Z)
• Towards a theory of out-of-distribution learning [23.878004729029644]
  本稿では,PAC学習フレームワークを用いて,異なる学習課題を定義するための時系列的アプローチを提案する。 まずは流通学習から始め、最近提案された生涯学習や継続学習へと進む。 この研究によって、さまざまなタイプの学習を定量化する、普遍的に合意されたアプローチがもたらされることを期待しています。
  論文  参考訳（メタデータ） (2021-09-29T15:35:16Z)
• Nonparametric Estimation of Heterogeneous Treatment Effects: From Theory to Learning Algorithms [91.3755431537592]
  プラグイン推定と擬似出力回帰に依存する4つの幅広いメタ学習戦略を解析する。 この理論的推論を用いて、アルゴリズム設計の原則を導出し、分析を実践に翻訳する方法について強調する。
  論文  参考訳（メタデータ） (2021-01-26T17:11:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。