論文の概要: Mathematics of Continual Learning

• arxiv url: http://arxiv.org/abs/2504.17963v1
• Date: Thu, 24 Apr 2025 22:23:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-02 19:15:53.588581
• Title: Mathematics of Continual Learning
• Title（参考訳）: 連続学習の数学
• Authors: Liangzu Peng, René Vidal,
• Abstract要約: 連続学習は、学習したタスクを忘れずに、学習者に順次提示される複数のタスクを解決することを目的としている。 アダプティブ・フィルタリングは、数学的に原理化された手法の豊富な歴史を持つ信号処理における古典的な主題である。
• 参考スコア（独自算出の注目度）: 45.73704932193178
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Continual learning is an emerging subject in machine learning that aims to solve multiple tasks presented sequentially to the learner without forgetting previously learned tasks. Recently, many deep learning based approaches have been proposed for continual learning, however the mathematical foundations behind existing continual learning methods remain underdeveloped. On the other hand, adaptive filtering is a classic subject in signal processing with a rich history of mathematically principled methods. However, its role in understanding the foundations of continual learning has been underappreciated. In this tutorial, we review the basic principles behind both continual learning and adaptive filtering, and present a comparative analysis that highlights multiple connections between them. These connections allow us to enhance the mathematical foundations of continual learning based on existing results for adaptive filtering, extend adaptive filtering insights using existing continual learning methods, and discuss a few research directions for continual learning suggested by the historical developments in adaptive filtering.
• Abstract（参考訳）: 連続学習は、学習者が以前に学んだタスクを忘れずに連続的に提示される複数のタスクを解決することを目的とした、機械学習における新たな課題である。 近年,多くのディープラーニングに基づく継続的学習手法が提案されているが,既存の連続学習法の背後にある数学的基礎はいまだ未発達である。 一方、適応フィルタリングは、数学的に原理化された手法の豊富な歴史を持つ信号処理における古典的な主題である。 しかし、継続学習の基礎を理解する上での役割は過小評価されている。 本チュートリアルでは,連続学習と適応フィルタリングの両方の背景となる基本原理を概説し,それらの相互関係に着目した比較分析を行った。 これらの接続により,適応フィルタリングの既存の結果に基づいて連続学習の数学的基礎を強化することができ,適応フィルタリングの手法を用いて適応フィルタリングの洞察を拡張し,適応フィルタリングの歴史的発展によって提案される連続学習のいくつかの研究方向について議論することができる。

関連論文リスト

• When Meta-Learning Meets Online and Continual Learning: A Survey [39.53836535326121]
  メタ学習は学習アルゴリズムを最適化するためのデータ駆動型アプローチである。 継続的な学習とオンライン学習はどちらも、ストリーミングデータでモデルを漸進的に更新する。 本稿では,一貫した用語と形式記述を用いて,様々な問題設定を整理する。
  論文  参考訳（メタデータ） (2023-11-09T09:49:50Z)
• A Definition of Continual Reinforcement Learning [69.56273766737527]
  強化学習問題の標準的な見方では、エージェントの目標は、長期的な報酬を最大化するポリシーを効率的に識別することである。 継続的強化学習とは、最高のエージェントが決して学習をやめない状態を指す。 エージェントの分析とカタログ化のための新しい数学的言語を通じて「学習をやめることはない」エージェントの概念を定式化する。
  論文  参考訳（メタデータ） (2023-07-20T17:28:01Z)
• Hierarchically Structured Task-Agnostic Continual Learning [0.0]
  本研究では,連続学習のタスク非依存的な視点を取り入れ,階層的情報理論の最適性原理を考案する。 我々は,情報処理経路の集合を作成することで,忘れを緩和する,Mixture-of-Variational-Experts層と呼ばれるニューラルネットワーク層を提案する。 既存の連続学習アルゴリズムのようにタスク固有の知識を必要としない。
  論文  参考訳（メタデータ） (2022-11-14T19:53:15Z)
• Transferability in Deep Learning: A Survey [80.67296873915176]
  知識を習得し再利用する能力は、ディープラーニングにおける伝達可能性として知られている。 本研究は,深層学習における異なる孤立領域と伝達可能性との関係を関連付けるための調査である。 我々はベンチマークとオープンソースライブラリを実装し、転送可能性の観点からディープラーニング手法の公平な評価を可能にする。
  論文  参考訳（メタデータ） (2022-01-15T15:03:17Z)
• Emerging Trends in Federated Learning: From Model Fusion to Federated X Learning [65.06445195580622]
  フェデレートラーニング(Federated Learning)は、データ収集とモデルトレーニングを、マルチパーティの計算とモデルアグリゲーションを通じて分離する新しいパラダイムである。 我々は、他の学習アルゴリズムとともに、フェデレーション学習の焦点を絞った調査を行う。
  論文  参考訳（メタデータ） (2021-02-25T15:18:13Z)
• Discussion of Ensemble Learning under the Era of Deep Learning [4.061135251278187]
  深層学習のアンサンブル化は,学習システムの一般化に大きく貢献している。 複数のベース深層学習者のトレーニングとアンサンブル深層学習者によるテストのための時間と空間のオーバーヘッドは、従来のアンサンブル学習よりもはるかに大きい。 緊急に解決すべき問題は、必要な時間と空間のオーバーヘッドを減らしながら、ディープラーニングをアンサンブルする大きな利点をいかに活用するかである。
  論文  参考訳（メタデータ） (2021-01-21T01:33:23Z)
• Importance Weighted Policy Learning and Adaptation [89.46467771037054]
  政治外学習の最近の進歩の上に構築された,概念的にシンプルで,汎用的で,モジュール的な補完的アプローチについて検討する。 このフレームワークは確率論的推論文学のアイデアにインスパイアされ、堅牢な非政治学習と事前の行動を組み合わせる。 提案手法は,メタ強化学習ベースラインと比較して,ホールドアウトタスクにおける競合適応性能を実現し,複雑なスパース・リワードシナリオにスケールすることができる。
  論文  参考訳（メタデータ） (2020-09-10T14:16:58Z)
• Meta-Learning in Neural Networks: A Survey [4.588028371034406]
  本調査では,現代メタラーニングの展望について述べる。 まずメタラーニングの定義について議論し、関連する分野について位置づける。 そこで我々はメタラーニング手法の空間をより包括的に分析する新しい分類法を提案する。
  論文  参考訳（メタデータ） (2020-04-11T16:34:24Z)
• Revisiting Meta-Learning as Supervised Learning [69.2067288158133]
  メタラーニングと従来の教師付き学習の関連性を再考し,強化することで,原則的,統一的なフレームワークの提供を目指す。 タスク固有のデータセットとターゲットモデルを(機能、ラベル)サンプルとして扱うことで、多くのメタ学習アルゴリズムを教師付き学習のインスタンスに還元することができる。 この視点は、メタラーニングを直感的で実践的なフレームワークに統一するだけでなく、教師付き学習から直接洞察を伝達してメタラーニングを改善することができる。
  論文  参考訳（メタデータ） (2020-02-03T06:13:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。