論文の概要: MODL: Multilearner Online Deep Learning

• arxiv url: http://arxiv.org/abs/2405.18281v2
• Date: Fri, 21 Mar 2025 03:21:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-24 15:40:09.659083
• Title: MODL: Multilearner Online Deep Learning
• Title（参考訳）: MODL: マルチラーナーオンラインディープラーニング
• Authors: Antonios Valkanas, Boris N. Oreshkin, Mark Coates,
• Abstract要約: ハイブリッド・マルチ・ラーナー・アプローチによる代替パラダイムを導入する。 バックプロパゲーションに頼らずに動作可能な高速なオンラインロジスティック回帰学習器を開発した。 本手法は,標準的なオンライン学習データセット上での最先端のパフォーマンスを実現することを実証する。
• 参考スコア（独自算出の注目度）: 23.86544389731734
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Online deep learning tackles the challenge of learning from data streams by balancing two competing goals: fast learning and deep learning. However, existing research primarily emphasizes deep learning solutions, which are more adept at handling the ``deep'' aspect than the ``fast'' aspect of online learning. In this work, we introduce an alternative paradigm through a hybrid multilearner approach. We begin by developing a fast online logistic regression learner, which operates without relying on backpropagation. It leverages closed-form recursive updates of model parameters, efficiently addressing the fast learning component of the online learning challenge. This approach is further integrated with a cascaded multilearner design, where shallow and deep learners are co-trained in a cooperative, synergistic manner to solve the online learning problem. We demonstrate that this approach achieves state-of-the-art performance on standard online learning datasets. We make our code available: https://github.com/AntonValk/MODL
• Abstract（参考訳）: オンラインのディープラーニングは、高速学習とディープラーニングという2つの競合する目標のバランスをとることによって、データストリームから学ぶという課題に取り組む。 しかし、既存の研究は、オンライン学習における「高速」の側面よりも「深層」の側面を扱うことに長けている深層学習ソリューションに重点を置いている。 本稿では,ハイブリッドマルチリアナアプローチによる代替パラダイムを提案する。 バックプロパゲーションに頼らずに動作可能な高速なオンラインロジスティック回帰学習器の開発から始める。 モデルパラメータのクローズドフォーム再帰的更新を活用し、オンライン学習課題の高速学習コンポーネントに効率的に対処する。 このアプローチは、浅層学習者と深層学習者が協調的・シナジスティックな方法で協調訓練され、オンライン学習問題を解決するカスケード型マルチラーナー設計とさらに統合されている。 本手法は,標準的なオンライン学習データセット上での最先端のパフォーマンスを実現することを実証する。 コードを利用可能にします。 https://github.com/AntonValk/MODL

関連論文リスト

• Evaluating Deep Unlearning in Large Language Models [26.01778651411487]
  本研究では,現在行われている大規模言語モデルの未学習手法が,事実の表面的未学習を超えて成功するかどうかを考察する。 我々は、深層学習の程度を定量化するために、メートル法を設計し、リコールする。 その結果,1つの事実のみを深層学習するタスクでは,高いリコールで適切に学習できないか,あるいは他の無関係な事実を未学習にしてしまうことが判明した。
  論文  参考訳（メタデータ） (2024-10-19T16:40:08Z)
• A Retrospective of the Tutorial on Opportunities and Challenges of Online Deep Learning [10.886568704759657]
  我々は,ECML PKDD 2023で開催されるオンライン深層学習の機会と課題」と題したチュートリアルを振り返る。 本稿では,ニューラルネットワークをオンライン学習環境に適用する上での潜在的な落とし穴についても概説する。
  論文  参考訳（メタデータ） (2024-05-27T14:40:03Z)
• The Dimension of Self-Directed Learning [18.701165230774325]
  本研究では,2進環境と多進環境の両方において,自己指向型学習の複雑さについて検討する。 我々は,任意の概念クラスに対して,自己指向型学習ミスバウンドを正確に特徴付ける次元である$SDdim$を開発する。 自己指向型学習モデルとオフラインシーケンス学習モデルを中心に,学習可能性のギャップをいくつも示している。
  論文  参考訳（メタデータ） (2024-02-20T21:59:41Z)
• Relational Deep Learning: Graph Representation Learning on Relational Databases [69.7008152388055]
  複数のテーブルにまたがって配置されたデータを学ぶために、エンドツーエンドの表現アプローチを導入する。 メッセージパッシンググラフニューラルネットワークは、自動的にグラフを学習して、すべてのデータ入力を活用する表現を抽出する。
  論文  参考訳（メタデータ） (2023-12-07T18:51:41Z)
• When Meta-Learning Meets Online and Continual Learning: A Survey [39.53836535326121]
  メタ学習は学習アルゴリズムを最適化するためのデータ駆動型アプローチである。 継続的な学習とオンライン学習はどちらも、ストリーミングデータでモデルを漸進的に更新する。 本稿では,一貫した用語と形式記述を用いて,様々な問題設定を整理する。
  論文  参考訳（メタデータ） (2023-11-09T09:49:50Z)
• Concept Discovery for Fast Adapatation [42.81705659613234]
  データ特徴間の構造をメタラーニングすることで、より効果的な適応を実現する。 提案手法は,概念ベースモデル非依存メタラーニング(COMAML)を用いて,合成されたデータセットと実世界のデータセットの両方に対して,構造化データの一貫した改善を実現する。
  論文  参考訳（メタデータ） (2023-01-19T02:33:58Z)
• APP: Anytime Progressive Pruning [104.36308667437397]
  本稿では,特にオンライン学習の場合において,ニューラルネットワークをターゲット空間でトレーニングする方法を提案する。 提案手法は,複数のアーキテクチャやデータセットにまたがるベースライン密度とAnytime OSPモデルにおいて,短時間で適度かつ長時間のトレーニングにおいて,大幅に性能が向上する。
  論文  参考訳（メタデータ） (2022-04-04T16:38:55Z)
• Fully Online Meta-Learning Without Task Boundaries [80.09124768759564]
  この性質のオンライン問題にメタラーニングを適用する方法について検討する。 タスク境界に関する基礎的な真理知識を必要としない完全オンラインメタラーニング(FOML)アルゴリズムを提案する。 実験の結果,FOMLは最先端のオンライン学習手法よりも高速に新しいタスクを学習できることがわかった。
  論文  参考訳（メタデータ） (2022-02-01T07:51:24Z)
• Recursive Least-Squares Estimator-Aided Online Learning for Visual Tracking [58.14267480293575]
  オフライン学習を必要とせず、簡単な効果的なオンライン学習手法を提案する。 これは、モデルが以前見たオブジェクトに関する知識を記憶するための、内蔵されたメモリ保持メカニズムを可能にする。 我々は、RT-MDNetにおける多層パーセプトロンと、DiMPにおける畳み込みニューラルネットワークの追跡のためのオンライン学習ファミリーにおける2つのネットワークに基づくアプローチを評価する。
  論文  参考訳（メタデータ） (2021-12-28T06:51:18Z)
• RvS: What is Essential for Offline RL via Supervised Learning? [77.91045677562802]
  近年の研究では、時間差(TD)のない教師あり学習だけでオフラインRLに極めて効果的であることが示されている。 あらゆる環境スイートにおいて、2層フィードフォワードによる可能性の最大化は競争力がある。 彼らはまた、ランダムデータに対して比較的弱い既存のRvS法の限界を探索する。
  論文  参考訳（メタデータ） (2021-12-20T18:55:16Z)
• A Workflow for Offline Model-Free Robotic Reinforcement Learning [117.07743713715291]
  オフライン強化学習(RL)は、オンラインインタラクションを伴わずに、事前の経験のみを活用することによって、学習制御ポリシを可能にする。 本研究では,教師付き学習問題に対して,比較的よく理解されたオフラインRLと類似した実践的ワークフローを開発する。 オンラインチューニングを伴わない効果的なポリシー作成におけるこのワークフローの有効性を実証する。
  論文  参考訳（メタデータ） (2021-09-22T16:03:29Z)
• Online Continual Learning with Natural Distribution Shifts: An Empirical Study with Visual Data [101.6195176510611]
  オンライン」連続学習は、情報保持とオンライン学習の有効性の両方を評価することができる。 オンライン連続学習では、入力される各小さなデータをまずテストに使用し、次にトレーニングセットに追加し、真にオンラインにします。 本稿では,大規模かつ自然な分布変化を示すオンライン連続視覚学習のための新しいベンチマークを提案する。
  論文  参考訳（メタデータ） (2021-08-20T06:17:20Z)
• Knowledge Consolidation based Class Incremental Online Learning with Limited Data [41.87919913719975]
  本稿では,限定的なデータ環境下での授業段階的なオンライン学習のための新しい手法を提案する。 我々は、破滅的な忘れ込みと過度な適合の問題に悩まされることなく、タスク間で一般化可能な堅牢な表現を学習する。
  論文  参考訳（メタデータ） (2021-06-12T15:18:29Z)
• Online Apprenticeship Learning [58.45089581278177]
  見習い学習(AL)では、コスト関数にアクセスせずにマルコフ決定プロセス(MDP)が与えられます。 目標は、事前に定義されたコスト関数のセットで専門家のパフォーマンスに一致するポリシーを見つけることです。 ミラー下降型ノンレグレットアルゴリズムを2つ組み合わせることで,OAL問題を効果的に解くことができることを示す。
  論文  参考訳（メタデータ） (2021-02-13T12:57:51Z)
• Online Structured Meta-learning [137.48138166279313]
  現在のオンラインメタ学習アルゴリズムは、グローバルに共有されたメタラーナーを学ぶために限られている。 この制限を克服するオンライン構造化メタラーニング(OSML)フレームワークを提案する。 3つのデータセットの実験は、提案フレームワークの有効性と解釈可能性を示している。
  論文  参考訳（メタデータ） (2020-10-22T09:10:31Z)
• Deep Reinforcement Learning for Adaptive Learning Systems [4.8685842576962095]
  学習者の潜在特性に基づいて,個別化学習計画の探索方法の問題点を定式化する。 最適な学習ポリシーを効果的に見つけることができるモデルフリーの深層強化学習アルゴリズムを適用した。 また,ニューラルネットワークを用いて学習者の学習過程をエミュレートする遷移モデル推定器を開発した。
  論文  参考訳（メタデータ） (2020-04-17T18:04:03Z)
• Backward Feature Correction: How Deep Learning Performs Deep (Hierarchical) Learning [66.05472746340142]
  本稿では,SGD による階層的学習 _efficiently_ と _automatically_ を学習目標として,多層ニューラルネットワークがどのように行うかを分析する。 我々は、下位機能のエラーを上位層と共にトレーニングする際に自動的に修正できる"後方特徴補正"と呼ばれる新しい原則を確立する。
  論文  参考訳（メタデータ） (2020-01-13T17:28:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。