論文の概要: MODL: Multilearner Online Deep Learning

• arxiv url: http://arxiv.org/abs/2405.18281v2
• Date: Fri, 21 Mar 2025 03:21:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-24 14:54:22.024761
• Title: MODL: Multilearner Online Deep Learning
• Title（参考訳）: MODL: マルチラーナーオンラインディープラーニング
• Authors: Antonios Valkanas, Boris N. Oreshkin, Mark Coates,
• Abstract要約: ハイブリッド・マルチ・ラーナー・アプローチによる代替パラダイムを導入する。 バックプロパゲーションに頼らずに動作可能な高速なオンラインロジスティック回帰学習器を開発した。 本手法は,標準的なオンライン学習データセット上での最先端のパフォーマンスを実現することを実証する。
• 参考スコア（独自算出の注目度）: 23.86544389731734
• License:
• Abstract: Online deep learning tackles the challenge of learning from data streams by balancing two competing goals: fast learning and deep learning. However, existing research primarily emphasizes deep learning solutions, which are more adept at handling the ``deep'' aspect than the ``fast'' aspect of online learning. In this work, we introduce an alternative paradigm through a hybrid multilearner approach. We begin by developing a fast online logistic regression learner, which operates without relying on backpropagation. It leverages closed-form recursive updates of model parameters, efficiently addressing the fast learning component of the online learning challenge. This approach is further integrated with a cascaded multilearner design, where shallow and deep learners are co-trained in a cooperative, synergistic manner to solve the online learning problem. We demonstrate that this approach achieves state-of-the-art performance on standard online learning datasets. We make our code available: https://github.com/AntonValk/MODL
• Abstract（参考訳）: オンラインのディープラーニングは、高速学習とディープラーニングという2つの競合する目標のバランスをとることによって、データストリームから学ぶという課題に取り組む。 しかし、既存の研究は、オンライン学習における「高速」の側面よりも「深層」の側面を扱うことに長けている深層学習ソリューションに重点を置いている。 本稿では,ハイブリッドマルチリアナアプローチによる代替パラダイムを提案する。 バックプロパゲーションに頼らずに動作可能な高速なオンラインロジスティック回帰学習器の開発から始める。 モデルパラメータのクローズドフォーム再帰的更新を活用し、オンライン学習課題の高速学習コンポーネントに効率的に対処する。 このアプローチは、浅層学習者と深層学習者が協調的・シナジスティックな方法で協調訓練され、オンライン学習問題を解決するカスケード型マルチラーナー設計とさらに統合されている。 本手法は,標準的なオンライン学習データセット上での最先端のパフォーマンスを実現することを実証する。 コードを利用可能にします。 https://github.com/AntonValk/MODL

関連論文リスト

• Evaluating Deep Unlearning in Large Language Models [26.01778651411487]
  本研究では,現在行われている大規模言語モデルの未学習手法が,事実の表面的未学習を超えて成功するかどうかを考察する。 我々は、深層学習の程度を定量化するために、メートル法を設計し、リコールする。 その結果,1つの事実のみを深層学習するタスクでは,高いリコールで適切に学習できないか,あるいは他の無関係な事実を未学習にしてしまうことが判明した。
  論文  参考訳（メタデータ） (2024-10-19T16:40:08Z)
• The Dimension of Self-Directed Learning [18.701165230774325]
  本研究では,2進環境と多進環境の両方において,自己指向型学習の複雑さについて検討する。 我々は,任意の概念クラスに対して,自己指向型学習ミスバウンドを正確に特徴付ける次元である$SDdim$を開発する。 自己指向型学習モデルとオフラインシーケンス学習モデルを中心に,学習可能性のギャップをいくつも示している。
  論文  参考訳（メタデータ） (2024-02-20T21:59:41Z)
• Relational Deep Learning: Graph Representation Learning on Relational Databases [69.7008152388055]
  複数のテーブルにまたがって配置されたデータを学ぶために、エンドツーエンドの表現アプローチを導入する。 メッセージパッシンググラフニューラルネットワークは、自動的にグラフを学習して、すべてのデータ入力を活用する表現を抽出する。
  論文  参考訳（メタデータ） (2023-12-07T18:51:41Z)
• APP: Anytime Progressive Pruning [104.36308667437397]
  本稿では,特にオンライン学習の場合において,ニューラルネットワークをターゲット空間でトレーニングする方法を提案する。 提案手法は,複数のアーキテクチャやデータセットにまたがるベースライン密度とAnytime OSPモデルにおいて,短時間で適度かつ長時間のトレーニングにおいて,大幅に性能が向上する。
  論文  参考訳（メタデータ） (2022-04-04T16:38:55Z)
• RvS: What is Essential for Offline RL via Supervised Learning? [77.91045677562802]
  近年の研究では、時間差(TD)のない教師あり学習だけでオフラインRLに極めて効果的であることが示されている。 あらゆる環境スイートにおいて、2層フィードフォワードによる可能性の最大化は競争力がある。 彼らはまた、ランダムデータに対して比較的弱い既存のRvS法の限界を探索する。
  論文  参考訳（メタデータ） (2021-12-20T18:55:16Z)
• A Workflow for Offline Model-Free Robotic Reinforcement Learning [117.07743713715291]
  オフライン強化学習(RL)は、オンラインインタラクションを伴わずに、事前の経験のみを活用することによって、学習制御ポリシを可能にする。 本研究では,教師付き学習問題に対して,比較的よく理解されたオフラインRLと類似した実践的ワークフローを開発する。 オンラインチューニングを伴わない効果的なポリシー作成におけるこのワークフローの有効性を実証する。
  論文  参考訳（メタデータ） (2021-09-22T16:03:29Z)
• Online Apprenticeship Learning [58.45089581278177]
  見習い学習(AL)では、コスト関数にアクセスせずにマルコフ決定プロセス(MDP)が与えられます。 目標は、事前に定義されたコスト関数のセットで専門家のパフォーマンスに一致するポリシーを見つけることです。 ミラー下降型ノンレグレットアルゴリズムを2つ組み合わせることで,OAL問題を効果的に解くことができることを示す。
  論文  参考訳（メタデータ） (2021-02-13T12:57:51Z)
• Backward Feature Correction: How Deep Learning Performs Deep (Hierarchical) Learning [66.05472746340142]
  本稿では,SGD による階層的学習 _efficiently_ と _automatically_ を学習目標として,多層ニューラルネットワークがどのように行うかを分析する。 我々は、下位機能のエラーを上位層と共にトレーニングする際に自動的に修正できる"後方特徴補正"と呼ばれる新しい原則を確立する。
  論文  参考訳（メタデータ） (2020-01-13T17:28:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。