論文の概要: MODL: Multilearner Online Deep Learning

• arxiv url: http://arxiv.org/abs/2405.18281v1
• Date: Tue, 28 May 2024 15:34:33 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-29 17:59:58.622796
• Title: MODL: Multilearner Online Deep Learning
• Title（参考訳）: MODL: マルチラーナーオンラインディープラーニング
• Authors: Antonios Valkanas, Boris N. Oreshkin, Mark Coates,
• Abstract要約: 既存の作業はほとんど、純粋なディープラーニングソリューションの探索に重点を置いています。 我々は,ハイブリッドマルチラーナーアプローチに基づく,異なるパラダイムを提案する。 提案手法は,一般的なオンライン学習データセットにおいて,最先端の学習結果が得られることを示す。
• 参考スコア（独自算出の注目度）: 23.86544389731734
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Online deep learning solves the problem of learning from streams of data, reconciling two opposing objectives: learn fast and learn deep. Existing work focuses almost exclusively on exploring pure deep learning solutions, which are much better suited to handle the "deep" than the "fast" part of the online learning equation. In our work, we propose a different paradigm, based on a hybrid multilearner approach. First, we develop a fast online logistic regression learner. This learner does not rely on backpropagation. Instead, it uses closed form recursive updates of model parameters, handling the fast learning part of the online learning problem. We then analyze the existing online deep learning theory and show that the widespread ODL approach, currently operating at complexity $O(L^2)$ in terms of the number of layers $L$, can be equivalently implemented in $O(L)$ complexity. This further leads us to the cascaded multilearner design, in which multiple shallow and deep learners are co-trained to solve the online learning problem in a cooperative, synergistic fashion. We show that this approach achieves state-of-the-art results on common online learning datasets, while also being able to handle missing features gracefully. Our code is publicly available at https://github.com/AntonValk/MODL.
• Abstract（参考訳）: オンラインのディープラーニングは、データの流れから学ぶことの問題を解決する。 既存の作業は、オンライン学習方程式の"高速"部分よりも、"ディープ"を扱うのに適した、純粋なディープラーニングソリューションの探索にのみ焦点を合わせています。 本研究では,ハイブリッドマルチラーナーアプローチに基づく,異なるパラダイムを提案する。 まず、高速なオンラインロジスティック回帰学習システムを開発する。 この学習者はバックプロパゲーションに頼らない。 代わりに、モデルパラメータのクローズドフォーム再帰的な更新を使用して、オンライン学習問題の高速学習部分を処理する。 次に、既存のオンラインディープラーニング理論を分析し、現在複雑なO(L^2)$で運用されているODLアプローチが$O(L)$複雑性で同等に実装可能であることを示す。 このことは、複数の浅層学習者と深層学習者が協調して、協調的・シナジスティックな方法でオンライン学習問題を解く、カスケード型マルチラーナー設計へと繋がる。 このアプローチは、一般的なオンライン学習データセットにおける最先端の結果を達成すると同時に、欠落した機能を優雅に扱えることを示す。 私たちのコードはhttps://github.com/AntonValk/MODLで公開されています。

関連論文リスト

• Evaluating Deep Unlearning in Large Language Models [26.01778651411487]
  本研究では,現在行われている大規模言語モデルの未学習手法が,事実の表面的未学習を超えて成功するかどうかを考察する。 我々は、深層学習の程度を定量化するために、メートル法を設計し、リコールする。 その結果,1つの事実のみを深層学習するタスクでは,高いリコールで適切に学習できないか,あるいは他の無関係な事実を未学習にしてしまうことが判明した。
  論文  参考訳（メタデータ） (2024-10-19T16:40:08Z)
• The Dimension of Self-Directed Learning [18.701165230774325]
  本研究では,2進環境と多進環境の両方において,自己指向型学習の複雑さについて検討する。 我々は,任意の概念クラスに対して,自己指向型学習ミスバウンドを正確に特徴付ける次元である$SDdim$を開発する。 自己指向型学習モデルとオフラインシーケンス学習モデルを中心に,学習可能性のギャップをいくつも示している。
  論文  参考訳（メタデータ） (2024-02-20T21:59:41Z)
• Relational Deep Learning: Graph Representation Learning on Relational Databases [69.7008152388055]
  複数のテーブルにまたがって配置されたデータを学ぶために、エンドツーエンドの表現アプローチを導入する。 メッセージパッシンググラフニューラルネットワークは、自動的にグラフを学習して、すべてのデータ入力を活用する表現を抽出する。
  論文  参考訳（メタデータ） (2023-12-07T18:51:41Z)
• APP: Anytime Progressive Pruning [104.36308667437397]
  本稿では,特にオンライン学習の場合において,ニューラルネットワークをターゲット空間でトレーニングする方法を提案する。 提案手法は,複数のアーキテクチャやデータセットにまたがるベースライン密度とAnytime OSPモデルにおいて,短時間で適度かつ長時間のトレーニングにおいて,大幅に性能が向上する。
  論文  参考訳（メタデータ） (2022-04-04T16:38:55Z)
• RvS: What is Essential for Offline RL via Supervised Learning? [77.91045677562802]
  近年の研究では、時間差(TD)のない教師あり学習だけでオフラインRLに極めて効果的であることが示されている。 あらゆる環境スイートにおいて、2層フィードフォワードによる可能性の最大化は競争力がある。 彼らはまた、ランダムデータに対して比較的弱い既存のRvS法の限界を探索する。
  論文  参考訳（メタデータ） (2021-12-20T18:55:16Z)
• A Workflow for Offline Model-Free Robotic Reinforcement Learning [117.07743713715291]
  オフライン強化学習(RL)は、オンラインインタラクションを伴わずに、事前の経験のみを活用することによって、学習制御ポリシを可能にする。 本研究では,教師付き学習問題に対して,比較的よく理解されたオフラインRLと類似した実践的ワークフローを開発する。 オンラインチューニングを伴わない効果的なポリシー作成におけるこのワークフローの有効性を実証する。
  論文  参考訳（メタデータ） (2021-09-22T16:03:29Z)
• Online Apprenticeship Learning [58.45089581278177]
  見習い学習(AL)では、コスト関数にアクセスせずにマルコフ決定プロセス(MDP)が与えられます。 目標は、事前に定義されたコスト関数のセットで専門家のパフォーマンスに一致するポリシーを見つけることです。 ミラー下降型ノンレグレットアルゴリズムを2つ組み合わせることで,OAL問題を効果的に解くことができることを示す。
  論文  参考訳（メタデータ） (2021-02-13T12:57:51Z)
• Backward Feature Correction: How Deep Learning Performs Deep (Hierarchical) Learning [66.05472746340142]
  本稿では,SGD による階層的学習 _efficiently_ と _automatically_ を学習目標として,多層ニューラルネットワークがどのように行うかを分析する。 我々は、下位機能のエラーを上位層と共にトレーニングする際に自動的に修正できる"後方特徴補正"と呼ばれる新しい原則を確立する。
  論文  参考訳（メタデータ） (2020-01-13T17:28:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。