論文の概要: BOWLL: A Deceptively Simple Open World Lifelong Learner

• arxiv url: http://arxiv.org/abs/2402.04814v1
• Date: Wed, 7 Feb 2024 13:04:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-02-08 15:26:57.522446
• Title: BOWLL: A Deceptively Simple Open World Lifelong Learner
• Title（参考訳）: BOWLL: 極めてシンプルなオープンワールドの生涯学習者
• Authors: Roshni Kamath, Rupert Mitchell, Subarnaduti Paul, Kristian Kersting, Martin Mundt
• Abstract要約: 本稿では,オープンワールドの生涯学習のための標準モデルを再活用する,極めてシンプルで効果的な方法を提案する。 我々のアプローチは、知識を効果的に維持し、情報的データに選択的に集中し、将来の学習を加速できるモデルの将来の標準として機能するべきです。
• 参考スコア（独自算出の注目度）: 22.375833943808995
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The quest to improve scalar performance numbers on predetermined benchmarks seems to be deeply engraved in deep learning. However, the real world is seldom carefully curated and applications are seldom limited to excelling on test sets. A practical system is generally required to recognize novel concepts, refrain from actively including uninformative data, and retain previously acquired knowledge throughout its lifetime. Despite these key elements being rigorously researched individually, the study of their conjunction, open world lifelong learning, is only a recent trend. To accelerate this multifaceted field's exploration, we introduce its first monolithic and much-needed baseline. Leveraging the ubiquitous use of batch normalization across deep neural networks, we propose a deceptively simple yet highly effective way to repurpose standard models for open world lifelong learning. Through extensive empirical evaluation, we highlight why our approach should serve as a future standard for models that are able to effectively maintain their knowledge, selectively focus on informative data, and accelerate future learning.
• Abstract（参考訳）: 所定のベンチマークでスカラー性能を向上しようとする試みは、ディープラーニングに深く刻まれているようだ。 しかし、現実世界が注意深くキュレートされることはめったになく、アプリケーションはテストセットで優れていることに限定されない。 実践的なシステムは一般に、新しい概念を認識し、非形式的なデータを積極的に含まないよう要求され、その生涯を通じて獲得した知識を保持する。 これらの重要な要素が個別に厳格に研究されているにもかかわらず、それらの連携したオープンワールドの生涯学習の研究は、最近のトレンドにすぎない。 この多面体フィールドの探索を加速するために、最初のモノリシックで待望のベースラインを導入する。 深層ニューラルネットワークにおけるバッチ正規化のユビキタスな利用を活かし,オープンワールド学習のための標準モデルを再活用するための,極めて単純で極めて効果的な手法を提案する。 実験的な評価を通じて、我々のアプローチが知識を効果的に維持し、情報的データに選択的に集中し、将来の学習を加速できるモデルの将来の標準として機能すべき理由を強調した。

関連論文リスト

• Towards Few-Shot Learning in the Open World: A Review and Beyond [52.41344813375177]
  少ないショット学習は、人間の知性を模倣し、大きな一般化と伝達性を実現することを目的としている。 本稿では,FSLをオープンワールド環境に適用するための最近の進歩について概説する。 既存の手法は,3つの異なるタイプのオープンワールド・マイクロショット・ラーニングに分類する。
  論文  参考訳（メタデータ） (2024-08-19T06:23:21Z)
• Learning to Continually Learn with the Bayesian Principle [36.75558255534538]
  本研究では、ニューラルネットワークの強力な表現力と、忘れることに対する単純な統計モデルの堅牢性を組み合わせたメタラーニングパラダイムを採用する。 ニューラルネットワークは継続学習中に固定されているため、破滅的な忘れ物から保護されている。
  論文  参考訳（メタデータ） (2024-05-29T04:53:31Z)
• Open-world Machine Learning: A Review and New Outlooks [83.6401132743407]
  本稿では,新たなオープンワールド機械学習パラダイムを包括的に紹介することを目的としている。 研究者がそれぞれの分野でより強力なAIシステムを構築するのを支援し、人工知能の開発を促進することを目的としている。
  論文  参考訳（メタデータ） (2024-03-04T06:25:26Z)
• Federated Learning with Projected Trajectory Regularization [65.6266768678291]
  フェデレーション学習は、ローカルデータを共有せずに、分散クライアントから機械学習モデルの共同トレーニングを可能にする。 連合学習における重要な課題の1つは、クライアントにまたがる識別できない分散データを扱うことである。 本稿では,データ問題に対処するための予測軌道正則化(FedPTR)を備えた新しいフェデレーション学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-12-22T02:12:08Z)
• The Trifecta: Three simple techniques for training deeper Forward-Forward networks [0.0]
  本稿では,より深いネットワーク上でのフォワード・フォワードアルゴリズムを大幅に改善する3つの手法のコレクションを提案する。 我々の実験は、我々のモデルが、単純なデータセットのトレーニング速度とテスト精度の両方において、同様に構造化されたバックプロパゲーションベースのモデルと同等であることを示した。
  論文  参考訳（メタデータ） (2023-11-29T22:44:32Z)
• Window-based Model Averaging Improves Generalization in Heterogeneous Federated Learning [29.140054600391917]
  Federated Learning (FL)は、分散ユーザからグローバルモデルを学び、プライバシを保護することを目的としている。 ウィンドウベースアプローチを用いて,異なるラウンドからグローバルモデルを集約するWIMA(Window-based Model Averaging)を提案する。 本実験は,WIMAの分散シフトに対する堅牢性やクライアントサンプリングの悪さを実証し,よりスムーズで安定した学習傾向を示した。
  論文  参考訳（メタデータ） (2023-10-02T17:30:14Z)
• Towards Robust Continual Learning with Bayesian Adaptive Moment Regularization [51.34904967046097]
  継続的な学習は、モデルが以前に学習した情報を忘れてしまう破滅的な忘れ込みの課題を克服しようとする。 本稿では,パラメータ成長の制約を緩和し,破滅的な忘れを減らし,新しい事前手法を提案する。 以上の結果から, BAdamは, 単頭クラスインクリメンタル実験に挑戦する先行手法に対して, 最先端の性能を達成できることが示唆された。
  論文  参考訳（メタデータ） (2023-09-15T17:10:51Z)
• Conditional Online Learning for Keyword Spotting [0.0]
  本研究では,新しいデータが利用可能になると,SGDを介してキーワードスポッターをデバイス上で更新する,シンプルだが効果的なオンライン連続学習手法について検討する。 実験により, オンライン学習の簡単な実装と比較して, トレーニング分布から引き出された小さなホールドアウトセットにおいて, 条件付きモデル更新により, 破滅的な忘れが軽減されることが示されている。
  論文  参考訳（メタデータ） (2023-05-19T15:46:31Z)
• Label-efficient Time Series Representation Learning: A Review [19.218833228063392]
  ラベル効率のよい時系列表現学習は、現実世界のアプリケーションにディープラーニングモデルをデプロイするのに不可欠である。 ラベル付き時系列データの不足に対処するため、転送学習、自己教師付き学習、半教師付き学習など様々な戦略が開発されている。 既存のアプローチを,外部データソースへの依存に基づいて,ドメイン内あるいはクロスドメインとして分類する,新たな分類法を初めて導入する。
  論文  参考訳（メタデータ） (2023-02-13T15:12:15Z)
• DITTO: Offline Imitation Learning with World Models [21.419536711242962]
  DITTOは、これらの3つの問題すべてに対処するオフラインの模倣学習アルゴリズムである。 標準的な強化学習アルゴリズムを用いて,この多段階潜時分岐を最適化する。 我々の結果は、世界モデルの創造的利用が、シンプルで堅牢で、高度にパフォーマンスの高い政策学習フレームワークにどのように結びつくかを示している。
  論文  参考訳（メタデータ） (2023-02-06T19:41:18Z)
• Learning and Retrieval from Prior Data for Skill-based Imitation Learning [47.59794569496233]
  従来のデータから時間的に拡張された感触者スキルを抽出する,スキルベースの模倣学習フレームワークを開発した。 新規タスクの性能を著しく向上させる重要な設計選択をいくつか挙げる。
  論文  参考訳（メタデータ） (2022-10-20T17:34:59Z)
• HyperImpute: Generalized Iterative Imputation with Automatic Model Selection [77.86861638371926]
  カラムワイズモデルを適応的かつ自動的に構成するための一般化反復計算フレームワークを提案する。 既製の学習者,シミュレータ,インターフェースを備えた具体的な実装を提供する。
  論文  参考訳（メタデータ） (2022-06-15T19:10:35Z)
• BERT WEAVER: Using WEight AVERaging to enable lifelong learning for transformer-based models in biomedical semantic search engines [49.75878234192369]
  We present WEAVER, a simple, yet efficient post-processing method that infuse old knowledge into the new model。 WEAVERを逐次的に適用すると、同じ単語の埋め込み分布が、一度にすべてのデータに対する総合的なトレーニングとして得られることを示す。
  論文  参考訳（メタデータ） (2022-02-21T10:34:41Z)
• What Makes Good Contrastive Learning on Small-Scale Wearable-based Tasks? [59.51457877578138]
  本研究では,ウェアラブル型行動認識タスクにおけるコントラスト学習について検討する。 本稿では,PyTorchライブラリのtextttCL-HAR について述べる。
  論文  参考訳（メタデータ） (2022-02-12T06:10:15Z)
• CMW-Net: Learning a Class-Aware Sample Weighting Mapping for Robust Deep Learning [55.733193075728096]
  現代のディープニューラルネットワークは、破損したラベルやクラス不均衡を含むバイアス付きトレーニングデータに容易に適合する。 サンプル再重み付け手法は、このデータバイアス問題を緩和するために一般的に使用されている。 本稿では,データから直接明示的な重み付け方式を適応的に学習できるメタモデルを提案する。
  論文  参考訳（メタデータ） (2022-02-11T13:49:51Z)
• Online Continual Learning with Natural Distribution Shifts: An Empirical Study with Visual Data [101.6195176510611]
  オンライン」連続学習は、情報保持とオンライン学習の有効性の両方を評価することができる。 オンライン連続学習では、入力される各小さなデータをまずテストに使用し、次にトレーニングセットに追加し、真にオンラインにします。 本稿では,大規模かつ自然な分布変化を示すオンライン連続視覚学習のための新しいベンチマークを提案する。
  論文  参考訳（メタデータ） (2021-08-20T06:17:20Z)
• Reasoning-Modulated Representations [85.08205744191078]
  タスクが純粋に不透明でないような共通的な環境について研究する。 我々のアプローチは、新しいデータ効率表現学習の道を開く。
  論文  参考訳（メタデータ） (2021-07-19T13:57:13Z)
• Self-Damaging Contrastive Learning [92.34124578823977]
  ラベルのないデータは一般に不均衡であり、長い尾の分布を示す。 本稿では,クラスを知らずに表現学習を自動的にバランスをとるための,自己学習コントラスト学習という原則的枠組みを提案する。 実験の結果,SDCLRは全体としての精度だけでなく,バランス性も著しく向上することがわかった。
  論文  参考訳（メタデータ） (2021-06-06T00:04:49Z)
• Generalising via Meta-Examples for Continual Learning in the Wild [24.09600678738403]
  我々は「野生で学習する」ニューラルネットワークを扱うための新しい戦略を開発する MEML - Meta-Example Meta-Learning - 破滅的な忘れを同時に緩和する新しいモジュール。 様々な拡張タスクを作成し、最も難しいタスクを最適化する手法を採用して拡張する。
  論文  参考訳（メタデータ） (2021-01-28T15:51:54Z)
• Deep Bayesian Active Learning, A Brief Survey on Recent Advances [6.345523830122166]
  アクティブラーニングは、ラベル付きデータの小さなサイズでモデルをトレーニングし始める。 ディープラーニングメソッドはモデルの不確実性を表現あるいは操作できない。 deep bayesian active learningフレームワークは、モデルにおける実践的な考察を提供する。
  論文  参考訳（メタデータ） (2020-12-15T02:06:07Z)
• A Wholistic View of Continual Learning with Deep Neural Networks: Forgotten Lessons and the Bridge to Active and Open World Learning [8.188575923130662]
  オープンデータセット認識による顕著な教訓,観測データセット外の統計的逸脱したデータの識別,および近接するアクティブラーニングの分野は,深層学習時代においてしばしば見過ごされる。 我々の結果は、これは個々のパラダイムに利益をもたらすだけでなく、共通のフレームワークにおける自然なシナジーを強調していることを示している。
  論文  参考訳（メタデータ） (2020-09-03T16:56:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。