論文の概要: Drinking from a Firehose: Continual Learning with Web-scale Natural Language

• arxiv url: http://arxiv.org/abs/2007.09335v2
• Date: Mon, 2 Nov 2020 02:34:21 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-09 05:07:34.463263
• Title: Drinking from a Firehose: Continual Learning with Web-scale Natural Language
• Title（参考訳）: 火薬から飲む: webスケール自然言語による継続的な学習
• Authors: Hexiang Hu, Ozan Sener, Fei Sha, Vladlen Koltun
• Abstract要約: 大規模に連続学習を行う自然環境について検討する。 Twitterの投稿の膨大なデータセットを集めています。 前例のない規模で連続学習アルゴリズムの厳密な評価を行う。
• 参考スコア（独自算出の注目度）: 109.80198763438248
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Continual learning systems will interact with humans, with each other, and with the physical world through time -- and continue to learn and adapt as they do. An important open problem for continual learning is a large-scale benchmark that enables realistic evaluation of algorithms. In this paper, we study a natural setting for continual learning on a massive scale. We introduce the problem of personalized online language learning (POLL), which involves fitting personalized language models to a population of users that evolves over time. To facilitate research on POLL, we collect massive datasets of Twitter posts. These datasets, Firehose10M and Firehose100M, comprise 100 million tweets, posted by one million users over six years. Enabled by the Firehose datasets, we present a rigorous evaluation of continual learning algorithms on an unprecedented scale. Based on this analysis, we develop a simple algorithm for continual gradient descent (ConGraD) that outperforms prior continual learning methods on the Firehose datasets as well as earlier benchmarks. Collectively, the POLL problem setting, the Firehose datasets, and the ConGraD algorithm enable a complete benchmark for reproducible research on web-scale continual learning.
• Abstract（参考訳）: 継続的な学習システムは、人間、互いに、そして時間を通して物理的な世界と相互作用し、学習し、適応し続けます。 継続的学習の重要なオープン問題は、アルゴリズムの現実的な評価を可能にする大規模ベンチマークである。 本稿では,大規模に連続学習を行うための自然環境について検討する。 我々はパーソナライズされたオンライン言語学習(POLL)の問題を紹介し、パーソナライズされた言語モデルを時間とともに進化するユーザの集団に適合させる。 POLLの研究を容易にするため、Twitter投稿の膨大なデータセットを収集します。 これらのデータセット、Firehose10MとFirehose100Mは6年間で100万人のユーザーが投稿した1億ツイートで構成されている。 ファイアホースデータセットによって実現された連続学習アルゴリズムの厳密な評価を前例のない規模で提示する。 そこで本研究では,firehoseデータセットおよびそれ以前のベンチマークにおいて,事前の連続学習手法に勝る連続勾配降下(congrad)のための簡易アルゴリズムを開発した。 POLL問題設定、Firehoseデータセット、ConGraDアルゴリズムは、Webスケールの連続学習に関する再現可能な研究のための完全なベンチマークを可能にする。

関連論文リスト

• Continual Learning for Multimodal Data Fusion of a Soft Gripper [1.0589208420411014]
  あるデータモダリティに基づいてトレーニングされたモデルは、異なるモダリティでテストした場合、しばしば失敗する。 異なるデータモダリティを漸進的に学習できる連続学習アルゴリズムを提案する。 我々は、アルゴリズムの有効性を、挑戦的なカスタムマルチモーダルデータセット上で評価する。
  論文  参考訳（メタデータ） (2024-09-20T09:53:27Z)
• Continual Learning on Graphs: Challenges, Solutions, and Opportunities [72.7886669278433]
  本稿では,既存の連続グラフ学習(CGL)アルゴリズムの総合的なレビューを行う。 従来の連続学習手法と比較し,従来の連続学習手法の適用性を分析した。 アクセス可能なアルゴリズムの包括的なリストを含む、最新のリポジトリを維持します。
  論文  参考訳（メタデータ） (2024-02-18T12:24:45Z)
• Continual Learning with Deep Streaming Regularized Discriminant Analysis [0.0]
  本稿では,この課題に対する解決法として,正規化判別分析のストリーミング版を提案する。 アルゴリズムを畳み込みニューラルネットワークと組み合わせて、バッチ学習と既存のストリーミング学習アルゴリズムよりも優れていることを実証します。
  論文  参考訳（メタデータ） (2023-09-15T12:25:42Z)
• How Efficient Are Today's Continual Learning Algorithms? [31.120016345185217]
  監視された継続学習では、ラベル付きデータのストリームからディープニューラルネットワーク(DNN)を更新する。 継続的学習の背景にある大きな動機の1つは、時間とともに成長するにつれてトレーニングデータセットをスクラッチからリトレーニングするのではなく、ネットワークを新しい情報で効率的に更新できることだ。 本稿では,近年のインクリメンタルなクラス学習手法について検討し,計算,メモリ,記憶の面では非常に非効率であることを示す。
  論文  参考訳（メタデータ） (2023-03-29T18:52:10Z)
• NEVIS'22: A Stream of 100 Tasks Sampled from 30 Years of Computer Vision Research [96.53307645791179]
  我々は,100以上の視覚的分類タスクのストリームからなるベンチマークであるNever-Ending VIsual-classification Stream (NEVIS'22)を紹介する。 分類に制限されているにもかかわらず、OCR、テクスチャ分析、シーン認識など、様々なタスクが生成される。 NEVIS'22は、タスクの規模と多様性のために、現在のシーケンシャルな学習アプローチに対して前例のない課題を提起している。
  論文  参考訳（メタデータ） (2022-11-15T18:57:46Z)
• Online Continual Learning with Natural Distribution Shifts: An Empirical Study with Visual Data [101.6195176510611]
  オンライン」連続学習は、情報保持とオンライン学習の有効性の両方を評価することができる。 オンライン連続学習では、入力される各小さなデータをまずテストに使用し、次にトレーニングセットに追加し、真にオンラインにします。 本稿では,大規模かつ自然な分布変化を示すオンライン連続視覚学習のための新しいベンチマークを提案する。
  論文  参考訳（メタデータ） (2021-08-20T06:17:20Z)
• What Matters in Learning from Offline Human Demonstrations for Robot Manipulation [64.43440450794495]
  ロボット操作のための6つのオフライン学習アルゴリズムについて広範な研究を行う。 我々の研究は、オフラインの人間のデータから学習する際の最も重要な課題を分析します。 人間のデータセットから学ぶ機会を強調します。
  論文  参考訳（メタデータ） (2021-08-06T20:48:30Z)
• Deploying Lifelong Open-Domain Dialogue Learning [48.12600947313494]
  本研究では,オープンドメインファンタジーの世界にある学習エージェントと人間プレイヤーが会話するロールプレイングゲームを構築し,展開する。 自動メトリクスとオンラインエンゲージメントスコアから,ゲーム中の人間との会話に関するモデルをトレーニングすることで,モデルを段階的に改善することを示す。 この学習は、実際のユーザとの会話に適用した場合のクラウドソースデータよりも効率的であり、収集するコストもはるかに安い。
  論文  参考訳（メタデータ） (2020-08-18T17:57:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。