論文の概要: Evaluating Online Continual Learning with CALM
- arxiv url: http://arxiv.org/abs/2004.03340v2
- Date: Mon, 1 Feb 2021 12:20:27 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-15 22:25:55.690648
- Title: Evaluating Online Continual Learning with CALM
- Title(参考訳): CALMによるオンライン連続学習の評価
- Authors: Germ\'an Kruszewski, Ionut-Teodor Sorodoc, Tomas Mikolov
- Abstract要約: オンライン連続学習は、1つ以上の例を観察することなく、連続したデータストリームを通じて学習する。
本稿では,言語モデリングに基づくOCLの新しいベンチマークを提案する。
また、この設定における破滅的忘れについての新しい指標を提案し、専門家の組成に基づいて複数のベースラインモデルを評価する。
- 参考スコア(独自算出の注目度): 3.49781504808707
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Online Continual Learning (OCL) studies learning over a continuous data
stream without observing any single example more than once, a setting that is
closer to the experience of humans and systems that must learn "on-the-wild".
Yet, commonly available benchmarks are far from these real-world conditions,
because they explicitly signal different tasks, lack latent similarity
structure or assume temporal independence between different examples. Here, we
propose a new benchmark for OCL based on language modelling in which input
alternates between different languages and domains without any explicit
delimitation. Additionally, we propose new metrics to study catastrophic
forgetting in this setting and evaluate multiple baseline models based on
compositions of experts. Finally, we introduce a simple gating technique that
learns the latent similarities between different inputs, improving the
performance of a Products of Experts model.
- Abstract(参考訳): オンライン連続学習(ocl: online continual learning)は、連続的なデータストリーム上で1回以上の例を観察せずに学習することを研究する。
しかし、一般的に利用可能なベンチマークは、異なるタスクを明示的に指示したり、潜在的な類似性構造を欠いたり、異なる例間の時間的独立性を仮定したりするため、これらの現実の状況とは程遠い。
本稿では,言語モデリングに基づくOCLの新しいベンチマークを提案する。
さらに,この設定における破滅的忘れについての新しい指標を提案し,専門家の組成に基づいて複数のベースラインモデルを評価する。
最後に,異なる入力間の潜在類似性を学習する単純なゲーティング手法を導入し,専門家モデルの製品の性能を向上させる。
関連論文リスト
- Continual Learning with Pre-Trained Models: A Survey [66.49084129482239]
継続的な学習は、新しい知識を学ぶ際に、かつての知識の破滅的な忘れを克服することを目的としている。
本稿では, PTM を用いた CL の最近の進歩を包括的に調査する。
論文 参考訳(メタデータ) (2024-01-29T18:27:52Z) - The ICL Consistency Test [14.569770617709073]
大規模言語モデル(LLM)は、インコンテキスト学習(ICL)のようなプロンプトベースの手法によってタスクに適応する。
素早い学習における一貫性の欠如は、堅牢な一般化の欠如を示唆している。
ここでは ICL 一貫性テストを紹介します -- GenBench 共同ベンチマークタスク (CBT) へのコントリビューションです。
論文 参考訳(メタデータ) (2023-12-08T10:22:43Z) - Continual Contrastive Spoken Language Understanding [35.06274474639964]
COCONUTは、経験リプレイとコントラスト学習の組み合わせに依存するクラスインクリメンタルラーニング(CIL)手法である。
我々は,COCONUTをデコーダ側で動作するメソッドと組み合わせることで,さらなるメトリクス改善を実現することを示す。
論文 参考訳(メタデータ) (2023-10-04T10:09:12Z) - New metrics for analyzing continual learners [27.868967961503962]
継続学習(CL)は、標準的な学習アルゴリズムに課題をもたらす。
この安定性・塑性ジレンマはCLの中心であり、安定性と塑性を個別に適切に測定するために複数の測定基準が提案されている。
課題の難しさを考慮に入れた新しい指標を提案する。
論文 参考訳(メタデータ) (2023-09-01T13:53:33Z) - OpenSTL: A Comprehensive Benchmark of Spatio-Temporal Predictive
Learning [67.07363529640784]
提案するOpenSTLは,一般的なアプローチを再帰的モデルと再帰的モデルに分類する。
我々は, 合成移動物体軌道, 人間の動き, 運転シーン, 交通流, 天気予報など, さまざまな領域にわたるデータセットの標準評価を行う。
リカレントフリーモデルは、リカレントモデルよりも効率と性能のバランスが良いことがわかった。
論文 参考訳(メタデータ) (2023-06-20T03:02:14Z) - On the Compositional Generalization Gap of In-Context Learning [73.09193595292233]
In-distriion (ID) と Out-of-distriion (OOD) の相違について考察する。
我々は,3つの意味解析データセットを用いて,OPT,BLOOM,CodeGen,Codexの4つのモデルファミリを評価する。
論文 参考訳(メタデータ) (2022-11-15T19:56:37Z) - A Multi-level Supervised Contrastive Learning Framework for Low-Resource
Natural Language Inference [54.678516076366506]
自然言語推論(NLI)は、自然言語理解において、ますます重要な課題である。
本稿では,低リソースな自然言語推論のためのマルチSCLという,マルチレベルの教師付きコントラスト学習フレームワークを提案する。
論文 参考訳(メタデータ) (2022-05-31T05:54:18Z) - Few-Shot Named Entity Recognition: A Comprehensive Study [92.40991050806544]
マルチショット設定のモデル一般化能力を向上させるための3つの手法を検討する。
ラベル付きデータの比率の異なる10の公開nerデータセットについて経験的比較を行う。
マルチショットとトレーニングフリーの両方の設定で最新の結果を作成します。
論文 参考訳(メタデータ) (2020-12-29T23:43:16Z) - A Survey on Contrastive Self-supervised Learning [0.0]
自己教師付き学習は、大規模なデータセットのアノテートコストを回避する能力によって人気を集めている。
コントラスト学習は近年,コンピュータビジョン,自然言語処理(NLP)などの分野において,自己指導型学習手法の主流となっている。
本稿では, コントラスト的アプローチに従う自己教師型手法について, 広範囲にわたるレビューを行う。
論文 参考訳(メタデータ) (2020-10-31T21:05:04Z) - DiVA: Diverse Visual Feature Aggregation for Deep Metric Learning [83.48587570246231]
視覚的類似性は多くのコンピュータビジョンアプリケーションにおいて重要な役割を果たす。
ディープ・メトリック・ラーニング(DML)は、そのような類似性を学ぶための強力なフレームワークである。
我々は,概念的に異なるデータ関係を対象とする複数の補完学習タスクを提案し,研究する。
我々は、訓練信号を集約する単一モデルを学び、その結果、強力な一般化と最先端のパフォーマンスが得られる。
論文 参考訳(メタデータ) (2020-04-28T12:26:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。