論文の概要: Information-theoretic Online Memory Selection for Continual Learning

• arxiv url: http://arxiv.org/abs/2204.04763v1
• Date: Sun, 10 Apr 2022 20:07:23 GMT
• ステータス: 処理完了
• システム内更新日: 2022-04-13 09:17:22.197361
• Title: Information-theoretic Online Memory Selection for Continual Learning
• Title（参考訳）: 連続学習のための情報理論オンライン記憶選択
• Authors: Shengyang Sun, Daniele Calandriello, Huiyi Hu, Ang Li, Michalis Titsias
• Abstract要約: タスクフリー連続学習における課題は、データストリームから代表的リプレイメモリをオンラインで選択することである。 本稿では,情報ポイントの選択とアウトリーチを回避するために,テキストサプライズとテキスト学習性基準を提案する。 これらの基準は、オンラインメモリ選択のための欲求アルゴリズムにおいて、情報的ポイントの選択を奨励することを示す。
• 参考スコア（独自算出の注目度）: 24.025512229436607
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: A challenging problem in task-free continual learning is the online selection of a representative replay memory from data streams. In this work, we investigate the online memory selection problem from an information-theoretic perspective. To gather the most information, we propose the \textit{surprise} and the \textit{learnability} criteria to pick informative points and to avoid outliers. We present a Bayesian model to compute the criteria efficiently by exploiting rank-one matrix structures. We demonstrate that these criteria encourage selecting informative points in a greedy algorithm for online memory selection. Furthermore, by identifying the importance of \textit{the timing to update the memory}, we introduce a stochastic information-theoretic reservoir sampler (InfoRS), which conducts sampling among selective points with high information. Compared to reservoir sampling, InfoRS demonstrates improved robustness against data imbalance. Finally, empirical performances over continual learning benchmarks manifest its efficiency and efficacy.
• Abstract（参考訳）: タスクフリー連続学習における課題は、データストリームから代表的リプレイメモリをオンライン選択することである。 本研究では,情報理論的な観点からオンラインメモリ選択問題について検討する。 最も多くの情報を集めるために、情報ポイントを選択し、アウトリーチを避けるために、 \textit{surprise} と \textit{learnability} の基準を提案する。 階数 1 の行列構造を用いて,基準を効率的に計算するためのベイズモデルを提案する。 これらの基準は、オンラインメモリ選択のための欲求アルゴリズムにおける情報的ポイントの選択を促進することを実証する。 さらに,記憶の更新タイミングである \textit{the timing to update the memory} の重要性を明らかにすることで,情報量の高い選択点間のサンプリングを行う確率的情報理論的貯留層サンプリング器(infors)を提案する。 貯水池サンプリングと比較すると、InfoRSはデータの不均衡に対する堅牢性を改善している。 最後に、連続学習ベンチマークに対する経験的性能は、その効率性と有効性を示す。

関連論文リスト

• Shap-Select: Lightweight Feature Selection Using SHAP Values and Regression [0.0]
  本稿では,新しい特徴選択フレームワーク,shap-selectを提案する。 フレームワークは、特徴のShapley値、検証セットに基づいてターゲットの線形的あるいはロジスティックな回帰を行い、回帰係数の符号と重要度を用いて特徴選択の効率的な実装を行う。 筆者らは、Kaggleクレジットカード詐欺データセットのシェープ選択を評価し、確立された方法と比較して、その有効性を実証した。
  論文  参考訳（メタデータ） (2024-10-09T12:14:06Z)
• DUEL: Duplicate Elimination on Active Memory for Self-Supervised Class-Imbalanced Learning [19.717868805172323]
  新たなフレームワークであるDuplicate Elimination(DUEL)の自己教師付き事前学習におけるアクティブなデータフィルタリングプロセスを提案する。 このフレームワークは、人間のワーキングメモリにインスパイアされたアクティブメモリを統合し、メモリ内のデータの多様性を測定する特異性情報を導入する。 最も重複したデータを新しいサンプルに置き換えるDUELポリシは、メモリ内の特異性情報を強化し、クラス不均衡を軽減することを目的としている。
  論文  参考訳（メタデータ） (2024-02-14T06:09:36Z)
• Stream-based active learning with linear models [0.7734726150561089]
  生産において、製品情報を取得するためにランダム検査を行う代わりに、ラベルなしデータの情報内容を評価することによりラベルを収集する。 本稿では,ストリームベースのシナリオを学習者に順次提供するための新たな戦略を提案する。 未ラベルデータポイントの通知性にしきい値を設定することにより、意思決定プロセスの反復的な側面に取り組む。
  論文  参考訳（メタデータ） (2022-07-20T13:15:23Z)
• ALLSH: Active Learning Guided by Local Sensitivity and Hardness [98.61023158378407]
  本稿では,局所感度と硬度認識獲得機能を備えたラベル付きサンプルの検索を提案する。 本手法は,様々な分類タスクにおいてよく用いられるアクティブラーニング戦略よりも一貫した利得が得られる。
  論文  参考訳（メタデータ） (2022-05-10T15:39:11Z)
• Information-Theoretic Odometry Learning [83.36195426897768]
  生体計測推定を目的とした学習動機付け手法のための統合情報理論フレームワークを提案する。 提案フレームワークは情報理論言語の性能評価と理解のためのエレガントなツールを提供する。
  論文  参考訳（メタデータ） (2022-03-11T02:37:35Z)
• Optimal Data Selection: An Online Distributed View [61.31708750038692]
  この問題のオンライン版と分散版のアルゴリズムを開発する。 ランダム選択法は, ランダム選択法よりも5～20%高い性能を示した。 ImageNet と MNIST の学習タスクにおいて、我々の選択方法はランダム選択よりも5-20% 高い性能を示した。
  論文  参考訳（メタデータ） (2022-01-25T18:56:16Z)
• Online Coreset Selection for Rehearsal-based Continual Learning [65.85595842458882]
  継続的な学習では、後に再生されるトレーニング例(コアセット)のサブセットを格納し、破滅的な忘れを軽減します。 提案するオンラインコアセット選択(OCS, Online Coreset Selection)は, 各イテレーションにおいて最も代表的で情報性の高いコアセットを選択するシンプルで効果的な方法である。 提案手法は,過去のタスクに対して高親和性サンプルを選択しながら,目標データセットへのモデル適応を最大化し,破滅的忘れを直接的に抑制する。
  論文  参考訳（メタデータ） (2021-06-02T11:39:25Z)
• Low-Regret Active learning [64.36270166907788]
  トレーニングに最も有用なラベル付きデータポイントを識別するオンライン学習アルゴリズムを開発した。 私たちの仕事の中心は、予測可能な(簡単な)インスタンスの低い後悔を達成するために調整された睡眠専門家のための効率的なアルゴリズムです。
  論文  参考訳（メタデータ） (2021-04-06T22:53:45Z)
• ORDisCo: Effective and Efficient Usage of Incremental Unlabeled Data for Semi-supervised Continual Learning [52.831894583501395]
  連続学習は、入力されたデータが完全にラベル付けされていると仮定し、実際のアプリケーションでは適用できないかもしれない。 我々は、条件付き生成逆数ネットワーク(GAN)を用いた分類器を相互に学習するために、識別器整合(ORDisCo)を用いたディープオンライン再生を提案する。 ORDisCo が SSCL の様々な半教師付き学習ベンチマークデータセットで大幅なパフォーマンス向上を達成していることを示します。
  論文  参考訳（メタデータ） (2021-01-02T09:04:14Z)
• Diffusion-based Deep Active Learning [2.1701691499017812]
  アクティブディープラーニングは、ラベル付けすべき最小限のトレーニングポイントを選択することを目的としており、最大モデルの精度を得る。 本稿では,分布が十分にマッピングされた場合に,探索から改良へ切り替える汎用的で効率的な基準を提案する。 我々の基準は、ニューラルネットワークによって提供されるデータセットの隠れ表現から構築されたグラフ上で、既存のラベル情報を拡散するプロセスに依存しています。
  論文  参考訳（メタデータ） (2020-03-23T15:53:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。