Fugu-MT 論文翻訳(概要): Gradient-matching coresets for continual learning

論文の概要: Gradient-matching coresets for continual learning

arxiv url: http://arxiv.org/abs/2112.05025v1
Date: Thu, 9 Dec 2021 16:34:44 GMT
ステータス: 処理完了
システム内更新日: 2021-12-10 15:27:46.799267
Title: Gradient-matching coresets for continual learning
Title（参考訳）: 連続学習のための勾配整合コアセット
Authors: Lukas Balles and Giovanni Zappella and C\'edric Archambeau
Abstract要約: 勾配マッチングの考え方に基づくコアセット選択法を考案する。本手法は,リハーサル記憶のキュレーションに用いる連続学習の文脈で評価する。
参考スコア（独自算出の注目度）: 8.525080112374374
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: We devise a coreset selection method based on the idea of gradient matching: The gradients induced by the coreset should match, as closely as possible, those induced by the original training dataset. We evaluate the method in the context of continual learning, where it can be used to curate a rehearsal memory. Our method performs strong competitors such as reservoir sampling across a range of memory sizes.
Abstract（参考訳）: 我々は、勾配マッチングの考え方に基づいて、コアセット選択法を考案した: コアセットによって誘導される勾配は、可能な限り、元のトレーニングデータセットによって誘導される勾配と一致すべきである。本手法は,リハーサル記憶のキュレーションに使用できる連続学習の文脈で評価する。本手法は, 種々のメモリサイズにわたる貯水池サンプリングなどの強力な競合を行う。

関連論文リスト

Gradient Coding in Decentralized Learning for Evading Stragglers [27.253728528979572]
勾配符号化(GOCO)を用いた新しいゴシップ型分散学習法を提案する。ストラグラーの負の影響を避けるため、パラメータベクトルは勾配符号化の枠組みに基づいて符号化された勾配を用いて局所的に更新される。強い凸損失関数に対するGOCOの収束性能を解析する。
論文参考訳（メタデータ） (2024-02-06T17:49:02Z)
From colouring-in to pointillism: revisiting semantic segmentation supervision [48.637031591058175]
本稿では,意味的セグメンテーションアノテーションに対するポジリスト的アプローチを提案する。 Open Imagesデータセットで4,171のクラスに2260万のポイントラベルを収集してリリースしました。
論文参考訳（メタデータ） (2022-10-25T16:42:03Z)
Active Labeling: Streaming Stochastic Gradients [91.76135191049232]
部分的監督に基づくアクティブラーニングを一般化する「アクティブラベリング」問題を定式化する。サンプル数に対する一般化誤差の比率を最小化するストリーミング技術を提案する。
論文参考訳（メタデータ） (2022-05-26T09:49:16Z)
Gradient-Matching Coresets for Rehearsal-Based Continual Learning [6.243028964381449]
継続学習(CL)の目標は、学習した知識を忘れずに、機械学習モデルを新しいデータで効率的に更新することである。広く使われているほとんどのCLメソッドは、新しいデータのトレーニング中に再利用されるデータポイントのリハーサルメモリに依存している。リハーサルに基づく連続学習のためのコアセット選択法を考案する。
論文参考訳（メタデータ） (2022-03-28T07:37:17Z)
Continuous-Time Meta-Learning with Forward Mode Differentiation [65.26189016950343]
本稿では,勾配ベクトル場の力学に適応するメタ学習アルゴリズムであるContinuous Meta-Learning(COMLN)を紹介する。学習プロセスをODEとして扱うことは、軌跡の長さが現在連続しているという顕著な利点を提供する。本稿では,実行時とメモリ使用時の効率を実証的に示すとともに,いくつかの画像分類問題に対して有効性を示す。
論文参考訳（メタデータ） (2022-03-02T22:35:58Z)
Adaptive Learning Rate and Momentum for Training Deep Neural Networks [0.0]
本研究では,非線形共役勾配(CG)フレームワークによる高速トレーニング手法を開発した。画像分類データセットの実験により,本手法は他の局所解法よりも高速な収束が得られることが示された。
論文参考訳（メタデータ） (2021-06-22T05:06:56Z)
Extending Contrastive Learning to Unsupervised Coreset Selection [26.966136750754732]
我々は、コアセットを完全にラベルなしで選択する教師なしの方法を提案する。対照学習には2つの指導的手法を用いる。ラベルを用いた既存のコアセット選択手法と比較して,人間のアノテーションに関連するコストを削減した。
論文参考訳（メタデータ） (2021-03-05T10:21:51Z)
Better scalability under potentially heavy-tailed feedback [6.903929927172917]
損失や勾配の重み付けが可能である場合に使用できる,ロバスト勾配勾配降下法(RGD)のスケーラブルな代替手法について検討する。我々は、並列に実行できる安価なサブプロセスの集合に基づいて、強力な候補を堅牢に選択することに集中する。正確な選択プロセスは、基礎となる目的の凸性に依存するが、すべての場合において、我々の選択手法は弱い学習者の信頼を高める頑健な方法である。
論文参考訳（メタデータ） (2020-12-14T08:56:04Z)
There and Back Again: Revisiting Backpropagation Saliency Methods [87.40330595283969]
正当性法は,各入力サンプルの重要度マップを作成することによって,モデルの予測を説明する。このような手法の一般的なクラスは、信号のバックプロパゲートと結果の勾配の分析に基づいている。本稿では,そのような手法を統一可能な単一のフレームワークを提案する。
論文参考訳（メタデータ） (2020-04-06T17:58:08Z)
LT-Net: Label Transfer by Learning Reversible Voxel-wise Correspondence for One-shot Medical Image Segmentation [52.2074595581139]
医用画像における手動アノテーションの負担を軽減するため, ワンショットセグメンテーション手法を提案する。第一の考え方は、単発セグメンテーションを古典的なアトラスに基づくセグメンテーション問題として扱うことである。深層学習に基づくワンショットセグメンテーション法と古典的マルチアトラスセグメンテーション法に比較して,本手法が優れていることを示す。
論文参考訳（メタデータ） (2020-03-16T08:36:17Z)
Disentangling Adaptive Gradient Methods from Learning Rates [65.0397050979662]
適応的勾配法が学習率のスケジュールとどのように相互作用するかを、より深く検討する。我々は、更新の規模をその方向から切り離す"グラフティング"実験を導入する。適応勾配法の一般化に関する経験的および理論的考察を示す。
論文参考訳（メタデータ） (2020-02-26T21:42:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。