論文の概要: Integral Continual Learning Along the Tangent Vector Field of Tasks

• arxiv url: http://arxiv.org/abs/2211.13108v3
• Date: Tue, 12 Dec 2023 03:52:00 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-13 21:06:58.175478
• Title: Integral Continual Learning Along the Tangent Vector Field of Tasks
• Title（参考訳）: タスクの接ベクトル場に沿った積分連続学習
• Authors: Tian Yu Liu, Aditya Golatkar, Stefano Soatto, Alessandro Achille
• Abstract要約: 本稿では,特殊データセットからの情報を段階的に組み込んだ軽量連続学習手法を提案する。 ソースデータセットの0.4%まで小さく、小さな固定サイズのメモリバッファを保持しており、単純な再サンプリングによって更新される。 提案手法は,異なるデータセットに対して,様々なバッファサイズで高い性能を実現する。
• 参考スコア（独自算出の注目度）: 112.02761912526734
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We propose a lightweight continual learning method which incorporates information from specialized datasets incrementally, by integrating it along the vector field of "generalist" models. The tangent plane to the specialist model acts as a generalist guide and avoids the kind of over-fitting that leads to catastrophic forgetting, while exploiting the convexity of the optimization landscape in the tangent plane. It maintains a small fixed-size memory buffer, as low as 0.4% of the source datasets, which is updated by simple resampling. Our method achieves strong performance across various buffer sizes for different datasets. Specifically, in the class-incremental setting we outperform the existing methods that do not require distillation by an average of 18.77% and 28.48%, for Seq-CIFAR-10 and Seq-TinyImageNet respectively. Our method can easily be used in conjunction with existing replay-based continual learning methods. When memory buffer constraints are relaxed to allow storage of metadata such as logits, we attain an error reduction of 17.84% towards the paragon performance on Seq-CIFAR-10.
• Abstract（参考訳）: 本稿では,「ジェネラリスト」モデルのベクトル場に沿って,特殊データセットからの情報を漸進的に組み込む軽量連続学習手法を提案する。 スペシャリストモデルに対する接地平面は、一般のガイドとして機能し、接地平面における最適化景観の凸性を活用しながら、破滅的な忘れ込みにつながる過度な適合を避ける。 それは小さな固定サイズのメモリバッファを維持し、ソースデータセットの0.4%まで低く、単純な再サンプリングによって更新される。 本手法は,様々なバッファサイズで異なるデータセットに対して強い性能を実現する。 具体的には,Seq-CIFAR-10とSeq-TinyImageNetでは,平均18.77%,28.48%の蒸留を必要としない既存手法をそれぞれ上回っている。 本手法は,既存のリプレイ型連続学習手法と組み合わせて容易に利用できる。 メモリバッファの制約が緩和されてロジットなどのメタデータの保存が可能になった場合、Seq-CIFAR-10のパラゴン性能に対して17.84%のエラー低減が達成される。

関連論文リスト

• Automatic Pruning via Structured Lasso with Class-wise Information [21.801590100174902]
  構造化ラッソをインフォメーション・ボトルネック理論から導出し,モデルプルーニングの精度の高いクラス情報を活用する。 我々のアプローチは、広範囲な実験において、3つのデータセットと6つのモデルアーキテクチャにまたがる優れた性能を示す。
  論文  参考訳（メタデータ） (2025-02-13T10:03:29Z)
• ALoRE: Efficient Visual Adaptation via Aggregating Low Rank Experts [71.91042186338163]
  ALoREは、Kroneckerによって構築された超複素パラメータ化空間をAggregate Low Rank Expertsに再利用する新しいPETL法である。 巧妙な設計のおかげで、ALoREは無視できる余分なパラメータを保持し、凍ったバックボーンに強制的にマージできる。
  論文  参考訳（メタデータ） (2024-12-11T12:31:30Z)
• Unified Gradient-Based Machine Unlearning with Remain Geometry Enhancement [29.675650285351768]
  深層ニューラルネットワークのプライバシーと信頼性を高めるために、機械学習(MU)が登場した。 近似MUは大規模モデルの実用的手法である。 本稿では,最新の学習方向を暗黙的に近似する高速スローパラメータ更新手法を提案する。
  論文  参考訳（メタデータ） (2024-09-29T15:17:33Z)
• Gradient Boosting Mapping for Dimensionality Reduction and Feature Extraction [2.778647101651566]
  教師あり学習における根本的な問題は、優れた特徴や距離尺度を見つけることである。 本稿では,弱い学習者の出力が埋め込みを定義する,教師付き次元削減手法を提案する。 組込み座標は教師付き学習タスクにより良い機能を提供することを示す。
  論文  参考訳（メタデータ） (2024-05-14T10:23:57Z)
• Enhancing Consistency and Mitigating Bias: A Data Replay Approach for Incremental Learning [100.7407460674153]
  ディープラーニングシステムは、一連のタスクから学ぶとき、破滅的な忘れがちだ。 問題を緩和するため、新しいタスクを学ぶ際に経験豊富なタスクのデータを再生する手法が提案されている。 しかし、メモリ制約やデータプライバシーの問題を考慮すると、実際には期待できない。 代替として、分類モデルからサンプルを反転させることにより、データフリーなデータ再生法を提案する。
  論文  参考訳（メタデータ） (2024-01-12T12:51:12Z)
• Stochastic Gradient Descent for Nonparametric Regression [11.24895028006405]
  本稿では,非パラメトリック加法モデルをトレーニングするための反復アルゴリズムを提案する。 結果の不等式は、モデルの誤特定を可能にする託宣を満足していることが示される。
  論文  参考訳（メタデータ） (2024-01-01T08:03:52Z)
• Understanding Collapse in Non-Contrastive Learning [122.2499276246997]
  モデルがデータセットサイズに対して小さすぎる場合,SimSiam表現が部分次元崩壊することを示す。 本稿では,この崩壊の度合いを計測し,微調整やラベルを使わずに下流のタスク性能を予測できる指標を提案する。
  論文  参考訳（メタデータ） (2022-09-29T17:59:55Z)
• Few-Shot Non-Parametric Learning with Deep Latent Variable Model [50.746273235463754]
  遅延変数を用いた圧縮による非パラメトリック学習(NPC-LV)を提案する。 NPC-LVは、ラベルなしデータが多いがラベル付きデータはほとんどないデータセットの学習フレームワークである。 我々は,NPC-LVが低データ構造における画像分類における3つのデータセットの教師あり手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2022-06-23T09:35:03Z)
• Rethinking Reconstruction Autoencoder-Based Out-of-Distribution Detection [0.0]
  リコンストラクションオートエンコーダに基づく手法は、入力再構成誤差を新規性対正規性の計量として用いることでこの問題に対処する。 本稿では, 意味的再構成, データの確実性分解, 正規化L2距離を導入し, 元の手法を大幅に改善する。 提案手法は,追加データや実装の困難さ,時間を要するパイプライン,さらには既知のクラスの分類精度を損なうことなく機能する。
  論文  参考訳（メタデータ） (2022-03-04T09:04:55Z)
• Carath\'eodory Sampling for Stochastic Gradient Descent [79.55586575988292]
  本稿では,Tchakaloff と Carath'eodory の古典的な結果から着想を得た手法を提案する。 我々は、測定値の低減を行う降下ステップを適応的に選択する。 これをBlock Coordinate Descentと組み合わせることで、測定の削減を極めて安価に行えるようにします。
  論文  参考訳（メタデータ） (2020-06-02T17:52:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。