論文の概要: Regularizing Second-Order Influences for Continual Learning

• arxiv url: http://arxiv.org/abs/2304.10177v1
• Date: Thu, 20 Apr 2023 09:30:35 GMT
• ステータス: 処理完了
• システム内更新日: 2023-04-21 14:01:40.498102
• Title: Regularizing Second-Order Influences for Continual Learning
• Title（参考訳）: 連続学習における2次影響の規則化
• Authors: Zhicheng Sun, Yadong Mu, Gang Hua
• Abstract要約: 継続的な学習は、それまでの知識を破滅的に忘れることなく、非定常的なデータストリームで学習することを目的としている。 一般的なリプレイベースのメソッドは、見たデータを保持する小さなバッファーでリハーサルすることで、この問題に対処する。 我々は、影響関数に基づいて構築されたフレームワーク内での逐次選択ステップの相互作用を識別する。
• 参考スコア（独自算出の注目度）: 39.16131410356833
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Continual learning aims to learn on non-stationary data streams without catastrophically forgetting previous knowledge. Prevalent replay-based methods address this challenge by rehearsing on a small buffer holding the seen data, for which a delicate sample selection strategy is required. However, existing selection schemes typically seek only to maximize the utility of the ongoing selection, overlooking the interference between successive rounds of selection. Motivated by this, we dissect the interaction of sequential selection steps within a framework built on influence functions. We manage to identify a new class of second-order influences that will gradually amplify incidental bias in the replay buffer and compromise the selection process. To regularize the second-order effects, a novel selection objective is proposed, which also has clear connections to two widely adopted criteria. Furthermore, we present an efficient implementation for optimizing the proposed criterion. Experiments on multiple continual learning benchmarks demonstrate the advantage of our approach over state-of-the-art methods. Code is available at https://github.com/feifeiobama/InfluenceCL.
• Abstract（参考訳）: 継続的学習は、過去の知識を破滅的に忘れずに、非定常データストリームで学ぶことを目的としている。 一般的なリプレイベース手法では、参照データを保持する小さなバッファでリハーサルを行い、繊細なサンプル選択戦略が必要となる。 しかし、既存の選別スキームは、通常、連続する選別ラウンド間の干渉を見越して、継続する選別の有用性を最大化することだけを求める。 そこで本研究では,影響関数に基づくフレームワークにおける逐次選択ステップの相互作用を解析する。 我々は、リプレイバッファにおける偶発バイアスを徐々に増幅し、選択プロセスに悪影響を及ぼす新しい2階の影響を識別する。 2次効果を正則化するために,2つの広く採用されている基準と明確な関係を持つ新しい選択目標を提案する。 さらに,提案手法を最適化するための効率的な実装を提案する。 複数の連続学習ベンチマークの実験は、最先端手法に対する我々のアプローチの利点を実証している。 コードはhttps://github.com/feifeiobama/InfluenceCLで入手できる。

関連論文リスト

• Bidirectional Decoding: Improving Action Chunking via Closed-Loop Resampling [51.38330727868982]
  双方向デコーディング(BID)は、クローズドループ操作で動作チャンキングをブリッジするテスト時間推論アルゴリズムである。 BIDは、7つのシミュレーションベンチマークと2つの実世界のタスクにまたがって、最先端の2つの生成ポリシーの性能を向上させることを示す。
  論文  参考訳（メタデータ） (2024-08-30T15:39:34Z)
• Large-Scale Sequential Learning for Recommender and Engineering Systems [91.3755431537592]
  本稿では,現在の状況に適応してパーソナライズされたランキングを提供する自動アルゴリズムの設計に焦点を当てる。 前者はSAROSと呼ばれる新しいアルゴリズムを提案し,インタラクションの順序を学習するためのフィードバックの種類を考慮に入れている。 提案手法は, 電力網の故障検出に対する初期アプローチと比較して, 統計的に有意な結果を示す。
  論文  参考訳（メタデータ） (2022-05-13T21:09:41Z)
• An Investigation of Replay-based Approaches for Continual Learning [79.0660895390689]
  連続学習(CL)は機械学習(ML)の大きな課題であり、破滅的忘れ(CF)を伴わずに連続的に複数のタスクを学習する能力を記述する。 いくつかの解クラスが提案されており、その単純さと堅牢性から、いわゆるリプレイベースのアプローチは非常に有望であるように思われる。 連続学習におけるリプレイに基づくアプローチを実証的に検討し,応用の可能性を評価する。
  論文  参考訳（メタデータ） (2021-08-15T15:05:02Z)
• MCDAL: Maximum Classifier Discrepancy for Active Learning [74.73133545019877]
  近年の最先端のアクティブラーニング手法は, 主にGAN(Generative Adversarial Networks)をサンプル取得に活用している。 本稿では,MCDAL(Maximum Discrepancy for Active Learning)と呼ぶ新しいアクティブラーニングフレームワークを提案する。 特に,両者の差分を最大化することにより,より厳密な決定境界を学習する2つの補助的分類層を利用する。
  論文  参考訳（メタデータ） (2021-07-23T06:57:08Z)
• Targeted Active Learning for Bayesian Decision-Making [15.491942513739676]
  サンプルを逐次取得する際には,学習と意思決定を分離することが準最適である。 本稿では,ダウン・ザ・ライン決定問題を考慮に入れた,新たなアクティブな学習戦略を提案する。 具体的には、最適決定の後続分布における期待情報ゲインを最大化する、新しい能動的学習基準を導入する。
  論文  参考訳（メタデータ） (2021-06-08T09:05:43Z)
• Toward Optimal Probabilistic Active Learning Using a Bayesian Approach [4.380488084997317]
  アクティブラーニングは、コストの高いラベリングリソースを効率よく効果的に割り当てることで、ラベリングコストを削減することを目的としている。 提案したモデルにおける既存の選択戦略を再構築することにより、どの側面が現在の最先端に包含されていないかを説明することができる。
  論文  参考訳（メタデータ） (2020-06-02T15:59:42Z)
• Fast Template Matching and Update for Video Object Tracking and Segmentation [56.465510428878]
  私たちが取り組もうとしている主な課題は、フレームの列にまたがるマルチインスタンスの半教師付きビデオオブジェクトセグメンテーションである。 課題は、結果を予測するためのマッチングメソッドの選択と、ターゲットテンプレートを更新するかどうかを決定することである。 本稿では,これら2つの決定を同時に行うために,強化学習を利用する新しい手法を提案する。
  論文  参考訳（メタデータ） (2020-04-16T08:58:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。