Fugu-MT 論文翻訳(概要): Gradual Divergence for Seamless Adaptation: A Novel Domain Incremental Learning Method

論文の概要: Gradual Divergence for Seamless Adaptation: A Novel Domain Incremental Learning Method

arxiv url: http://arxiv.org/abs/2406.16231v1
Date: Sun, 23 Jun 2024 22:05:52 GMT
ステータス: 処理完了
システム内更新日: 2024-06-25 18:25:12.041318
Title: Gradual Divergence for Seamless Adaptation: A Novel Domain Incremental Learning Method
Title（参考訳）: シームレス適応のための段階的多様性:新しいドメイン増分学習法
Authors: Kishaan Jeeveswaran, Elahe Arani, Bahram Zonooz,
Abstract要約: ドメイン・インクリメンタル・ラーニング(DIL)は現実世界のシナリオにおいて大きな課題となる。モデルが新しいタスクに適応するにつれて、学習された表現が変化していく現象を模倣する表現ドリフトは、破滅的な忘れを和らげるのに役立つ。本稿では,DAREと呼ばれる新しいDIL手法を提案する。
参考スコア（独自算出の注目度）: 19.751735234229972
License: http://creativecommons.org/licenses/by-sa/4.0/
Abstract: Domain incremental learning (DIL) poses a significant challenge in real-world scenarios, as models need to be sequentially trained on diverse domains over time, all the while avoiding catastrophic forgetting. Mitigating representation drift, which refers to the phenomenon of learned representations undergoing changes as the model adapts to new tasks, can help alleviate catastrophic forgetting. In this study, we propose a novel DIL method named DARE, featuring a three-stage training process: Divergence, Adaptation, and REfinement. This process gradually adapts the representations associated with new tasks into the feature space spanned by samples from previous tasks, simultaneously integrating task-specific decision boundaries. Additionally, we introduce a novel strategy for buffer sampling and demonstrate the effectiveness of our proposed method, combined with this sampling strategy, in reducing representation drift within the feature encoder. This contribution effectively alleviates catastrophic forgetting across multiple DIL benchmarks. Furthermore, our approach prevents sudden representation drift at task boundaries, resulting in a well-calibrated DIL model that maintains the performance on previous tasks.
Abstract（参考訳）: ドメインインクリメンタルラーニング(ドメインインクリメンタルラーニング、ドメインインクリメンタルラーニング、Domain incremental Learning、DIL)は、現実のシナリオにおいて重要な課題となる。モデルが新しいタスクに適応するにつれて、学習された表現が変化していく現象を模倣する表現ドリフトは、破滅的な忘れを和らげるのに役立つ。本研究では,DAREと呼ばれる新しいDIL手法を提案する。このプロセスは、タスク固有の決定境界を同時に統合しながら、新しいタスクに関連する表現を、以前のタスクのサンプルによって分散された機能空間に徐々に適応させます。さらに,バッファサンプリングのための新しい手法を導入し,本手法と組み合わせて特徴エンコーダ内の表現ドリフトを低減する方法の有効性を示した。この貢献により、複数のDILベンチマークにおける破滅的な忘れを効果的に軽減できる。さらに,本手法はタスク境界における突然の表現のドリフトを防止し,従来のタスクの性能を維持するDILモデルを実現する。

関連論文リスト

Overcoming Domain Drift in Online Continual Learning [24.86094018430407]
オンライン連続学習(OCL)は、機械学習モデルに一連のタスクで新しい知識をオンラインで取得する権限を与える。 OCLは、破滅的な忘れをし、以前のタスクで学んだモデルは、新しいタスクに遭遇したときに実質的に上書きされる、という大きな課題に直面します。本稿では,古いタスクのドメインを固定し,負の転送効果を低減するための新しいリハーサル戦略であるDrift-Reducing Rehearsal(DRR)を提案する。
論文参考訳（メタデータ） (2024-05-15T06:57:18Z)
On the Convergence of Continual Learning with Adaptive Methods [4.351356718501137]
適応型非連続学習法(NCCL)を提案する。提案手法は,複数の画像分類タスクに対する継続学習既存手法の性能を向上させることを実証する。
論文参考訳（メタデータ） (2024-04-08T14:28:27Z)
DiffClass: Diffusion-Based Class Incremental Learning [30.514281721324853]
クラスインクリメンタルラーニング(CIL)は破滅的な忘れが原因で困難である。最近の例のないCIL手法は、過去のタスクデータを合成することによって破滅的な忘れを軽減しようとする。そこで本研究では,これらの問題を克服するために,新しい非定型CIL法を提案する。
論文参考訳（メタデータ） (2024-03-08T03:34:18Z)
Task-Distributionally Robust Data-Free Meta-Learning [99.56612787882334]
Data-Free Meta-Learning (DFML)は、複数の事前学習モデルを活用することで、独自のトレーニングデータを必要とせずに、新しいタスクを効率的に学習することを目的としている。 TDS(Task-Distribution Shift)とTDC(Task-Distribution Corruption)の2つの大きな課題を初めて明らかにした。
論文参考訳（メタデータ） (2023-11-23T15:46:54Z)
Amortizing intractable inference in large language models [56.92471123778389]
難治性後部分布のサンプルとして, 償却ベイズ推定を用いる。我々は,LLMファインチューニングの分散マッチングパラダイムが,最大習熟の代替となることを実証的に実証した。重要な応用として、チェーン・オブ・ソート推論を潜在変数モデリング問題として解釈する。
論文参考訳（メタデータ） (2023-10-06T16:36:08Z)
AdaMerging: Adaptive Model Merging for Multi-Task Learning [68.75885518081357]
本稿では,Adaptive Model Merging (AdaMerging)と呼ばれる革新的な手法を紹介する。本来のトレーニングデータに頼ることなく、タスクレベルでも階層的にも、モデルマージの係数を自律的に学習することを目指している。 AdaMergingは、現在の最先端のタスク演算のマージ方式と比較すると、パフォーマンスが11%向上している。
論文参考訳（メタデータ） (2023-10-04T04:26:33Z)
Clustering-based Domain-Incremental Learning [4.835091081509403]
連続学習における鍵となる課題は、いわゆる「破滅的な忘れ問題」である。動的に更新されたサンプルや勾配の有限プールに対するオンラインクラスタリングに基づくアプローチを提案する。提案手法の有効性と将来性を示す。
論文参考訳（メタデータ） (2023-09-21T13:49:05Z)
Semantically Aligned Task Decomposition in Multi-Agent Reinforcement Learning [56.26889258704261]
我々は,MARL(SAMA)における意味的アライズされたタスク分解という,新しい「不整合」意思決定手法を提案する。 SAMAは、潜在的な目標を示唆し、適切な目標分解とサブゴールアロケーションを提供するとともに、自己回帰に基づくリプランニングを提供する、チェーン・オブ・シントによる事前訓練された言語モデルを促進する。 SAMAは, 最先端のASG法と比較して, 試料効率に有意な優位性を示す。
論文参考訳（メタデータ） (2023-05-18T10:37:54Z)
Deep Graph Reprogramming [112.34663053130073]
グラフニューラルネットワーク(GNN)に適したタスク再利用モデル「ディープグラフ再プログラミング」本稿では,モデル再プログラミングパラダイムと並行して,革新的なデータ再プログラミングパラダイムを提案する。
論文参考訳（メタデータ） (2023-04-28T02:04:29Z)
Feature Diversity Learning with Sample Dropout for Unsupervised Domain Adaptive Person Re-identification [0.0]
本稿では,ノイズの多い擬似ラベルを限定することで,より優れた一般化能力を持つ特徴表現を学習する手法を提案する。我々は,古典的な相互学習アーキテクチャの下で,FDL(Feature Diversity Learning)と呼ばれる新しい手法を提案する。実験の結果,提案するFDL-SDは,複数のベンチマークデータセット上での最先端性能を実現することがわかった。
論文参考訳（メタデータ） (2022-01-25T10:10:48Z)
Extrapolation for Large-batch Training in Deep Learning [72.61259487233214]
我々は、バリエーションのホストが、我々が提案する統一されたフレームワークでカバー可能であることを示す。本稿では,この手法の収束性を証明し,ResNet,LSTM,Transformer上での経験的性能を厳格に評価する。
論文参考訳（メタデータ） (2020-06-10T08:22:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。