Fugu-MT 論文翻訳(概要): Forgetting of task-specific knowledge in model merging-based continual learning

論文の概要: Forgetting of task-specific knowledge in model merging-based continual learning

arxiv url: http://arxiv.org/abs/2507.23311v1
Date: Thu, 31 Jul 2025 07:45:08 GMT
ステータス: 翻訳完了
システム内更新日: 2025-08-01 17:19:09.228406
Title: Forgetting of task-specific knowledge in model merging-based continual learning
Title（参考訳）: モデル統合に基づく連続学習におけるタスク固有の知識の確立
Authors: Timm Hess, Gido M van de Ven, Tinne Tuytelaars,
Abstract要約: 統合は共有知識の保存や強化に大きく貢献するが、未共有のタスク固有の知識は急速に低下する。さらに、漸進的なトレーニングプロセスからのマージモデルは、並列でトレーニングされたマージモデルよりも一貫して優れています。
参考スコア（独自算出の注目度）: 36.33674007527071
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: This paper investigates the linear merging of models in the context of continual learning (CL). Using controlled visual cues in computer vision experiments, we demonstrate that merging largely preserves or enhances shared knowledge, while unshared task-specific knowledge rapidly degrades. We further find that merging models from an incremental training process consistently outperforms merging models trained in parallel.
Abstract（参考訳）: 本稿では,連続学習(CL)の文脈におけるモデルの線形統合について検討する。コンピュータビジョン実験における制御された視覚的手がかりを用いて、マージは共有知識をほとんど保存または強化し、未共有のタスク固有知識は急速に劣化することを示した。さらに、漸進的なトレーニングプロセスからのマージモデルは、並列でトレーニングされたマージモデルよりも一貫して優れています。

関連論文リスト

Bisecle: Binding and Separation in Continual Learning for Video Language Understanding [11.710573955384511]
海馬における高速な結合とパターン分離機構に着想を得たビデオ言語連続学習のためのBisecleを提案する。 Bisecleは、いくつかのVideoQAベンチマークにおいて、忘れを緩和し、クロスタスクの一般化を強化する。
論文参考訳（メタデータ） (2025-07-01T06:28:57Z)
Knowledge Graph Enhanced Generative Multi-modal Models for Class-Incremental Learning [51.0864247376786]
学習過程を通じて進化する知識グラフを構築する知識グラフ強化多モードモデル(KG-GMM)を導入する。テスト中,生成されたテキスト内の関係を解析し,特定のカテゴリを特定する知識グラフ拡張推論手法を提案する。
論文参考訳（メタデータ） (2025-03-24T07:20:43Z)
Boosting Continual Learning of Vision-Language Models via Mixture-of-Experts Adapters [65.15700861265432]
本稿では,視覚言語モデルを用いた漸進的学習における長期的忘れを緩和するパラメータ効率の連続学習フレームワークを提案する。提案手法では,Mixture-of-Experts (MoE)アダプタの統合により,事前学習したCLIPモデルの動的拡張を行う。視覚言語モデルのゼロショット認識能力を維持するために,分布判別オートセレクタを提案する。
論文参考訳（メタデータ） (2024-03-18T08:00:23Z)
Visual Self-paced Iterative Learning for Unsupervised Temporal Action Localization [50.48350210022611]
本稿では,クラスタリングとローカライズトレーニングを同時に行うための,自己ペースの反復学習モデルを提案する。我々は,2つの段階的なインスタンス学習戦略を設計し,ビデオ擬似ラベルの信頼性を確保する。
論文参考訳（メタデータ） (2023-12-12T16:00:55Z)
Learning an evolved mixture model for task-free continual learning [11.540150938141034]
タスク自由連続学習(TFCL)では,非定常データストリーム上で,明示的なタスク情報を持たないモデルを訓練する。メモリ過負荷を回避するため,記憶されているサンプルを選択的に削除する2つの単純なドロップアウト機構を導入する。
論文参考訳（メタデータ） (2022-07-11T16:01:27Z)
A Unified Continuous Learning Framework for Multi-modal Knowledge Discovery and Pre-training [73.7507857547549]
本稿では,継続的学習フレームワークにおける知識発見とマルチモーダル事前学習の統合を提案する。知識発見のために、事前訓練されたモデルを用いてグラフ上のクロスモーダルリンクを識別する。モデル事前トレーニングでは、モデル更新をガイドする外部知識として知識グラフが使用される。
論文参考訳（メタデータ） (2022-06-11T16:05:06Z)
Mixture-of-Variational-Experts for Continual Learning [0.0]
学習と忘れのトレードオフを促進する最適原理を提案する。我々はMixture-of-Variational-Experts (MoVE)と呼ばれる連続学習のためのニューラルネットワーク層を提案する。 MNISTおよびCIFAR10データセットの変種に関する実験は、MoVE層の競合性能を示す。
論文参考訳（メタデータ） (2021-10-25T06:32:06Z)
Lifelong Infinite Mixture Model Based on Knowledge-Driven Dirichlet Process [15.350366047108103]
生涯学習における最近の研究成果は、タスクの増加に対応するために、モデルの混合を成長させることが提案されている。本研究では,データの確率的表現間の差分距離に基づいてリスク境界を導出することにより,生涯学習モデルの理論的解析を行う。理論解析に着想を得て, 生涯無限混合モデル (LIMix) と呼ばれる新しい生涯学習手法を導入する。
論文参考訳（メタデータ） (2021-08-25T21:06:20Z)
Learning Temporal Dynamics from Cycles in Narrated Video [85.89096034281694]
時が経つにつれて世界がどのように変化するかをモデル化する学習問題に対する自己監督型ソリューションを提案します。私たちのモデルは、前方および後方の時間を予測するためにモダリティに依存しない関数を学習します。将来的な動作の予測や画像の時間的順序付けなど,様々なタスクに対して,学習されたダイナミクスモデルを適用する。
論文参考訳（メタデータ） (2021-01-07T02:41:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。