論文の概要: The Joint Effect of Task Similarity and Overparameterization on Catastrophic Forgetting -- An Analytical Model

• arxiv url: http://arxiv.org/abs/2401.12617v2
• Date: Wed, 24 Jan 2024 12:49:24 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-25 11:37:55.515495
• Title: The Joint Effect of Task Similarity and Overparameterization on Catastrophic Forgetting -- An Analytical Model
• Title（参考訳）: タスク類似性と過パラメータ化の相乗効果 - 解析モデルによる検討-
• Authors: Daniel Goldfarb, Itay Evron, Nir Weinberger, Daniel Soudry, Paul Hand
• Abstract要約: 継続的な学習では、破滅的な忘れはタスクの複数の側面に影響される。 これまでの研究は、タスクの類似性やパラメータ化の過度な影響によって、忘れることがどう影響するかを別々に分析してきた。 本稿では,タスクの類似性と過剰なパラメータ化が,分析可能なモデルにおける記憶にどう影響するかを考察する。
• 参考スコア（独自算出の注目度）: 36.766748277141744
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In continual learning, catastrophic forgetting is affected by multiple aspects of the tasks. Previous works have analyzed separately how forgetting is affected by either task similarity or overparameterization. In contrast, our paper examines how task similarity and overparameterization jointly affect forgetting in an analyzable model. Specifically, we focus on two-task continual linear regression, where the second task is a random orthogonal transformation of an arbitrary first task (an abstraction of random permutation tasks). We derive an exact analytical expression for the expected forgetting - and uncover a nuanced pattern. In highly overparameterized models, intermediate task similarity causes the most forgetting. However, near the interpolation threshold, forgetting decreases monotonically with the expected task similarity. We validate our findings with linear regression on synthetic data, and with neural networks on established permutation task benchmarks.
• Abstract（参考訳）: 継続的学習では、破滅的な忘れることはタスクのさまざまな側面に影響される。 以前の研究は、タスクの類似性や過剰パラメータ化によって忘れられる影響を別々に分析している。 対照的に,本研究では,タスクの類似性と過パラメータ化が,分析可能なモデルにおける記憶にどのように影響するかを検討する。 具体的には,2タスク連続線形回帰に着目し,第2タスクは任意の第1タスク(ランダムな置換タスクの抽象化)のランダム直交変換である。 我々は、期待される忘れを正確に分析し、ニュアンスパターンを明らかにする。 高過パラメータモデルでは、中間タスクの類似性が最も忘れられる。 しかし、補間しきい値付近では、期待されるタスク類似度と単調に減少する。 我々は、合成データに対する線形回帰と、確立された置換タスクベンチマークにおけるニューラルネットワークによる結果を検証する。

関連論文リスト

• Interpetable Target-Feature Aggregation for Multi-Task Learning based on Bias-Variance Analysis [53.38518232934096]
  マルチタスク学習(MTL)は、タスク間の共有知識を活用し、一般化とパフォーマンスを改善するために設計された強力な機械学習パラダイムである。 本稿では,タスククラスタリングと特徴変換の交点におけるMTL手法を提案する。 両段階において、鍵となる側面は減った目標と特徴の解釈可能性を維持することである。
  論文  参考訳（メタデータ） (2024-06-12T08:30:16Z)
• Exposing and Addressing Cross-Task Inconsistency in Unified Vision-Language Models [80.23791222509644]
  一貫性のないAIモデルは、人間のユーザーによって不安定で信頼できないと見なされている。 最先端のビジョン言語モデルは、タスク間の驚くほど高い一貫性のない振る舞いに悩まされている。 本稿では,大規模で自動生成されるクロスタスクコントラスト集合上で計算されたランク相関に基づく補助訓練目標を提案する。
  論文  参考訳（メタデータ） (2023-03-28T16:57:12Z)
• Analysis of Catastrophic Forgetting for Random Orthogonal Transformation Tasks in the Overparameterized Regime [9.184987303791292]
  可変MNIST画像分類タスクでは,バニラ勾配降下により訓練された多層パーセプトロンの性能を向上させることができることを示す。 定性的に類似した2タスク線形回帰問題を研究することによって、この効果を理論的に説明する。 モデルが追加の正規化なしで連続的に2つのタスクで訓練された場合、最初のタスクのリスクゲインは小さくなることを示す。
  論文  参考訳（メタデータ） (2022-06-01T18:04:33Z)
• How catastrophic can catastrophic forgetting be in linear regression? [30.702863017223457]
  モデルがその後のタスクのトレーニング後に、以前のタスクの本当のラベルをどれだけ忘れているかを分析する。 線形設定における連続学習と他の2つの研究領域の関連性を確立する。
  論文  参考訳（メタデータ） (2022-05-19T14:28:40Z)
• Instance-Level Relative Saliency Ranking with Graph Reasoning [126.09138829920627]
  そこで本研究では,有意な事例を分割し,相対的有意な有意なランク順序を推定するための統一モデルを提案する。 また、サラレンシーランキングブランチを効果的にトレーニングするために、新しい損失関数も提案されている。 実験の結果,提案手法は従来の手法よりも有効であることがわかった。
  論文  参考訳（メタデータ） (2021-07-08T13:10:42Z)
• An Information-Theoretic Analysis of the Impact of Task Similarity on Meta-Learning [44.320945743871285]
  メタ一般化ギャップの平均絶対値に対する新しい情報理論的境界を提示する。 私たちの境界は、タスク関連性、タスクの数、およびタスクごとのデータサンプルの数がメタ一般化ギャップに与える影響を明示的に捉えます。
  論文  参考訳（メタデータ） (2021-01-21T01:38:16Z)
• Multi-task Supervised Learning via Cross-learning [102.64082402388192]
  我々は,様々なタスクを解くことを目的とした回帰関数の集合を適合させることで,マルチタスク学習と呼ばれる問題を考える。 我々の新しい定式化では、これらの関数のパラメータを2つに分けて、互いに近づきながらタスク固有のドメインで学習する。 これにより、異なるドメインにまたがって収集されたデータが、互いのタスクにおける学習パフォーマンスを改善するのに役立つ、クロス・ファーティライズが促進される。
  論文  参考訳（メタデータ） (2020-10-24T21:35:57Z)
• Precise High-Dimensional Asymptotics for Quantifying Heterogeneous Transfers [34.40702005466919]
  1つのタスクだけを学習するよりも、2つのタスクからのデータを組み合わせる方がよいのはいつでしょう? 本稿では,2つのタスクを持つ線形回帰設定において,ランダム行列理論を用いてこの問題に対処する。
  論文  参考訳（メタデータ） (2020-10-22T14:14:20Z)
• Few-shot Visual Reasoning with Meta-analogical Contrastive Learning [141.2562447971]
  本稿では,類似推論に頼って,数ショット(または低ショット)の視覚推論問題を解くことを提案する。 両領域の要素間の構造的関係を抽出し、類似学習と可能な限り類似するように強制する。 RAVENデータセット上での本手法の有効性を検証し, トレーニングデータが少ない場合, 最先端の手法より優れることを示す。
  論文  参考訳（メタデータ） (2020-07-23T14:00:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。