論文の概要: Investigating the Impact of Weight Sharing Decisions on Knowledge Transfer in Continual Learning

• arxiv url: http://arxiv.org/abs/2311.09506v3
• Date: Mon, 18 Dec 2023 21:41:42 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-20 22:13:13.517633
• Title: Investigating the Impact of Weight Sharing Decisions on Knowledge Transfer in Continual Learning
• Title（参考訳）: 連続学習における重み付け決定が知識伝達に及ぼす影響の検討
• Authors: Josh Andle, Ali Payani, Salimeh Yasaei-Sekeh
• Abstract要約: 連続学習(CL)は、ニューラルネットワークのシーケンシャルトレーニングにおいて、カタストロフィックフォーッティング(CF)を避ける方法として注目されている。 本稿では,タスク間のフォワード・ナレッジ・トランスファー(FKT)に対して,異なる共有決定がどのような影響を及ぼすかを検討する。
• 参考スコア（独自算出の注目度）: 7.25130576615102
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Continual Learning (CL) has generated attention as a method of avoiding Catastrophic Forgetting (CF) in the sequential training of neural networks, improving network efficiency and adaptability to different tasks. Additionally, CL serves as an ideal setting for studying network behavior and Forward Knowledge Transfer (FKT) between tasks. Pruning methods for CL train subnetworks to handle the sequential tasks which allows us to take a structured approach to investigating FKT. Sharing prior subnetworks' weights leverages past knowledge for the current task through FKT. Understanding which weights to share is important as sharing all weights can yield sub-optimal accuracy. This paper investigates how different sharing decisions affect the FKT between tasks. Through this lens we demonstrate how task complexity and similarity influence the optimal weight sharing decisions, giving insights into the relationships between tasks and helping inform decision making in similar CL methods. We implement three sequential datasets designed to emphasize variation in task complexity and similarity, reporting results for both ResNet-18 and VGG-16. By sharing in accordance with the decisions supported by our findings, we show that we can improve task accuracy compared to other sharing decisions.
• Abstract（参考訳）: 連続学習(CL)は、ニューラルネットワークの逐次トレーニングにおけるカタストロフィック・フォーッティング(CF)を回避する方法として注目され、異なるタスクに対するネットワーク効率と適応性が改善されている。 さらにCLは、タスク間のネットワーク行動とフォワード知識伝達(FKT)を研究するための理想的な設定として機能する。 CLトレインサブネットワークのプルーニング手法は、FKTの調査に構造化されたアプローチを採ることができるように、シーケンシャルなタスクを処理する。 以前のサブネットワークの重みを共有することは、FKTを通じて現在のタスクに対する過去の知識を活用する。 どの重みを共有するかを理解することは、すべての重みを共有することで、準最適精度が得られる。 本稿では,タスク間のfktに異なる共有判断が与える影響について検討する。 このレンズを通して、タスクの複雑さと類似性が最適な重み付け決定にどのように影響するかを示し、タスク間の関係について洞察を与え、同様のCL手法による意思決定を支援する。 resnet-18とvgg-16の両方について,タスクの複雑さと類似性を強調する3つのシーケンシャルデータセットを実装した。 結果から得られた決定に従って共有することで,他の共有決定よりもタスクの精度を向上させることができることを示す。

関連論文リスト

• Investigating the Pre-Training Dynamics of In-Context Learning: Task Recognition vs. Task Learning [99.05401042153214]
  In-context Learning(ICL)は、タスク認識(TR)とタスク学習(TL)の2つの主要な能力に起因する可能性がある。 ICLの出現の事前学習のダイナミクスを調べることで、第一歩を踏み出す。 そこで本研究では,この2つの機能を推論時によりよく統合するための,シンプルで効果的な手法を提案する。
  論文  参考訳（メタデータ） (2024-06-20T06:37:47Z)
• Mix Q-learning for Lane Changing: A Collaborative Decision-Making Method in Multi-Agent Deep Reinforcement Learning [8.455482816036689]
  本稿では,Mix Q-learning for Lane Changing(MQLC)を提案する。 集団レベルでは,グローバル情報を利用して個別のQネットワークとグローバルQネットワークを協調する。 個人レベルでは、深層学習に基づく意図認識モジュールを観察に統合し、意思決定ネットワークを強化した。
  論文  参考訳（メタデータ） (2024-06-14T06:44:19Z)
• PEMT: Multi-Task Correlation Guided Mixture-of-Experts Enables Parameter-Efficient Transfer Learning [28.353530290015794]
  マルチタスク変換学習に基づくパラメータ効率の高いファインチューニングフレームワークPEMTを提案する。 我々は17のデータセットにまたがる幅広いタスクについて実験を行う。
  論文  参考訳（メタデータ） (2024-02-23T03:59:18Z)
• Similarity-based Knowledge Transfer for Cross-Domain Reinforcement Learning [3.3148826359547523]
  我々は,エンコーダ・デコーダのセットを用いて,異なる空間に適合する半教師付きアライメント損失を開発する。 従来の手法と比較して、我々の手法は専門家のポリシーによって整列、ペア化、あるいは収集されるデータを必要としない。
  論文  参考訳（メタデータ） (2023-12-05T19:26:01Z)
• Evaluating the structure of cognitive tasks with transfer learning [67.22168759751541]
  本研究では,脳波復号処理における深層学習表現の伝達可能性について検討した。 最近リリースされた2つのEEGデータセット上で、最先端デコードモデルを用いて広範な実験を行う。
  論文  参考訳（メタデータ） (2023-07-28T14:51:09Z)
• Parameter-Level Soft-Masking for Continual Learning [12.290968171255349]
  従来のタスクに対する各パラメータの重要性に基づいたトレーニングにおいて,ソフトマスクパラメータを更新する手法(SPG)が提案されている。 私たちの知る限り、これは連続学習のためのパラメータレベルでモデルをソフトマスクする最初の作品です。
  論文  参考訳（メタデータ） (2023-06-26T15:35:27Z)
• Factorizing Knowledge in Neural Networks [65.57381498391202]
  知識伝達タスクKF(Knowledge Factorization)を提案する。 KFは、それをいくつかの要因ネットワークに分解することを目的としており、それぞれが専用のタスクのみを処理し、ソースネットワークから分解されたタスク固有の知識を維持する。 学習した表現と入力の相互情報を最適化してKFを実行するための情報理論的目的であるInfoMax-Bottleneck(IMB)を導入する。
  論文  参考訳（メタデータ） (2022-07-04T09:56:49Z)
• Multi-task Supervised Learning via Cross-learning [102.64082402388192]
  我々は,様々なタスクを解くことを目的とした回帰関数の集合を適合させることで,マルチタスク学習と呼ばれる問題を考える。 我々の新しい定式化では、これらの関数のパラメータを2つに分けて、互いに近づきながらタスク固有のドメインで学習する。 これにより、異なるドメインにまたがって収集されたデータが、互いのタスクにおける学習パフォーマンスを改善するのに役立つ、クロス・ファーティライズが促進される。
  論文  参考訳（メタデータ） (2020-10-24T21:35:57Z)
• Task-Feature Collaborative Learning with Application to Personalized Attribute Prediction [166.87111665908333]
  本稿では,TFCL(Task-Feature Collaborative Learning)と呼ばれる新しいマルチタスク学習手法を提案する。 具体的には、まず、特徴とタスクの協調的なグループ化を活用するために、不均一なブロック対角構造正規化器を用いたベースモデルを提案する。 実際の拡張として,重なり合う機能と難易度を区別することで,基本モデルを拡張します。
  論文  参考訳（メタデータ） (2020-04-29T02:32:04Z)
• Federated Continual Learning with Weighted Inter-client Transfer [79.93004004545736]
  我々は,新しい連合型連続学習フレームワークFederated Weighted Inter-client Transfer(FedWeIT)を提案する。 FedWeITは、ネットワークの重みをグローバルなフェデレーションパラメータとスパースなタスク固有のパラメータに分解し、各クライアントは他のクライアントから選択的な知識を受け取る。 我々はFedWeITを既存のフェデレーション学習法や継続学習法に対して検証し、我々のモデルは通信コストを大幅に削減してそれらを著しく上回っている。
  論文  参考訳（メタデータ） (2020-03-06T13:33:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。