論文の概要: LLEDA -- Lifelong Self-Supervised Domain Adaptation

• arxiv url: http://arxiv.org/abs/2211.09027v1
• Date: Sat, 12 Nov 2022 10:12:17 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-17 14:18:04.262864
• Title: LLEDA -- Lifelong Self-Supervised Domain Adaptation
• Title（参考訳）: LLEDA -- 生涯の自己監督型ドメイン適応
• Authors: Mamatha Thota, Dewei Yi and Georgios Leontidis
• Abstract要約: LLEDA(Lifelong Self-Supervised Domain Adaptation)と呼ばれる新しいフレームワークを提案する。 LLEDAは、生のデータピクセルではなく隠れた表現を再生し、自己教師付き学習を用いてドメインに依存しない知識伝達を行うことによって、破滅的な忘れに対処する。
• 参考スコア（独自算出の注目度）: 9.71137838903781
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Lifelong domain adaptation remains a challenging task in machine learning due to the differences among the domains and the unavailability of historical data. The ultimate goal is to learn the distributional shifts while retaining the previously gained knowledge. Inspired by the Complementary Learning Systems (CLS) theory, we propose a novel framework called Lifelong Self-Supervised Domain Adaptation (LLEDA). LLEDA addresses catastrophic forgetting by replaying hidden representations rather than raw data pixels and domain-agnostic knowledge transfer using self-supervised learning. LLEDA does not access labels from the source or the target domain and only has access to a single domain at any given time. Extensive experiments demonstrate that the proposed method outperforms several other methods and results in a long-term adaptation, while being less prone to catastrophic forgetting when transferred to new domains.
• Abstract（参考訳）: 生涯にわたるドメイン適応は、ドメイン間の差異と歴史的データの有効性のため、機械学習において依然として困難な課題である。 究極の目標は、以前に獲得した知識を保持しながら、分布シフトを学ぶことである。 補足学習システム(CLS)理論に着想を得て,LLEDA(Lifelong Self-Supervised Domain Adaptation)と呼ばれる新しいフレームワークを提案する。 LLEDAは、生のデータピクセルではなく隠れた表現を再生し、自己教師付き学習を用いてドメインに依存しない知識伝達を行うことによって、破滅的な忘れに対処する。 lledaはソースまたはターゲットドメインのラベルにアクセスせず、任意の時間に1つのドメインにアクセスするのみである。 大規模な実験により,提案手法はいくつかの他の手法よりも優れており,長期的適応が期待できるが,新しい領域に移動すると破滅的な忘れがちである。

関連論文リスト

• Critical Learning Periods for Multisensory Integration in Deep Networks [112.40005682521638]
  ニューラルネットワークが様々な情報源からの情報を統合する能力は、トレーニングの初期段階において、適切な相関した信号に晒されることに批判的になることを示す。 臨界周期は、訓練されたシステムとその学習された表現の最終性能を決定づける、複雑で不安定な初期過渡的ダイナミクスから生じることを示す。
  論文  参考訳（メタデータ） (2022-10-06T23:50:38Z)
• Learning Dynamics and Generalization in Reinforcement Learning [59.530058000689884]
  時間差学習は, エージェントが訓練の初期段階において, 値関数の非平滑成分を適合させるのに役立つことを理論的に示す。 本研究では,高密度報酬タスクの時間差アルゴリズムを用いて学習したニューラルネットワークが,ランダムなネットワークや政策手法で学習した勾配ネットワークよりも,状態間の一般化が弱いことを示す。
  論文  参考訳（メタデータ） (2022-06-05T08:49:16Z)
• Learning Fast and Slow for Online Time Series Forecasting [76.50127663309604]
  Fast and Slow Learning Networks (FSNet)は、オンライン時系列予測のための総合的なフレームワークである。 FSNetは、最近の変更への迅速な適応と、同様の古い知識の取得のバランスを取る。 私たちのコードは公開されます。
  論文  参考訳（メタデータ） (2022-02-23T18:23:07Z)
• Learning Fast, Learning Slow: A General Continual Learning Method based on Complementary Learning System [13.041607703862724]
  本稿では,新しいデュアルメモリエクスペリエンス再生(ER)法であるCLS-ERを提案する。 決定境界を意味記憶と整合させながら、新たな知識を得る。 提案手法は,標準ベンチマークにおける最先端性能を実現する。
  論文  参考訳（メタデータ） (2022-01-29T15:15:23Z)
• Reducing Catastrophic Forgetting in Self Organizing Maps with Internally-Induced Generative Replay [67.50637511633212]
  生涯学習エージェントは、パターン知覚データの無限のストリームから継続的に学習することができる。 適応するエージェントを構築する上での歴史的難しさの1つは、ニューラルネットワークが新しいサンプルから学ぶ際に、以前取得した知識を維持するのに苦労していることである。 この問題は破滅的な忘れ(干渉)と呼ばれ、今日の機械学習の領域では未解決の問題のままである。
  論文  参考訳（メタデータ） (2021-12-09T07:11:14Z)
• Overcome Anterograde Forgetting with Cycled Memory Networks [23.523768741540117]
  Cycled Memory Networks (CMN) は、いくつかのタスク関連、タスク対応、クラス増分、クロスドメインベンチマークを忘れることに効果的に対処できる。
  論文  参考訳（メタデータ） (2021-12-04T14:06:54Z)
• Incremental Embedding Learning via Zero-Shot Translation [65.94349068508863]
  現在の最先端のインクリメンタル学習手法は、従来の分類ネットワークにおける破滅的な忘れ方問題に取り組む。 ゼロショット変換クラス増分法(ZSTCI)と呼ばれる新しい組込みネットワークのクラス増分法を提案する。 さらに、ZSTCIを既存の正規化ベースのインクリメンタル学習手法と組み合わせることで、組み込みネットワークの性能をより向上させることができる。
  論文  参考訳（メタデータ） (2020-12-31T08:21:37Z)
• Continual Learning for Natural Language Generation in Task-oriented Dialog Systems [72.92029584113676]
  自然言語生成(NLG)はタスク指向対話システムにおいて重要な要素である。 我々は,NLGの知識を新たなドメインや機能に段階的に拡張する"継続的学習"環境で研究する。 この目標に対する大きな課題は、破滅的な忘れことであり、継続的に訓練されたモデルは、以前に学んだ知識を忘れがちである。
  論文  参考訳（メタデータ） (2020-10-02T10:32:29Z)
• Learning to Learn with Feedback and Local Plasticity [9.51828574518325]
  我々はメタラーニングを用いて、フィードバック接続と局所的、生物学的にインスパイアされた学習ルールを用いて学習するネットワークを発見する。 実験の結果, メタトレーニングネットワークは, 多層アーキテクチャにおけるオンラインクレジット割り当てにフィードバック接続を効果的に利用していることがわかった。
  論文  参考訳（メタデータ） (2020-06-16T22:49:07Z)
• Adaptive Reinforcement Learning through Evolving Self-Modifying Neural Networks [0.0]
  強化学習(RL)の現在の手法は、特定の時間間隔で反射した後にのみ新しい相互作用に適応する。 最近の研究は、バックプロパゲーションを用いて訓練された単純なRLタスクの性能を向上させるために、ニューラルネットワークに神経修飾塑性を付与することでこの問題に対処している。 ここでは,四足歩行におけるメタラーニングの課題について検討する。 その結果、自己修飾プラスチックネットワークを用いて進化したエージェントは、複雑なメタ学習タスクに適応し、グラデーションを使って更新された同じネットワークよりも優れていることが示される。
  論文  参考訳（メタデータ） (2020-05-22T02:24:44Z)
• Triple Memory Networks: a Brain-Inspired Method for Continual Learning [35.40452724755021]
  ニューラルネットワークは、新しいタスクを学ぶ際にパラメータを調整するが、古いタスクをうまく実行できない。 脳は破滅的な干渉なしに新しい経験を継続的に学習する能力を持っている。 このような脳戦略に触発されて、連続学習のための三重記憶ネットワーク(TMN)という新しいアプローチを提案する。
  論文  参考訳（メタデータ） (2020-03-06T11:35:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。