論文の概要: Directed Structural Adaptation to Overcome Statistical Conflicts and Enable Continual Learning

• arxiv url: http://arxiv.org/abs/2412.04190v1
• Date: Thu, 05 Dec 2024 14:30:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-06 14:42:04.138222
• Title: Directed Structural Adaptation to Overcome Statistical Conflicts and Enable Continual Learning
• Title（参考訳）: 統計的矛盾を克服し、継続的な学習を可能にする構造適応
• Authors: Zeki Doruk Erden, Boi Faltings,
• Abstract要約: 本稿では、データセット内の統計的衝突に制限されることなく、必要に応じて、かつ指示された方法で複雑な構造適応法DIRADを提案する。 次に,この手法を拡張し,継続学習における「破滅的忘れ」を防止するために設計されたPreVALフレームワークを提案する。 固定トポロジネットワークよりも高い性能とオーダーオブマグニチュードを持つネットワークを成長させる上でのDIRADの信頼性を示す。
• 参考スコア（独自算出の注目度）: 15.376349115976534
• License:
• Abstract: Adaptive networks today rely on overparameterized fixed topologies that cannot break through the statistical conflicts they encounter in the data they are exposed to, and are prone to "catastrophic forgetting" as the network attempts to reuse the existing structures to learn new task. We propose a structural adaptation method, DIRAD, that can complexify as needed and in a directed manner without being limited by statistical conflicts within a dataset. We then extend this method and present the PREVAL framework, designed to prevent "catastrophic forgetting" in continual learning by detection of new data and assigning encountered data to suitable models adapted to process them, without needing task labels anywhere in the workflow. We show the reliability of the DIRAD in growing a network with high performance and orders-of-magnitude simpler than fixed topology networks; and demonstrate the proof-of-concept operation of PREVAL, in which continual adaptation to new tasks is observed while being able to detect and discern previously-encountered tasks.
• Abstract（参考訳）: 適応型ネットワークは、現在、過度にパラメータ化された固定されたトポロジに依存しており、それらが露出するデータに遭遇する統計的衝突を突破することができず、ネットワークが既存の構造を再利用して新しいタスクを学習しようとすると「破滅的な忘れ」が起こる傾向にある。 本稿では、データセット内の統計的衝突に制限されることなく、必要に応じて、かつ指示された方法で複雑な構造適応法DIRADを提案する。 そこで本手法を拡張し,新しいデータを検出して,ワークフローのどこにでもタスクラベルを必要とせず,その処理に適したモデルに遭遇したデータを割り当てることにより,継続学習における「破滅的な忘れ」を防止するために設計されたPreVALフレームワークを提案する。 固定トポロジネットワークよりも高い性能とオーダーオブマグニチュードを持つネットワークを成長させる上でのDIRADの信頼性を示すとともに,従来のタスクを検知・識別しながら,新しいタスクへの継続的な適応が観察されるPreVALの概念実証動作を示す。

関連論文リスト

• Valid Bootstraps for Networks with Applications to Network Visualisation [0.0]
  ネットワークにおける不確実性の定量化は、エンティティ間の関係と相互作用をモデル化する重要なステップである。 ネットワークの単一観測のみを行う場合、不均一なランダムグラフをブートストラップすることの難しさを考察する。 k-アネレスト近傍平滑化を用いたネットワークブートストラップを提案する。
  論文  参考訳（メタデータ） (2024-10-28T10:22:22Z)
• Reshaping the Online Data Buffering and Organizing Mechanism for Continual Test-Time Adaptation [49.53202761595912]
  継続的なテスト時間適応は、訓練済みのソースモデルを適用して、教師なしのターゲットドメインを継続的に変更する。 我々は、オンライン環境、教師なしの自然、エラー蓄積や破滅的な忘れのリスクなど、このタスクの課題を分析する。 教師なしシングルパスデータストリームから重要サンプルを高い確実性で識別・集約する不確実性を考慮したバッファリング手法を提案する。
  論文  参考訳（メタデータ） (2024-07-12T15:48:40Z)
• Task-Distributionally Robust Data-Free Meta-Learning [99.56612787882334]
  Data-Free Meta-Learning (DFML)は、複数の事前学習モデルを活用することで、独自のトレーニングデータを必要とせずに、新しいタスクを効率的に学習することを目的としている。 TDS(Task-Distribution Shift)とTDC(Task-Distribution Corruption)の2つの大きな課題を初めて明らかにした。
  論文  参考訳（メタデータ） (2023-11-23T15:46:54Z)
• Cross-Inferential Networks for Source-free Unsupervised Domain Adaptation [17.718392065388503]
  クロス推論ネットワーク (CIN) と呼ばれる新しい手法を提案する。 主な考え方は、符号化された特徴からサンプルラベルを予測するためにネットワークモデルを適用する際に、これらの予測結果を用いて、派生したラベルを用いた新しいトレーニングサンプルを構築することである。 ベンチマークデータを用いた実験の結果,提案手法により,ソースフリーなUDAの性能が大幅に向上することが示された。
  論文  参考訳（メタデータ） (2023-06-29T14:04:24Z)
• Mitigating Catastrophic Forgetting in Task-Incremental Continual Learning with Adaptive Classification Criterion [50.03041373044267]
  本稿では,継続的学習のための適応型分類基準を用いた教師付きコントラスト学習フレームワークを提案する。 実験により, CFLは最先端の性能を達成し, 分類基準に比べて克服する能力が強いことが示された。
  論文  参考訳（メタデータ） (2023-05-20T19:22:40Z)
• CAFA: Class-Aware Feature Alignment for Test-Time Adaptation [50.26963784271912]
  テスト時間適応(TTA)は、テスト時にラベルのないデータにモデルを適応させることによって、この問題に対処することを目的としている。 本稿では,クラス認識特徴アライメント(CAFA, Class-Aware Feature Alignment)と呼ばれる単純な機能アライメント損失を提案する。
  論文  参考訳（メタデータ） (2022-06-01T03:02:07Z)
• Lifelong Unsupervised Domain Adaptive Person Re-identification with Coordinated Anti-forgetting and Adaptation [127.6168183074427]
  本稿では,LUDA (Lifelong Unsupervised Domain Adaptive) という新たなタスクを提案する。 これは、モデルがターゲット環境のラベル付けされていないデータに継続的に適応する必要があるため、難しい。 我々は、CLUDA-ReIDと呼ばれるこのタスクのための効果的なスキームを設計し、そこでは、アンチフォージェッティングが適応と調和して調整される。
  論文  参考訳（メタデータ） (2021-12-13T13:19:45Z)
• Estimating the Effects of Continuous-valued Interventions using Generative Adversarial Networks [103.14809802212535]
  我々は,連続的評価介入の効果を推定する問題に対処するため,GAN(Generative Adversarial Network)フレームワークを構築した。 我々のモデルであるSCIGANは柔軟であり、いくつかの異なる継続的な介入に対する対実的な結果の同時推定が可能である。 継続的な介入に移行することによって生じる課題に対処するために、差別者のための新しいアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2020-02-27T18:46:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。