論文の概要: On Knowledge Editing in Federated Learning: Perspectives, Challenges, and Future Directions

• arxiv url: http://arxiv.org/abs/2306.01431v1
• Date: Fri, 2 Jun 2023 10:42:47 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-05 15:47:33.343099
• Title: On Knowledge Editing in Federated Learning: Perspectives, Challenges, and Future Directions
• Title（参考訳）: 連合学習における知識編集について : 展望,課題,今後の方向性
• Authors: Leijie Wu, Song Guo, Junxiao Wang, Zicong Hong, Jie Zhang, Jingren Zhou
• Abstract要約: 本稿では,フェデレートラーニングにおける知識編集(強化/削除)の話題について広範な調査を行う。 FLのライフサイクル全体を再評価することにより、FEL(Federated Editable Learning)と呼ばれる統合パラダイムを導入する。
• 参考スコア（独自算出の注目度）: 36.733628606028184
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: As Federated Learning (FL) has gained increasing attention, it has become widely acknowledged that straightforwardly applying stochastic gradient descent (SGD) on the overall framework when learning over a sequence of tasks results in the phenomenon known as ``catastrophic forgetting''. Consequently, much FL research has centered on devising federated increasing learning methods to alleviate forgetting while augmenting knowledge. On the other hand, forgetting is not always detrimental. The selective amnesia, also known as federated unlearning, which entails the elimination of specific knowledge, can address privacy concerns and create additional ``space'' for acquiring new knowledge. However, there is a scarcity of extensive surveys that encompass recent advancements and provide a thorough examination of this issue. In this manuscript, we present an extensive survey on the topic of knowledge editing (augmentation/removal) in Federated Learning, with the goal of summarizing the state-of-the-art research and expanding the perspective for various domains. Initially, we introduce an integrated paradigm, referred to as Federated Editable Learning (FEL), by reevaluating the entire lifecycle of FL. Secondly, we provide a comprehensive overview of existing methods, evaluate their position within the proposed paradigm, and emphasize the current challenges they face. Lastly, we explore potential avenues for future research and identify unresolved issues.
• Abstract（参考訳）: フェデレーション学習(fl)の注目が高まる中、タスクのシーケンスを学習する際にフレームワーク全体に確率的勾配降下(sgd)を適用すると「破滅的忘れ」と呼ばれる現象が発生することが容易に認識されるようになった。 その結果、FLの多くの研究は、知識を増強しながら忘れを軽減し、学習方法の向上に重点を置いている。 一方、忘れることは常に有害であるとは限らない。 特定の知識の排除を伴う「フェデレーションド・アンラーニング(Federated unlearning)」とも呼ばれる選択的なアムネシアは、プライバシー上の懸念に対処し、新たな知識を得るために「スペース」を追加することができる。 しかし、近年の進展を包含し、この問題を徹底的に検討する広範な調査が不足している。 本論文では,本書における知識編集(強化・削除)の課題について,最先端の研究を要約し,諸分野の視点を広げることを目的として,広範な調査を行う。 まず,flのライフサイクル全体を再評価することにより,federated editable learning(fel)と呼ばれる統合パラダイムを導入する。 第2に,既存手法の包括的概要を提供し,提案するパラダイムにおけるその立場を評価し,現在直面する課題を強調する。 最後に、今後の研究への潜在的な道を探り、未解決の問題を特定する。

関連論文リスト

• Federated Learning with New Knowledge: Fundamentals, Advances, and Futures [69.8830772538421]
  本稿では,フェデレートラーニング(FL)における新しい知識の源泉を体系的に定義する。 本研究は,新たな知識の到来時期と形態が定式化過程に及ぼす影響について検討する。 シナリオの設定,効率,セキュリティなど,さまざまな要因を考慮し,FLの今後の方向性を新たな知識で論じる。
  論文  参考訳（メタデータ） (2024-02-03T21:29:31Z)
• A Comprehensive Study of Knowledge Editing for Large Language Models [82.65729336401027]
  大規模言語モデル(LLM)は、人間のコミュニケーションを忠実に反映したテキストの理解と生成の素晴らしい能力を示している。 本稿では,知識編集の問題を定義し,最先端アプローチの包括的レビューを行う。 我々は,代表的知識編集アプローチの総合的評価のための新しいベンチマークであるKnowEditを紹介した。
  論文  参考訳（メタデータ） (2024-01-02T16:54:58Z)
• Online Continual Knowledge Learning for Language Models [3.654507524092343]
  大規模言語モデル(LLM)は、幅広い世界の知識のリポジトリとして機能し、質問応答やファクトチェックなどのタスクを実行できる。 オンライン連続知識学習(OCKL)は,実時間制約下での世界知識の動的性質を管理することを目的としている。
  論文  参考訳（メタデータ） (2023-11-16T07:31:03Z)
• Federated Learning for Generalization, Robustness, Fairness: A Survey and Benchmark [55.898771405172155]
  フェデレートラーニングは、異なる当事者間のプライバシー保護コラボレーションのための有望なパラダイムとして登場した。 我々は,連合学習研究の重要かつ最近の展開を体系的に概観する。
  論文  参考訳（メタデータ） (2023-11-12T06:32:30Z)
• A Comprehensive Survey of Forgetting in Deep Learning Beyond Continual Learning [58.107474025048866]
  蓄積とは、以前に獲得した知識の喪失または劣化を指す。 フォッテッティングは、深層学習における様々な研究領域でよく見られる現象である。
  論文  参考訳（メタデータ） (2023-07-16T16:27:58Z)
• Causal Reinforcement Learning: A Survey [57.368108154871]
  強化学習は、不確実性の下でのシーケンシャルな決定問題の解決に不可欠なパラダイムである。 主な障害の1つは、強化学習エージェントが世界に対する根本的な理解を欠いていることである。 因果性は、体系的な方法で知識を形式化できるという点で顕著な利点がある。
  論文  参考訳（メタデータ） (2023-07-04T03:00:43Z)
• Towards Continual Knowledge Learning of Language Models [11.000501711652829]
  大規模言語モデル(LM)は、膨大な量のWebコーパスで事前訓練を行う際に、そのパラメータで世界の知識を符号化することが知られている。 実世界のシナリオでは、LMに格納されている世界知識は、世界が変化するにつれて急速に時代遅れになる。 継続知識学習(CKL)と呼ばれる新しい継続学習(CL)問題を定式化する。
  論文  参考訳（メタデータ） (2021-10-07T07:00:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。