論文の概要: FLEKE: Federated Locate-then-Edit Knowledge Editing

• arxiv url: http://arxiv.org/abs/2502.15677v1
• Date: Fri, 21 Feb 2025 18:58:06 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-24 16:11:37.578846
• Title: FLEKE: Federated Locate-then-Edit Knowledge Editing
• Title（参考訳）: FLEKE:Federated Locate-then-Edit Knowledge Editing
• Authors: Zongkai Zhao, Guozeng Xu, Xiuhua Li, Kaiwen Wei, Jiang Zhong,
• Abstract要約: 我々は,複数のクライアントが共同でLEKEを実行することができる新しいタスクであるFLEKE(Federated Locate-then-Edit Knowledge)を紹介する。 最初の段階では、クライアントはLEKEをローカルに適用し、計算されたMITをアップロードする。 第2段階では、サーバベースの編集共有のみに頼るのではなく、クライアントはコサインの類似性に基づいて関連事項を検索できる。
• 参考スコア（独自算出の注目度）: 4.138788033678264
• License:
• Abstract: Locate-then-Edit Knowledge Editing (LEKE) is a key technique for updating large language models (LLMs) without full retraining. However, existing methods assume a single-user setting and become inefficient in real-world multi-client scenarios, where decentralized organizations (e.g., hospitals, financial institutions) independently update overlapping knowledge, leading to redundant mediator knowledge vector (MKV) computations and privacy concerns. To address these challenges, we introduce Federated Locate-then-Edit Knowledge Editing (FLEKE), a novel task that enables multiple clients to collaboratively perform LEKE while preserving privacy and reducing computational overhead. To achieve this, we propose FedEdit, a two-stage framework that optimizes MKV selection and reuse. In the first stage, clients locally apply LEKE and upload the computed MKVs. In the second stage, rather than relying solely on server-based MKV sharing, FLEKE allows clients retrieve relevant MKVs based on cosine similarity, enabling knowledge re-edit and minimizing redundant computations. Experimental results on two benchmark datasets demonstrate that FedEdit retains over 96% of the performance of non-federated LEKE while significantly outperforming a FedAvg-based baseline by approximately twofold. Besides, we find that MEMIT performs more consistently than PMET in the FLEKE task with our FedEdit framework. Our code is available at https://github.com/zongkaiz/FLEKE.
• Abstract（参考訳）: Locate-then-Edit Knowledge Editing (LEKE) は、大規模な言語モデル(LLM)を完全リトレーニングなしで更新するための重要なテクニックである。 しかし、既存の手法では、単一ユーザ設定を前提として、分散化された組織(例えば病院や金融機関)が相互に重複する知識を更新し、冗長な仲介者知識ベクトル(MKV)計算とプライバシー上の懸念をもたらす、現実のマルチクライアントシナリオでは非効率になる。 これらの課題に対処するために、複数のクライアントがLEKEを協調的に実行し、プライバシの保護と計算オーバーヘッドの低減を可能にする新しいタスクであるFederated Locate-then-Edit Knowledge Editing (FLEKE)を導入する。 そこで我々は,MKV選択と再利用を最適化する2段階フレームワークであるFedEditを提案する。 最初の段階では、クライアントはLEKEをローカルに適用し、計算済みのMKVをアップロードする。 第2段階では、サーバベースのMKV共有のみに頼るのではなく、クライアントがコサイン類似性に基づいて関連するMKVを検索し、知識の再編集と冗長な計算の最小化を可能にする。 2つのベンチマークデータセットの実験結果から、FedEditは非フェデレーションLEKEのパフォーマンスの96%を保ちながら、FedAvgベースのベースラインを約2倍上回っていることが示された。 さらに,FedEdit フレームワークを用いた FLEKE タスクでは,MEMIT は PMET よりも一貫したパフォーマンスを実現している。 私たちのコードはhttps://github.com/zongkaiz/FLEKE.comで公開されています。

関連論文リスト

• SWE-Fixer: Training Open-Source LLMs for Effective and Efficient GitHub Issue Resolution [56.9361004704428]
  大規模言語モデル(LLM)は、様々な複雑なタスクにまたがる顕著な習熟度を示している。 SWE-Fixerは、GitHubの問題を効果的かつ効率的に解決するために設計された、新しいオープンソースフレームワークである。 我々は,SWE-Bench LiteとVerifiedベンチマークに対するアプローチを評価し,オープンソースモデル間の最先端性能を実現する。
  論文  参考訳（メタデータ） (2025-01-09T07:54:24Z)
• Federated Fine-Tuning of LLMs: Framework Comparison and Research Directions [59.5243730853157]
  Federated Learning(FL)は、分散プライベートデータセットを使用して、トレーニング済みの大規模言語モデル(LLM)を微調整するための、プライバシ保護ソリューションを提供する。 本稿では、知識蒸留(KD)とスプリットラーニング(SL)を統合し、これらの問題を緩和する3つの先進的連合LLM(FedLLM)フレームワークの比較分析を行う。
  論文  参考訳（メタデータ） (2025-01-08T11:37:06Z)
• Read-ME: Refactorizing LLMs as Router-Decoupled Mixture of Experts with System Co-Design [59.00758127310582]
  本稿では、事前学習された高密度LCMをより小さなMoEモデルに変換する新しいフレームワークRead-MEを提案する。 当社のアプローチでは,専門家の抽出にアクティベーション空間を用いる。 Read-MEは、同様のスケールの他の人気のあるオープンソース高密度モデルよりも優れています。
  論文  参考訳（メタデータ） (2024-10-24T19:48:51Z)
• FedBiOT: LLM Local Fine-tuning in Federated Learning without Full Model [48.33280660752336]
  大規模言語モデル(LLM)は、適切なデータで微調整した後、多くのドメイン固有のタスクで素晴らしいパフォーマンスを示す。 多くのドメイン固有のデータは、プライベートに複数の所有者に分散される。 我々は,フェデレート学習のための資源効率の高いLLM微調整手法であるFedBiOTを紹介する。
  論文  参考訳（メタデータ） (2024-06-25T16:45:47Z)
• Maximum Knowledge Orthogonality Reconstruction with Gradients in Federated Learning [12.709670487307294]
  フェデレートラーニング(FL)は、プライバシーを守るためにクライアントデータをローカルに保つことを目的としている。 既存のFLアプローチの多くは、非現実的に小さなバッチサイズでFL設定を仮定している。 本稿では,クライアントの入力データを再構築するための,新しい,完全に解析的なアプローチを提案する。
  論文  参考訳（メタデータ） (2023-10-30T02:01:48Z)
• ScionFL: Efficient and Robust Secure Quantized Aggregation [36.668162197302365]
  我々は,フェデレートラーニングのための最初のセキュアアグリゲーションフレームワークであるScionFLを紹介する。 量子化された入力で効率的に動作し、同時に悪意のあるクライアントに対して堅牢性を提供する。 クライアントのオーバーヘッドがなく、サーバのオーバーヘッドも緩やかなため、標準的なFLベンチマークに匹敵する精度が得られます。
  論文  参考訳（メタデータ） (2022-10-13T21:46:55Z)
• Efficient Federated Learning on Knowledge Graphs via Privacy-preserving Relation Embedding Aggregation [35.83720721128121]
  本稿では、フェデレーションのプライバシー問題に対処するため、プライバシ保護関係埋め込み集約(FedR)を用いたフェデレーション学習パラダイムを提案する。 FedEと比較して、FedRは、リンク予測タスクにおけるプライバシーと効率の両方において、同様のユーティリティと重要な(ほぼ2倍)改善を実現している。
  論文  参考訳（メタデータ） (2022-03-17T18:32:19Z)
• FedMix: Approximation of Mixup under Mean Augmented Federated Learning [60.503258658382]
  フェデレートラーニング(FL)は、エッジデバイスが各デバイス内でデータを直接共有することなく、モデルを集合的に学習することを可能にする。 現在の最先端アルゴリズムは、クライアント間のローカルデータの均一性が増大するにつれて性能劣化に悩まされる。 我々はFedMixという名の新しい拡張アルゴリズムを提案し、これは驚くべきが単純なデータ拡張手法であるMixupにインスパイアされている。
  論文  参考訳（メタデータ） (2021-07-01T06:14:51Z)
• Faster Non-Convex Federated Learning via Global and Local Momentum [57.52663209739171]
  textttFedGLOMOは最初の(一階)FLtexttFedGLOMOアルゴリズムです。 クライアントとサーバ間の通信においても,我々のアルゴリズムは確実に最適である。
  論文  参考訳（メタデータ） (2020-12-07T21:05:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。