論文の概要: Hierarchical Federated Unlearning for Large Language Models

• arxiv url: http://arxiv.org/abs/2510.17895v1
• Date: Sun, 19 Oct 2025 04:24:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-25 03:08:12.325607
• Title: Hierarchical Federated Unlearning for Large Language Models
• Title（参考訳）: 大規模言語モデルのための階層的フェデレーション・アンラーニング
• Authors: Yisheng Zhong, Zhengbang Yang, Zhuangdi Zhu,
• Abstract要約: 大きな言語モデル(LLM)は、現実のアプリケーションにますます統合され、プライバシやセキュリティ、望ましくない知識を取り除く必要性への懸念が高まっている。 スケーラブルでプライバシーを保護できるLLMのためのフェデレーション・アンラーニング・アプローチを提案する。 本手法は,タスク固有のアダプタ学習を通じて学習と保持を分離し,競合する目的を緩和するために階層的なマージ戦略を採用する。
• 参考スコア（独自算出の注目度）: 5.406594712642111
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large Language Models (LLMs) are increasingly integrated into real-world applications, raising concerns about privacy, security and the need to remove undesirable knowledge. Machine Unlearning has emerged as a promising solution, yet faces two key challenges: (1) practical unlearning needs are often continuous and heterogeneous, and (2) they involve decentralized, sensitive data with asymmetric access. These factors result in inter-domain and intra-domain interference, which further amplifies the dilemma of unbalanced forgetting and retaining performance. In response, we propose a federated unlearning approach for LLMs that is scalable and privacy preserving. Our method decouples unlearning and retention via task-specific adapter learning and employs a hierarchical merging strategy to mitigate conflicting objectives and enables robust, adaptable unlearning updates. Comprehensive experiments on benchmarks of WMDP, MUSE, and TOFU showed that our approach effectively handles heterogeneous unlearning requests while maintaining strong LLM utility compared with baseline methods.
• Abstract（参考訳）: 大きな言語モデル(LLM)は、現実のアプリケーションにますます統合され、プライバシやセキュリティ、望ましくない知識を取り除く必要性への懸念が高まっている。 1) 実践的アンラーニングのニーズは、しばしば連続的で不均一であり、(2) 非対称なアクセスを伴う分散されたセンシティブなデータを含んでいる。 これらの因子はドメイン間およびドメイン内干渉を引き起こし、不均衡な忘れと性能のジレンマをさらに増幅する。 そこで本研究では,LLMの非学習的アプローチとして,拡張性とプライバシー保護を両立させる手法を提案する。 提案手法は,タスク固有のアダプタ学習を通じて非学習と保持を分離し,競合する目標を緩和し,堅牢で適応可能な非学習更新を可能にする階層的な統合戦略を採用する。 WMDP,MUSE,TOFUのベンチマークに関する総合的な実験により,本手法はベースライン法と比較して強力なLLMユーティリティを維持しつつ,不均一な未学習要求を効果的に処理することを示した。

関連論文リスト

• Learning Optimal and Sample-Efficient Decision Policies with Guarantees [3.096615629099617]
  この論文は、隠れた共同創設者の存在下で、オフラインデータセットから学ぶことの問題を解決する。 コンバージェンスと最適性を保証する条件付きモーメント制約問題の解法として,サンプル効率のアルゴリズムを導出する。 また,収束率保証を伴う効果的な模倣者ポリシーを学習するアルゴリズムも開発している。
  論文  参考訳（メタデータ） (2026-02-20T04:24:49Z)
• Decouple to Generalize: Context-First Self-Evolving Learning for Data-Scarce Vision-Language Reasoning [41.523848964102]
  最近の視覚言語モデル(VLM)は強化学習(RL)を通して顕著な推論を実現する RLは、経験の時代に連続的に進化する大規模視覚言語モデル(LVLM)を実現するための実現可能なソリューションを提供する。 合成データや自己回帰機構といった既存の戦略は、限られた分布とアライメントの困難に悩まされている。 問題解決ではなく,まず文脈から学習するようにモデルに誘導する,二重分離フレームワークDoGeを提案する。
  論文  参考訳（メタデータ） (2025-12-07T13:17:31Z)
• Grounded in Reality: Learning and Deploying Proactive LLM from Offline Logs [72.08224879435762]
  textttLearn-to-Askは、プロアクティブな対話エージェントの学習とデプロイのためのシミュレータフリーフレームワークである。 当社のアプローチは,LLMの大規模オンラインAIサービスへの展開を成功に導くものです。
  論文  参考訳（メタデータ） (2025-10-29T12:08:07Z)
• OFMU: Optimization-Driven Framework for Machine Unlearning [5.100622189286672]
  大規模言語モデルは、ユーザ要求、著作権のある資料、時代遅れの情報など、特定の知識を解放する能力を必要としている。 我々は,保留期間を保ちながら忘れを明示的に優先順位付けするペナルティベースの二段階最適化フレームワークOFMUを提案する。 OFMUは既存のアンラーニング手法を有効性と有効性の両方で一貫して上回っていることを示す。
  論文  参考訳（メタデータ） (2025-09-26T15:31:32Z)
• Continual Learning for VLMs: A Survey and Taxonomy Beyond Forgetting [70.83781268763215]
  視覚言語モデル(VLM)は、大規模事前学習を活用することで、多様なマルチモーダルタスクにおいて優れたパフォーマンスを実現している。 VLMは、クロスモーダル機能ドリフト、共有アーキテクチャによるパラメータ干渉、ゼロショット機能侵食など、ユニークな課題に直面している。 本調査は、生涯の視覚言語システムを開発する研究者にとって、包括的かつ診断的な基準となることを目的としている。
  論文  参考訳（メタデータ） (2025-08-06T09:03:10Z)
• Towards Lifecycle Unlearning Commitment Management: Measuring Sample-level Unlearning Completeness [30.596695293390415]
  補間近似測定(Interpolated Approximate Measurement, IAM)は、非学習推論用に設計されたフレームワークである。 IAMは、クエリされたサンプルに対するモデルの一般化適合行動ギャップを補間することにより、サンプルレベルの未学習完全性を定量化する。 IAMを最近の近似アンラーニングアルゴリズムに適用し、オーバーアンラーニングとアンダーアンラーニングの両方のリスクを明らかにする。
  論文  参考訳（メタデータ） (2025-06-06T14:22:18Z)
• When Machine Unlearning Meets Retrieval-Augmented Generation (RAG): Keep Secret or Forget Knowledge? [27.718577066105485]
  大規模言語モデル(LLM)は、トレーニング中に機密情報や有害なコンテンツを不注意に学習し、保持することができる。 本稿では,Retrieval-Augmented Generation (RAG)技術に基づく軽量な行動学習フレームワークを提案する。 われわれはChatGPT, Gemini, Llama-2-7b-chat, PaLM 2 など,オープンソースおよびクローズドソースモデルの広範な実験を通じて,我々のフレームワークを評価する。
  論文  参考訳（メタデータ） (2024-10-20T03:51:01Z)
• Towards Effective Evaluations and Comparisons for LLM Unlearning Methods [97.2995389188179]
  本稿では,大規模言語モデルにおける機械学習評価の精度向上を図る。 評価指標の堅牢性と、競合する目標間のトレードオフという、2つの重要な課題に対処します。
  論文  参考訳（メタデータ） (2024-06-13T14:41:00Z)
• Personalized Wireless Federated Learning for Large Language Models [75.22457544349668]
  大規模言語モデル(LLM)は、無線ネットワークにおいて大きな変革をもたらしている。 無線環境では、LLMのトレーニングはセキュリティとプライバシに関する重大な課題に直面している。 本稿では,無線ネットワークにおけるLLMのトレーニング段階の体系的解析を行い,事前学習,命令チューニング,アライメントチューニングを行う。
  論文  参考訳（メタデータ） (2024-04-20T02:30:21Z)
• Rethinking Machine Unlearning for Large Language Models [85.92660644100582]
  大規模言語モデル(LLM)の領域における機械学習の研究 このイニシアチブは、望ましくないデータの影響(機密情報や違法情報など)と関連するモデル機能を排除することを目的としている。
  論文  参考訳（メタデータ） (2024-02-13T20:51:58Z)
• Semi-supervised Domain Adaptive Structure Learning [72.01544419893628]
  半教師付きドメイン適応 (SSDA) は,1) アノテーションの低いデータに過度に適合する手法と,2) ドメイン間の分散シフトの両方を克服しなければならない課題である。 SSLとDAの協調を正規化するための適応型構造学習手法を提案する。
  論文  参考訳（メタデータ） (2021-12-12T06:11:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。