論文の概要: Does Unlearning Survive Collaboration? Robust Unlearning for Shared-Model LLM Teams

• arxiv url: http://arxiv.org/abs/2610.25731v1
• Date: Mon, 19 Oct 2026 03:33:58 GMT
• ステータス: 情報取得中
• システム内更新日: 2026-10-20 22:27:41.897593
• Title: Does Unlearning Survive Collaboration? Robust Unlearning for Shared-Model LLM Teams
• Title（参考訳）: 学びのないコラボレーションは生き残るか? 共有モデルLLMチームのためのロバストな学び
• Abstract要約: 有効性を忘れることの進歩にもかかわらず、忘れることはコラボレーションの間も有効でなければならない。 ACUは、個々のメッセージとプールされたメッセージからの再構築フィードバックを使用して、共有モデルをトレーニングする。 ACUは全軌道リカバリを41.8%から19.3%に下げ、実際のリカバリを34.2%から18.7%に引き下げた。
• 参考スコア（独自算出の注目度）: 22.322686805510568
• License:
• Abstract: LLM unlearning is essential for removing sensitive or unwanted knowledge while preserving useful capabilities. As LLM teams are increasingly used to solve complex problems, forgetting must remain effective during collaboration. Despite advances in forgetting effectiveness, efficiency, and robustness to relearning, team deployment remains underexplored. We find that collaboration weakens forgetting: final-answer evaluations miss recoverable evidence in team messages, including complementary clues supporting joint recovery. We establish theoretically and confirm empirically that controlling final answers or individual messages does not ensure low recovery from their combination. To address this challenge, we propose Aggregation-Conditioned Unlearning (ACU). ACU trains a shared model using reconstruction feedback from individual and pooled messages, prioritizes views with higher recovery risk, and uses replacement-based credit assignment while protecting direct and collaborative utility. TOFU evaluates trajectory-level recovery, while WMDP-bio tests native forgetting and retained utility. On TOFU, ACU lowers full-trajectory recovery from 41.8% to 19.3% in ROUGE-L recall and factual recovery from 34.2% to 18.7% versus output-supervised training, with comparable retained-task performance. These results demonstrate that ACU curbs information leakage in LLM teams and generalizes across team sizes and readers.
• Abstract（参考訳）: LLMアンラーニングは、有用な能力を維持しながら、センシティブな知識や望ましくない知識を取り除くのに不可欠である。 LLMチームは複雑な問題を解決するのにますます慣れているので、コラボレーションの間も忘れることが効果的でなければならない。 効率性、効率性、そして再学習に対する堅牢性を忘れることの進歩にもかかわらず、チームの配置は未調査のままである。 最終回答の評価は、共同リカバリをサポートする補完的な手がかりを含む、チームメッセージの回復可能な証拠を見逃します。 理論的に確立し、最終的な回答や個々のメッセージの制御が、それらの組み合わせから低いリカバリを保証できないことを実証的に確認する。 この課題に対処するため,ACU(Aggregation-Conditioned Unlearning)を提案する。 ACUは、個々のメッセージとプールされたメッセージからの再構築フィードバックを使用して共有モデルをトレーニングし、リカバリリスクの高いビューを優先し、直接的かつ協調的なユーティリティを保護しながら、置換ベースのクレジット割り当てを使用する。 TOFUは軌道レベルの回復を評価し、WMDP-bioは自然に忘れられ、有用性を保持する。 TOFUでは、ROUGE-Lリコールのフルトラックリカバリを41.8%から19.3%に下げ、実際のリカバリを34.2%から18.7%に下げた。 これらの結果は、ACUがLLMチームの情報漏洩を抑え、チームサイズや読者をまたいで一般化することを実証している。

関連論文リスト

• Training LLMs for Multi-Agent Collaboration with Verifiable Information Rewards [60.95806999869478]
  本稿では,CoSIR(CoSIR:Collaboration via Surprisal-based Information Rewards)を紹介する。 本稿では,適切な選択肢に割り当てられた負のログ確率の和として定義されたチーム・サプライサルの削減によって共有情報をスコアするベイズ評価器を提案する。 学習後,Qwen3-4B,Qwen3-8B,Gemma-3-4B-itを自己再生し,未知の7つの自然言語協調タスクへの移動を評価する。
  論文  参考訳（メタデータ） (2026-10-13T07:46:48Z)
• ARES: Scalable and Practical Gradient Inversion Attack in Federated Learning through Activation Recovery [73.8181449261685]
  Federated Learning(FL)は、モデルの更新を生データではなく共有することで、ユーザのプライバシ保護を目的としたコラボレーションモデルトレーニングを可能にする。 最近の研究によると、これらの共有更新は、勾配反転攻撃(GIA)を通じて、不注意にセンシティブなトレーニングデータを漏洩する可能性がある。
  論文  参考訳（メタデータ） (2026-03-18T11:40:44Z)
• Explore Data Left Behind in Reinforcement Learning for Reasoning Language Models [61.78513830395669]
  RLVR(Reinforcement Learning with Verifiable Rewards)は,大規模言語モデル(LLM)の推論能力向上に有効な手法として登場した。 モデルがより長く、規模が大きくなるにつれて、トレーニングのプロンプトは残余のプロンプトになる。 政策最適化フレームワークにおける探索的残留確率(Explore Residual Prompts in Policy Optimization)を提案する。
  論文  参考訳（メタデータ） (2025-11-06T20:40:27Z)
• Verifiable Accuracy and Abstention Rewards in Curriculum RL to Alleviate Lost-in-Conversation [6.444818462799464]
  大規模言語モデルはシングルターン命令に強い能力を示すが、LiC(Lost-in-Conversation)に苦しむ Reinforcement Learning with Verifiable Rewards (RLVR) の現在の進歩に触発されて, 検証精度と回避Rewards (RLAAR) を用いたカリキュラム強化学習を提案する。 本手法では,信頼性を向上しつつ,対話の難易度を漸進的に向上させ,トレーニングの安定化を図る。
  論文  参考訳（メタデータ） (2025-10-21T15:32:26Z)
• LANPO: Bootstrapping Language and Numerical Feedback for Reinforcement Learning in LLMs [73.27182315028021]
  LANPOは、フィードバックの役割をきれいに分離するフレームワークである。 我々の研究は、歴史体験をLLM RLループに統合する堅牢な方法を提供し、より効果的でデータ効率のよい学習エージェントを作成します。
  論文  参考訳（メタデータ） (2025-10-18T15:51:19Z)
• LaMOuR: Leveraging Language Models for Out-of-Distribution Recovery in Reinforcement Learning [16.093659272414527]
  本稿では,不確実性推定に頼らずに回復学習を可能にするLaMOuR(Language Models for Out-of-Distriion Recovery)を提案する。 LaMOuRは、エージェントを元のタスクを成功させる状態に誘導する高密度な報酬コードを生成する。 実験の結果,LaMOuRは様々な移動課題における回復効率を大幅に向上させることがわかった。
  論文  参考訳（メタデータ） (2025-03-21T13:20:39Z)
• AdaIR: Exploiting Underlying Similarities of Image Restoration Tasks with Adapters [57.62742271140852]
  AdaIRは、パフォーマンスを犠牲にすることなく、低コストで効率的なトレーニングを可能にする新しいフレームワークである。 AdaIRは軽量でタスク固有のモジュールのトレーニングのみを必要とし、より効率的なストレージとトレーニング体制を確保する。
  論文  参考訳（メタデータ） (2024-04-17T15:31:06Z)
• Return-Based Contrastive Representation Learning for Reinforcement Learning [126.7440353288838]
  そこで本研究では,学習表現に異なる戻り値を持つ状態-動作ペアを判別させる新しい補助タスクを提案する。 アルゴリズムはatariゲームやdeepmindコントロールスイートの複雑なタスクのベースラインを上回っています。
  論文  参考訳（メタデータ） (2021-02-22T13:04:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。